Действительно ли слабый ученик должен иметь ошибку <1/2 для ЛЮБОГО распределения?

Question

Все, что я узнал о слабых учениках (по отношению к AdaBoost конкретно), говорит, что они должны иметь ошибку < 1/2 для ЛЮБОГО распределения данных обучения. Я думаю, что я должен неправильно интерпретировать это, поэтому я был бы признателен, если бы кто-то мог указать на недостаток в моей логике ниже:

Скажем, слабый ученик неправильно классифицирует только один пример (назовите его x). Затем рассмотрите распределение, которое имеет 100% вес по этому примеру x и 0% веса на каждом другом примере. Ясно, что у слабого учащегося будет ошибка 1 для этого распределения, которая равна 1/2. По моему пониманию определения, это означает, что это не очень слабый ученик. Таким образом, если слабый ученик ошибочно классифицирует даже один образец данных образца, то он не может иметь ошибку < 1/2 для любого распределения. Но это означает, что слабый ученик должен быть совершенным, что, как я знаю, бросает вызов всему тому, что является усиливающим ансамблем слабых учеников, и это просто сумасшедшие разговоры.

Итак, я должен не понимать, что значит для слабого учащегося иметь ошибку < 1/2 для любого распространения. Что означает «любое»?

Answer 1

В задаче с двумя классами случайный ученик будет ошибкой = 0,5. На практике это самая худшая ошибка, так как вы можете редактировать каждого ученика с более чем 0,5 ошибкой точно так же, как и наоборот: это означает, что противоположная ошибка ученика будет 1- (ошибка первого ученика). Кроме того, измерение ошибки на примере 1 очень проблематично и, вероятно, неправильно отражает истинную ошибку. Итак, если наихудшая ошибка равна 0,5 (как мы видели, мы можем сделать любого ученика с ошибкой менее 0,5), для каждого из слабых учеников требуется более высокая точность, чтобы объединить их и «повысить».