Метод разборки машин и методов тестирования данных

Question

Я запускал случайную модель классификации лесов и первоначально делил данные на поезд (80%) и тест (20%). Однако в предсказании было слишком много False Positive, которое, по моему мнению, было связано с тем, что в данных обучения было слишком много шума, поэтому я решил разделить данные по другому методу и вот как я это сделал.

Поскольку я думал, что высокий False Positive был обусловлен шумом в данных поезда, я сделал данные поезда равным числом целевых переменных. Например, если у меня есть данные из 10 000 строк, а целевая переменная составляет 8000 (0) и 2000 (1), у меня были данные обучения в общей сложности 4000 строк, включая 2000 (0) и 2000 (1), так что данные обучения теперь имеют больше сигналов.

Когда я попробовал этот новый метод расщепления, он предсказал путь лучше, увеличив Recall Positive с 14% до 70%.

Я хотел бы услышать ваши отзывы, если я делаю что-то неправильно здесь. Я обеспокоен тем, что я делаю свои данные обучения предвзятыми.

Answer 1

Если у вас есть неравное количество точек данных в каждом классе набора тренировок, базовая (случайное предсказание) изменяется.

По шумным данным, я думаю, вы хотите сказать, что количество тренировочных очков для класса 1 больше, чем другое. На самом деле это не шум. Это на самом деле предвзятость.

Для примера: у вас есть 10000 точек данных в наборе тренировок, 8000 классов 1 и 2000 класса 0. Я всегда могу предсказать класс 0 и получить 80% -ную точность. Это вызывает предвзятость, а базовая линия для классификации 0-1 не будет равна 50%.

Чтобы устранить эту предвзятость, вы можете намеренно сбалансировать набор тренировок так же, как и вы, или можете изменить функцию ошибки, придав весу обратно пропорционально количеству очков в наборе тренировок.