Кривая обучения для шумных данных

Question

Я занимаюсь контролируемой классификацией небольших текстов, и данные очень шумные. Я построил кривую обучения: ось х - # экземпляра. y-ось - значение F-меры. Кривая падает: чем больше случаев я использую, тем ниже оценка F-measure. Это типично для шумных данных? Или есть еще одна причина такого поведения?

Answer 1

Вы рассчитать F-меру с помощью набора для обучения или набора тестов?

Если вы рассчитали его с помощью тренировочного набора, то падение кривой обучения довольно нормально.

Если вы рассчитали его с помощью набора тестов, то может быть много причин, наиболее вероятно, что тренировочные и тестовые наборы не являются iid.