Машиноведение Классификация и предикация в weka

Question

Я новичок в обучении машинам. Извините, если на моем английском языке есть ошибки.

Я использую классификацию weka J48 для прогнозирования в истинном или ложном. У меня почти 999K тренировочный набор, который я использовал для обучения модели. Я использовал метод перекрестной проверки в 3 раза для обучения Модели, которая дает мне точность ~ 84%.

Теперь после хранения модели. Я попытался проверить его на наборе данных 50k. что дает очень плохие результаты, а 50% из них несоответствуют. У меня есть 11 атрибутов с номинальными и числовыми полями.

Я не знаю, почему это происходит.

У меня есть два вопроса.

1. Как я могу тренироваться, чтобы лучше работать на тестовом наборе.
2. Какие могут быть проблемы.

Я использую weka api в java.

Answer 1

Это означает, что ваша модель overfit для вашего набора 999k и не очень хорошо подходит для вашего набора тестов 50k.

В дополнение к вашим 999k вы должны изучить кросс-валидацию с помощью (хорошей порции, но не всех) вашего набора данных 50k.

Возможно, вы также захотите попробовать нечто большее, чем k = 3, k-fold crossvalidation, потому что k = 3 раза может быть слишком «грубым». Удачи!