Как оценить производительность разных моделей на одном наборе данных?

Question

Я хочу оценить производительность различных моделей, таких как SVM, RandForest, CNN и т. Д., У меня есть только один набор данных. Поэтому я разделил набор данных на набор учебных и тестовых наборов и обучил различную модель на этом наборе данных с данными обучения и испытанием с помощью набора данных тестирования.

Мой вопрос: могу ли я получить реальную производительность другой модели только на одном наборе данных? Например: я нашел, что модель SVM получила лучший результат. Поэтому Должен ли я выбрать SVM в качестве моей окончательной модели классификации?

Answer 1

Вы можете спланировать кривую ROC для всех моделей. Модель, для которой AUC самая высокая, будет лучшей моделью.

Answer 2

Его, вероятно, лучше перекрестите проверку своих моделей с помощью разных тестовых образцов с помощью сквозной проверки, чтобы избежать предубеждений. Также проверьте свои модели на разные показатели оценки в зависимости от типа вашего приложения. Например, используйте отзыв, точность и AUC для каждой модели, если это проблема классификации.

Результаты оценки могут быть довольно обманчивыми и требуют большой проверки.