Усовершенствования для классификации текста с использованием векторов слов

Question

Я использую векторы слов для решения классификации текста. Я использую текстовые векторы в основном для рассмотрения случая синонимов, которых нет в учебном наборе, но будет присутствовать в фактических случаях использования. Просто используя слова векторы, я не получаю достаточно хорошую точность в предсказании. Может ли кто-нибудь предложить некоторые улучшения, которые я могу сделать для векторов слов, чтобы повысить точность?

Answer 1

• Отлаживайте свои плохие предсказания. Помогает ли хорошее качество встраивания синонимов (из тех, что в учебном наборе данных)?

• Используйте другое вложение, прошедшую подготовку с большим словарем, с подобным содержанием, как приложения и т.д.

• Получить больше данных обучения (маркировано набор данных). Это должно многое помочь. Текстовая классификация обычно имеет очень большое пространство функций.

• Разрешить «тренировать» ваш слой внедрения при обучении текстового классификатора. Не путайте с обучением word2vec, которое должно получить предварительно изученное вложение для вашего слоя внедрения, и оно может использовать большое количество немеченых данных. Здесь вы используете относительно небольшой набор данных, содержащий только помеченные данные. Разрешить «обучаемый» слой внедрения означает, что градиент может быть обратно передан с выходного уровня на уровень внедрения, чтобы тонко настроить векторы внедрения.