Как выбрать алгоритм выбора функций? - advice

Question

Есть ли исследовательская работа/книга, которую я могу прочитать, которая может рассказать мне о проблеме, какой алгоритм выбора функций будет работать лучше всего.

Я пытаюсь просто идентифицировать твиттер-сообщения как pos/neg (для начала). Я начал с выбора функции на основе частоты (начав с книги NLTK), но вскоре понял, что для подобной проблемы различные люди выбрали разные алгоритмы.

Хотя я могу попытаться использовать частотную основу, взаимную информацию, информацию и различные другие алгоритмы. список кажется бесконечным .. и задавался вопросом, есть ли эффективный путь, а затем проб и ошибок.

любые советы

Answer 1

Я сделал NLP курс последний член, и он пришел довольно ясно, что анализ настроений является то, что на самом деле никто не знает, как сделать хорошо (пока). Разумеется, сделать это с помощью неконтролируемого обучения еще сложнее.

Существует довольно много исследований, связанных с этим, некоторые из них коммерческие и, следовательно, не открыты для публики. Я не могу указать вам на какие-либо исследовательские работы, но книга, которую мы использовали для курса, была this (google books preview). Тем не менее, книга охватывает множество материалов и, возможно, не самый быстрый способ найти решение этой конкретной проблемы.

Единственное, на что я могу обратить ваше внимание, это попытаться выполнить поиск в googling, возможно, на сайте scholar.google.com для «анализа настроений» или «интеллектуального анализа».

Посмотрите на NLTK movie_reviews corpus. Оценки уже относятся к категории pos/neg и могут помочь вам в обучении вашего классификатора. Хотя язык, который вы находите в Твиттере, вероятно, сильно отличается от того, который существует.

Как последнее примечание, пожалуйста, напишите о любых успехах (или неудачах в этом отношении) здесь. В какой-то момент эта проблема возникнет позже.

Answer 2

К сожалению, нет серебряной пули для чего-либо при работе с машинным обучением. Его обычно называют теоремой "No Free Lunch". В принципе, ряд алгоритмов работает для проблемы, а некоторые лучше справляются с некоторыми проблемами и хуже других. В конце концов, все они выполняют примерно то же самое. Тот же набор функций может привести к тому, что один алгоритм будет работать лучше, а другой - хуже для заданного набора данных. Для другого набора данных ситуация может быть полностью отменена.

Обычно я выбираю несколько алгоритмов выбора функций, которые работали для других по аналогичным задачам, а затем начинаются с них. Если производительность, которую я получаю с использованием моих любимых классификаторов, приемлема, scrounging еще на половину процентного пункта, вероятно, не стоит моего времени. Но если это неприемлемо, тогда пришло время переоценить мой подход или искать другие методы выбора объектов.

Answer 3

Вы пробовали книгу, которую я порекомендовал по вашему последнему вопросу? Он свободно доступен онлайн и полностью посвящен вашей задаче: Sentiment Analysis and Opinion Mining от Pang and Lee. Глава 4 («Извлечение и классификация») - это именно то, что вам нужно!