Я делаю проект, который требует обработки естественного языка. Я использую для этой цели stanford MaxEnt Classifier.Но я не уверен, является ли максимальная модель энтропии и логистическая регрессия единым целым или это какой-то особый вид логистической регрессии?максимальная модель энтропии и логистическая регрессия
Может ли кто-нибудь придумать объяснение?
Это точно такая же модель. Общество НЛП предпочитает имя Maximum Entropy и использует разреженную формулировку, которая позволяет вычислять все без прямой проекции на пространство R^n (так как для НЛП распространено огромное количество функций и очень редкие векторы).
В Max энтропией функция represnt с Р (х, у), это означает, что вы можете разработать функцию с помощью у метки и observerable функции х, в то время как, если Р (х, у) = х это ситуация с логистической регрессией.
Задача NLP, такая как POS, является общей для сочетания ярлыков функции. например: текущее слово заканчивается на «ous», а следующее слово - существительное. это может быть особенностью предсказать, является ли прил текущее слово
Для каждой функции, зависящей от класса, существует эквивалентный набор функций, не зависящий от класса, для логической регрессии. Речь идет только о разреженности. – lejlot
После запуска максимального энтропийного классификатора, учитывая веса для каждой функции для каждого класса, узнайте, какие из них являются лучшими функциями, чтобы удалить другие функции. @lejlot –
@AmrithKrishna, абсолютное значение весов, относящихся к каждой функции, является признаком важности функции – michaeltang
Вы можете хотите прочитать вложение в этой должности, что дает простой вывод: http://www.win-vector.com/blog/2011/09/the-equivalence-of-logistic-regression-and-maximum-entropy-models/
Объяснение цитата из «речи и языка Обработка»по Дэниел Джурафски & Джеймс Х. Мартин .:
Каждая функция является функцией индикатора, который выбирает подмножество учебных наблюдений. Для каждой функции мы добавляем ограничение на наше общее распределение, указывая, что наше распределение для этого подмножества должно соответствовать эмпирическому распределению, которое мы видели в наших данных обучения. Затем мы выбираем максимальное распределение энтропии, которое в противном случае согласуется с этими ограничениями.
Berger et al. (1996) показывают, что решение этой задачи оптимизации оказывается точно распределением вероятностей модели многомерной логистической регрессии, вес W которой максимизирует вероятность данных обучения!
максимальная энтропия такая же, как полиномиальной логистической регрессии – NLPer
также иногда называют логарифмически-линейную модель –
@NLPer, так MaxEnt такая же, как SoftMax? – Alcott