Получите другой результат при оценке настроений НЛП Стэнфорда

Question

Скачайте Stanford NLP 3.5.2 и запустите анализ настроений с настройкой по умолчанию (т. Е. Я ничего не изменил, просто разархивируйте и запустите).

java -cp "*" edu.stanford.nlp.sentiment.Evaluate -model edu/stanford/nlp/models/sentiment/sentiment.ser.gz -treebank test.txt 

EVALUATION SUMMARY 
Tested 82600 labels 
    66258 correct 
    16342 incorrect 
    0.802155 accuracy 
Tested 2210 roots 
    976 correct 
    1234 incorrect 
    0.441629 accuracy 
Label confusion matrix 
     Guess/Gold  0  1  2  3  4 Marg. (Guess) 
       0  323  161  27  3  3  517 
       1 1294 5498 2245  652  148 9837 
       2  292 2993 51972 2868  282 58407 
       3  99  602 2283 7247 2140 12371 
       4  0  1  21  228 1218 1468 
    Marg. (Gold) 2008 9255 56548 10998 3791 

       0  prec=0.62476, recall=0.16086, spec=0.99759, f1=0.25584 
       1  prec=0.55891, recall=0.59406, spec=0.94084, f1=0.57595 
       2  prec=0.88982, recall=0.91908, spec=0.75299, f1=0.90421 
       3  prec=0.58581, recall=0.65894, spec=0.92844, f1=0.62022 
       4  prec=0.8297, recall=0.32129, spec=0.99683, f1=0.46321 

Root label confusion matrix 
     Guess/Gold  0  1  2  3  4 Marg. (Guess) 
       0  44  39  9  0  0  92 
       1  193  451  190  131  36 1001 
       2  23  62  82  30  8  205 
       3  19  81  101  299  255  755 
       4  0  0  7  50  100  157 
    Marg. (Gold)  279  633  389  510  399 

       0  prec=0.47826, recall=0.15771, spec=0.97514, f1=0.2372 
       1  prec=0.45055, recall=0.71248, spec=0.65124, f1=0.55202 
       2  prec=0.4, recall=0.2108, spec=0.93245, f1=0.27609 
       3  prec=0.39603, recall=0.58627, spec=0.73176, f1=0.47273 
       4  prec=0.63694, recall=0.25063, spec=0.96853, f1=0.35971 

Approximate Negative label accuracy: 0.646009 
Approximate Positive label accuracy: 0.732504 
Combined approximate label accuracy: 0.695110 
Approximate Negative root label accuracy: 0.797149 
Approximate Positive root label accuracy: 0.774477 
Combined approximate root label accuracy: 0.785832 

Файл test.txt загружается из http://nlp.stanford.edu/sentiment/trainDevTestTrees_PTB.zip (содержит train.txt, dev.txt и test.txt). Ссылка для скачивания - от http://nlp.stanford.edu/sentiment/code.html

Однако в статье «Socher, R., Perelygin, A., Wu, JY, Chuang, J., Manning, CD, Ng, AY и Potts, C., 2013 , Октябрь. Рекурсивные глубокие модели семантической композиционности над ветвями деревьев чувств. В трудах конференции по эмпирическим методам обработки естественного языка (EMNLP) (т. 1631, стр. 1642). в основе которого лежит инструмент анализа настроений, авторы сообщили, что точность при классификации 5 классов равна 0,807.

Являются ли мои результаты нормальными?

Answer 1

Получаю те же результаты, когда я запускаю его из коробки. Меня не удивило бы, если бы версия их системы для Stanford CoreNLP немного отличалась от версии в документе.