Java Stanford NLP: найдите частоту слов?

Question

Я использую инструментарий для анализа Parsing в Stanford NLP. Учитывая слово в лексиконе, как я могу найти его частоту *? Или, учитывая частотный ранг, как я могу определить соответствующее слово?

* на всем языке, а не только на образец текста.

Это демо-инструментария я использую:

class ParserDemo { 
    public static void main(String[] args) { 
    LexicalizedParser lp = new LexicalizedParser("englishPCFG.ser.gz"); 
    lp.setOptionFlags(new String[]{"-maxLength", "80", "-retainTmpSubcategories"}); 

    String[] sent = { "Sincerity", "may", "frighten", "the", "boy", "." }; 
    Tree parse = (Tree) lp.apply(Arrays.asList(sent)); 
    parse.pennPrint(); 
    System.out.println(); 

    TreebankLanguagePack tlp = new PennTreebankLanguagePack(); 
    GrammaticalStructureFactory gsf = tlp.grammaticalStructureFactory(); 
    GrammaticalStructure gs = gsf.newGrammaticalStructure(parse); 
    Collection tdl = gs.typedDependenciesCollapsed(); 
    System.out.println(tdl); 
    System.out.println(); 

    TreePrint tp = new TreePrint("penn,typedDependenciesCollapsed"); 
    tp.printTree(parse); 
    } 

} 

Answer 1

Если вы только подсчет частоты слов, предложение синтаксического анализа не требуется. Все, что вам нужно сделать, это tokenise вход, а затем подсчет частот слов с помощью java HashMap. Если вы хотите использовать инструменты Стэнфорда, используйте любой из токенов в edu.stanford.nlp.process.

Это дает вам частоту любого данного слова, но в целом может оказаться невозможным найти слово, соответствующее данному рангу частоты, поскольку некоторые слова могут быть одинаково частыми в документе.

Answer 2

Это проблема с IR (поиск информации) больше, чем НЛП. Для этой задачи нужно посмотреть библиотеки, например Lucene.