Как я могу добавить дополнительные языки для остановки в NLTK?

Question

Я использую NLTK со стоп-словами для определения языка документа, используя метод, описанный Алехандро Ноллой по адресу http://blog.alejandronolla.com/2013/05/15/detecting-text-language-with-python-and-nltk/, и он работает достаточно хорошо.

Я также работаю с некоторыми дополнительными языками, не включенными в пакет стоп-слов NLTK, такими как чешский и румынский языки, и они получают ложные совпадения как другие языки. Это языки в словах:

['датский', 'голландский', 'английский', 'финский', 'французский', 'немецкий', 'венгерский', 'итальянский', 'норвежский', 'португальский ',' russian ',' spanish ',' swedish ',' turkish ']

Как расширить список языков, поддерживаемых NLTK? Есть ли другие списки дневников, которые я могу добавить? Есть ли документированный метод, который я могу использовать для создания собственных списков дневников?

Answer 1

Googling для «румынских стоп-слов» приносит большое количество ресурсов.

Если вы хотите сделать это самостоятельно, вам просто нужно найти слова, которые являются общими во всех жанрах текста. (Статья, на которую вы ссылаетесь, имеет довольно плохое объяснение того, что представляют собой стоп-слова.) Хорошие кандидаты - это статьи, частицы (если ваш язык имеет их, и они встречаются изолированно), союзы, местоимения и некоторые типы наречий.

Automatically Building a Stopword List for an Information Retrieval System (Rachel Tsz-Wai Lo, Ben He, Iadh Ounis; University of Glasgow, 2008) (PDF) Документирует автоматический метод поиска стоп-слов. Я не рассматривал метод или его результаты.

https://github.com/berkmancenter/mediacloud/blob/master/script/mediawords_generate_stopwords.pl, похоже, имеет реализацию. (Комментарий имеет другие названия, кроме статьи, но не уверен, что с этим связано.)