Как оценить вероятность ngram?

Question

Я хочу построить языковую модель, где я хочу оценить вероятности ngram. Итак, мой вопрос: какие лучшие корпуса и инструменты мы можем использовать для оценки вероятности ngram ?.

спасибо

Answer 1

Вы видели это? : Вы можете использовать его, не вычисляя его с нуля: http://storage.googleapis.com/books/ngrams/books/datasetsv2.html

Для облегчения загрузки см это: https://pypi.python.org/pypi/google-ngram-downloader/