n-gram

0зной

2ответ

Как сделать re.findall ('\ w +', fin.read()) для unicode? python

Есть ли способ сделать следующее для текстовых файлов с символами Unicode, например. китайский/японский: with io.open(infile, 'r', encoding='utf8') as fin: words = re.findall('\w+', fin.read())

python regex text-files counter n-gram 2014-10-13

---

15зной

3ответ

Эффективная экстракция 1-5 грамм с помощью python

У меня есть огромные файлы из 3 000 000 строк, и каждая строка содержит 20-40 слов. Я должен извлечь от 1 до 5 пграмм. Мои входные файлы лексема простого текста, например: This is a foo bar sentence .

python nlp nltk information-retrieval n-gram 2014-10-13

---

-2зной

4ответ

PHP найти п-граммы в массиве

У меня есть PHP-массив: $excerpts = array( 'I love cheap red apples', 'Cheap red apples are what I love', 'Do you sell cheap red apples?', 'I want red apples', 'Give me my red

php arrays n-gram 2014-10-19

---

0зной

1ответ

Оценка методов определения языка

Часть моей работы над тезисом заключается в оценке количества методов обнаружения языка, которые уже доступны, а затем, наконец, реализовать один из них. Для этого я выбрал следующие методы, N-Gram ос

algorithm machine-learning nlp evaluation n-gram 2014-10-28

---

2зной

2ответ

Map word ngrams to counts scala

Я пытаюсь создать карту, которая проходит через все ngrams в документе и подсчитывает, как часто они появляются. Ngrams - это множества из n последовательных слов в предложении (так что в последнем пр

scala nlp n-gram 2014-11-03

---

4зной

1ответ

Как искать Google Ngrams для «датированных» слов и фраз?

Я хотел бы написать приложение, которое ищет данные Google Ngram, чтобы возвращать слова и фразы, которые раньше были более популярными, произвольным процентом, в течение какого-то произвольного диапа

google-api n-gram 2014-11-03

---

1зной

1ответ

Python NLTK Ngram Таггер с маркерами контекста, а не контекстом тегов

Я использую эту отметку NLTK Юниграммы с моделью ключевого словом, чтобы передать список слов для конкретных тегов: nd = dict((x,'CFN') for x in common_first_names) ... t4 = nltk.UnigramTagger(model

python nltk n-gram 2014-11-04

---

2зной

1ответ

Создание ngrams из scikit learn and count vectorizer throws Ошибка памяти

Я строю ngrams из нескольких текстовых документов с использованием scikit-learn. Мне нужно построить document-frequency используя счетVectorizer. Пример: document1 = "john is a nice guy" document2 =

python memory numpy scikit-learn n-gram 2014-11-12

---