word-frequency

0зной

1ответ

Pyspark, выполнять подсчет слов в RDD, состоящий из массивов строк.

У меня есть огромный текстовый файл статей в википедии, каждая строка файла - одна статья. Я пытаюсь создать RDD, который будет состоять из массивов строк, каждый массив будет представлять строку текс

10зной

1ответ

Преобразование разреженной матрицы (csc_matrix) в pandas dataframe

Я хочу преобразовать эту матрицу в рамку данных pandas. csc_matrix первый число в скобках должно быть индекс, то второй число которых столбцы и число в конце являясь данных. Я хочу сделать это, чтобы

1зной

1ответ

Как я могу добавить метод этой программы, чтобы сортировать результат с самой высокой до самой низкой частоты?

Я немного потерян в отношении того, как это сделать, я знаю, что мне нужен метод сортировки, который вы можете видеть в моем комментированном коде, но я смущен тем, какие переменные (ссылочные и прими

0зной

5ответ

Подсчитайте количество раз (частота) строка происходит

У меня есть столбец в моей dataframe следующим Col1 ---------------------------------------------------------------------------- Center for Animal Control, Division of Hypertension, Departme

2зной

2ответ

Как избавиться от MemoryError при работе с большим словарем?

Я пытаюсь построить индекс триграмм слов с использованием типа диктарного типа. Ключами являются строки, а значения - числа вхождений. for t in arrayOfTrigrams: if t in trigrams: trigrams[t

1зной

1ответ

Фильтры подсчета ключевых слов Словарь

Я пытаюсь написать фильтр, где я пытаюсь найти число и значение частоты. При попытке использовать один из кодовых блоков я сталкиваюсь с трудностями, возникающими при ошибке ниже. Данные о пользовател