text-analysis

0зной

1ответ

Есть ли способ удалить специальные символы из текстового файла?

Я пытаюсь выполнить базовый анализ текста из командной строки, но всякий раз, когда я пытаюсь запустить команду, я получаю следующее: tr: Незаконная последовательность байтов. Я сузил проблему до спец

0зной

2ответ

Ошибка Java Heap Space при экспорте искровых данных в базу данных hive

Я использую pyspark для анализа текста на столе в Hive. Я использую следующий код from pyspark.sql import SQLContext, Row, HiveContext from pyspark.sql.functions import col, udf, StringType from pys

1зной

2ответ

Как найти похожие слова в FastText?

Я играю с FastText, https://pypi.python.org/pypi/fasttext, который очень похож на Word2Vec. Так как это, кажется, довольно новая библиотека, но не многие встроенные функции. Мне было интересно, как из

0зной

1ответ

Возможно ли найти заднюю вероятность тем, сгенерированных с помощью LDAvis, встречающихся в данном документе? Как, если так?

Как может быть или не быть очевидным из вопроса, я довольно новичок в R, и я мог бы немного помочь в этом. При создании моделей темы я экспериментировал с LDA и LDAvis - кодом в (A) и (B) ниже. LDA в

0зной

1ответ

Вычисление евклидова расстояния с использованием слов count

Рассмотрите следующие два предложения. Предложение 1: Быстрая коричневая лиса прыгает через ленивую собаку. Предложение 2: Быстрая коричневая собака превосходит былую лису. Вычислить евклидову расстоя

1зной

2ответ

Как я могу сгруппировать похожие типы предложений на основе их контекста и извлекать из них ключевые слова

Я хотел, чтобы кластерные предложения основывались на их контексте и извлекали общие ключевые слова из похожих контекстных предложений. Например 1. Мне нужно идти домой 2. Я ем 3. Он будет идти домой

0зной

1ответ

анализ текста подграфа в R (igraph)

Мне любопытно, как получить доступ к дополнительным атрибутам для графа, связанного с ребрами. Для того, чтобы следовать здесь минимальный пример: library("igraph") library("SocialMediaLab") myapik