pyspark

1зной

1ответ

Есть ли Word2Vec в поездах Spark на весь текстовый столбец

У меня есть вопрос, связанный с объемом данных Word2Vec метод в Spark принимает во время обучения алгоритма. Поэтому, учитывая набор данных, как показано ниже: +----------+--------------------+-------

1зной

1ответ

Импорт таблицы csv в Spark

Я экспортировал некоторые данные из данных подкладок таблицы, установленных как csv. Когда я пытаюсь его просмотра с less, он говорит, что may be a binary file. See it anyway? Однако, когда я делаю ca

2зной

2ответ

Как вводить данные stdin в искровой скрипт как вход

У меня есть много подкаталогов в папке, которую я должен обрабатывать. Я решил утилиту находки Линукса, чтобы найти все файлы, такие как find . -name *.gz -exec zcat {} \; Теперь я должен дать станд

1зной

1ответ

Улучшение производительности Pyspark с помощью DataFrames и SQL

В настоящее время я читаю все текстовые файлы в публичном ковше AWS, содержащем сотни файлов CSV. Я сразу прочитал все файлы CSV, а затем превратил их в RDD и начал массировать данные, чтобы их можно

0зной

1ответ

Pyspark - управления раздаточной из искрового сессии (СБН)

Это является продолжением вопрос о Pyspark filter operation on Dstream Чтобы сохранить счетчик, сколько сообщений об ошибках/предупреждения пришел через для скажем в день, час - как вы проектируете ра

0зной

2ответ

Spark DataFrame запрос между двумя конкретными временными диапазонами

У меня есть блок данных искры с столбцом, имеющим дату в формате dd-MMM-yyyy hh: mm. Как сделать TimeRange запрос типа - Найти все строки между 2 датами и в пределах определенного диапазона времени 4P

1зной

1ответ

PySpark - Добавить новый вложенный столбец или изменить значение существующих вложенных столбцов

Пред- полагая, у меня есть JSon файл с линиями в последующей структуре: { "a": 1, "b": { "bb1": 1, "bb2": 2 } } Я хочу, чтобы изменить значение ключа bb1 или добавить новый ключ