pyspark

4зной

1ответ

Как получить тему, связанную с каждым документом, используя pyspark (2.1.0) LdA?

Я использую LDAModel pyspark для получения тем из корпуса. Моя цель - найти тем, связанных с каждым документом. Для этого я попытался установить topicDistributionCol согласно Документам. Поскольку я н

11зной

6ответ

Сохранить содержимое Spark DataFrame как один файл CSV

Скажем, у меня есть Spark DataFrame, который я хочу сохранить как файл CSV. После Spark 2.0.0, Класс DataFrameWriter непосредственно поддерживает сохранение его как файла CSV. Поведение по умолчанию з

3зной

1ответ

pyspark: Отфильтровать один RDD на основе определенных столбцов другого RDD

У меня есть два файла в искровом кластере, foo.csv и bar.csv, оба с 4 столбцами и одинаковыми точными полями: time, user, url, category. Я хотел бы отфильтровать foo.csv по определенным столбцам bar.c

2зной

1ответ

Работа прервана из-за срыва этапа: Задача 5 на этапе 3.0 не удалась 1 раз

Я новичок до pyspark, в последний день я нарисовал данные о преступлениях для карты, и это сработало хорошо, сегодня я столкнулся с этой проблемой. Py4JJavaError: An error occurred while calling z:org

0зной

1ответ

Настройка контекста воспламенения в pyspark

Как настроить загорание контекста в искровом режиме с помощью python. igniteContext = IgniteContext(sparkContext,"c:/desktop/config.xml") Импорт Ошибка: не может импортировать IgniteContext