pyspark-sql

0зной

1ответ

spark SQL GROUP BY агрегирование вызывает ошибку "индекс индекса вне диапазона"

У меня есть dataframe в искровой 1.5.0 с двумя столбцами. Следующий запрос работает правильно: sqlContext.sql("select id, value from table").show() Но делать агрегирование не удается: sqlContext.sql("

7зной

2ответ

Pyspark DataFrame UDF в текстовой колонке

Я пытаюсь очистить некоторые тексты NLP от некоторых столбцов Unicode в элементе данных PySpark DataFrame. Я пробовал в Spark 1.3, 1.5 и 1.6 и, похоже, не мог заставить вещи работать на всю жизнь. Я т

44зной

6ответ

Как изменить имена столбцов dataframe в pyspark?

Я родом из панд фона и я привык к чтению данных из CSV-файлов в dataframe, а затем просто изменяя имена столбцов на что-то полезное, используя простую команду: df.columns = new_column_name_list Одна

2зной

4ответ

Как создать DataFrame из строк при сохранении существующей схемы?

Если я вызываю карту или mapPartition, и моя функция получает строки из PySpark, что является естественным способом создания локального PySpark или Pandas DataFrame? Что-то, что объединяет строки и со

1зной

1ответ

Как присоединиться к данным SparkSQL от mysql и Oracle?

Возможно ли в SparkSQL объединить данные из баз данных mysql и Oracle? Я попытался присоединиться к ним, но у меня возникли проблемы с установкой нескольких банок (jdbc-драйверов для mysql и Oracle) в

0зной

1ответ

Pyspark dataframe: Суммируя по колонке, а группировка над другой

У меня есть вопрос, чтобы спросить, У меня есть dataframe, такие как следующие In [94]: prova_df.show() order_item_order_id order_item_subtotal 1 299.98 2 199.99 2 250.0 2