spark-dataframe

1зной

1ответ

Read RC Файл pyspark 2.0.0 из S3 с перегородками

Есть ли способ, что мы можем загрузить RC файлы с разбиениями хранятся в S3 в pyspark Dataframe 2.0.0

0зной

1ответ

Сформировать различные значения из столбца в свече dataframe

У меня есть искра dataframe, как показано ниже id|name|age|sub 1 |ravi|21 |[M,J,J,K] Я не хочу, чтобы взорвать на колонке «суб», как это создаст еще один дополнительный набор строк. Я хочу генериро

1зной

1ответ

Почему Spark DataFrames не изменяет свою схему и что с ней делать?

Я использую Structured Streaming от Spark 2.1 для чтения из темы Kafka, содержимое которой двоично кодируется в формате avro. Таким образом, после установки DataFrame: val messages = spark .readS

0зной

2ответ

Спарк Streaming CSV в кадр данных

У меня есть набор данных потокового CSV, который поставляется в этом формате 2,C4653,C5030 2,C5782,C16712 6,C1191,C419 15,C3380,C22841 18,C2436,C5030 Я пытаюсь взять Dstream и превратить его в D

0зной

2ответ

Каков наиболее сжатый способ применения фильтра к элементам массива Column in Spark

У меня есть Spark DataFrame, где один из моих столбцов представляет собой массив объектов. Я хотел бы сделать операцию, которая фильтрует этот массив. В моем примере ниже у меня есть родитель, у котор

3зной

2ответ

Как выбрать стратифицированный образец одного размера из фреймворка в Apache Spark?

У меня есть DataFrame в Spark 2, как показано ниже, где пользователи имеют от 50 до тысяч сообщений. Я хотел бы создать новый фреймворк данных, который будет иметь всех пользователей в исходном фреймв

4зной

1ответ

столбец sparkSQL Map в группе по условию

Я переношу запрос из Hive в SparkSQL, но, столкнувшись с одной проблемой с столбцом Map. Мой запрос spark.sql(select col1,col2,my_map,count(*) from table group by col1,col2,my_map) Ошибки я получаю