apache-spark-sql

2зной

1ответ

Dataframe to Dataset, который имеет тип Any

Недавно я перешел из Spark 1.6 в Spark 2.X, и я хотел бы перемещать - по возможности - из Dataframes в Datasets, а также. Я попробовал код, как этот case class MyClass(a : Any, ...) val df = ... df

1зной

1ответ

Объединение таблиц с именами повторяющихся столбцов в искровом

Я пытаюсь объединить несколько таблиц MySQL в искровом режиме. Некоторые из этих таблиц имеют повторяющиеся имена столбцов (каждая таблица имеет поле идентификатора, относящееся к этой таблице). Если

1зной

1ответ

Return Seq [Row] от Spark-Scala UDF

Я использую Spark с Scala для обработки некоторых данных. У меня есть данные XML, сопоставленные с dataframe. Я передаю строку как параметр в UDF и пытаюсь извлечь два объекта сложных типов в виде спи

4зной

1ответ

столбец sparkSQL Map в группе по условию

Я переношу запрос из Hive в SparkSQL, но, столкнувшись с одной проблемой с столбцом Map. Мой запрос spark.sql(select col1,col2,my_map,count(*) from table group by col1,col2,my_map) Ошибки я получаю

0зной

1ответ

LOAD DATA LOCAL INPUT PATH не существует

Я новичок в Spark и Scala Technology. Я получаю следующее исключение, пытаясь загрузить файл из локальной файловой системы в таблицу, используя Spark. Спарк версия -2,0 и Scala версия - 2,11 scala> sq

2зной

1ответ

Что делает аргумент 'startTime' функции pyspark.sql.functions.window?

В offcial документа есть только простой пример: начальный промежуток является смещение относительно 1970-01-01 00:00:00 UTC , с которой начать интервалов окна. Например, чтобы иметь часовые барабанные