apache-spark-sql

0зной

1ответ

Spark: Изменить CSV файл и записать в другую папку

Folks, У нас есть одно требование, где мы хотели сделать незначительные преобразования на CSV файл и записать то же самое в другую папку для HDFS с помощью искры. /input/csv1.txt например (ГБ файла по

-1зной

2ответ

Как получить данные по кадрам CROSS JOIN 2?

Я изо всех сил пытаюсь получить CROSS JOIN из 2 кадров данных. Я использую искру 2.0. Как я могу реализовать CROSSS JOIN с 2 кадрами данных? Edit: val df=df.join(df_t1, df("Col1")===df_t1("col")).join

2зной

1ответ

Отметка поля потеря точности при запросе с помощью искрового-SQL

поля метки времени теряют точность при запросе той же таблицы с использованием Hive MetastoreИскрового SQL. Мое описание таблица выглядит следующим образом: col_name data_type comment id bigint nul

1зной

2ответ

Как выполнить проверку равенства двух DataFrames?

У меня есть ниже сценарий: У меня 2 dataframes, содержащих только один столбец Позволяет сказать DF1=(1,2,3,4,5) DF2=(3,6,7,8,9,10) В основном эти значения ключей и я создаю паркетный файл DF1, есл