apache-spark-sql

3зной

2ответ

Преобразование списка в dataframe spark scala

У меня есть список с более чем 30 строк. как преобразовать список в dataframe. , что я пробовал: например Val list=List("a","b","v","b").toDS().toDF() Output : +-------+ | value| +-------+ |a

3зной

2ответ

Spark create UDF, который не принимает вход

Я хочу добавить столбец с случайно сгенерированным идентификатором в свой ядро Spark. Чтобы сделать это, я использую UDF вызвать метод случайной выборки UUID UUID, как и так: def getRandomId(s:Strin

3зной

1ответ

SparkSQL ключ не найден: шкала

Искры версии 1.6.0. Я пытаюсь выполнить простой SQL-запрос к удаленному блоку Oracle 11g с помощью Spark SQL. Конечно, драйвер ojdbc добавлен в путь к классам и пинг в БД также в порядке. SparkConf co

2зной

1ответ

Спарк SQL и MySQL- SaveMode.Overwrite не вставляя измененные данные

У меня есть test таблицу в MySQL с идентификатором и именем, как показано ниже: +----+-------+ | id | name | +----+-------+ | 1 | Name1 | +----+-------+ | 2 | Name2 | +----+-------+ | 3 | Name3

0зной

1ответ

Обработка пользовательских разделов Spark (1.6.1) DataFrames

У меня есть DataFrame, где один столбец называется problem_id и содержит ключ, который идентифицирует часть всего моего набора данных. Это мне не ясно, если keyBy + partitionBy(N) + mapPartitions буде