apache-spark

0зной

1ответ

PySpark Training Случайный лесной трубопровод

Я пытаюсь создать трубопровод, который берет мою DataFrame информацию о задержке полета и запускает на ней случайный лес. Я довольно новичок в MLLib и не могу понять, где я ошибаюсь в своем коде ниже.

0зной

3ответ

Спарк карта против foreachRdd

У нас есть искра потокового приложения, где мы получаем в dstream от Кафки и нужно хранить в dynamoDB .... я буду экспериментировать с двумя способами, чтобы сделать это, как описано в коде ниже reque

0зной

1ответ

Spark: Взорвать пару вложенных столбцов

Спарк Версии 2.1 Я читаю файл в искру dataframe с следующим форматом: { "field1": "value1", "field2": "value2", "elements": [{ "id": "1", "name": "a" }, { "i

1зной

3ответ

Спарка Shell -The имя файл, имя папки или синтаксис метки тома неправильно

я получаю сообщение об ошибке при запуске spark-shell.cmd со следующим paramters «C: \ SoftwareLibraries \ искры \ искрового 2.0.1 \ Bin \ искра -shell.cmd»--jars "C: \ SoftwareLibraries \ H2o \ spark

0зной

2ответ

Как Свести искра dataframe Row нескольких Dataframe Рядов

Привет у меня есть кадр данных искры, которая печатает как этот (один ряд) [abc,WrappedArray(11918,1233),WrappedArray(46734,1234),1487530800317] Так внутри строк я завернутый массив, я хочу, чтобы с