apache-spark-1.4

0зной

1ответ

Я хотел бы рассчитать разницу между двумя значениями из одного столбца. Прямо сейчас я просто хочу разницу между последним значением и первым значением, однако использование последнего (столбца) возвр

2зной

1ответ

Непоследовательная схема схемы JSON с данными Spark dataframes

Пытается прочитать файл JSON с помощью фреймов Spark 1.4.1 и перемещаться внутри. Похоже, что угаданная схема неверна. JSON файл: { "FILE": { "TUPLE_CLI": [{ "ID_CLI": "C3-00000004",

6зной

3ответ

Не удается запустить искр-оболочку

Я использую Spark 1.4.1. Я могу использовать spark-submit без проблем. Но когда я побежал ~/spark/bin/spark-shell я получил ошибку ниже я настроил SPARK_HOME и JAVA_HOME. Однако, это было в порядке с

0зной

1ответ

Исправлен рабочий узел искры, но не ушел

Я использую Spark отдельно с мастером и одним работником только для тестирования. Сначала я использовал один рабочий ящик, но теперь решил использовать другой рабочий ящик. Чтобы сделать это, я остано

2зной

1ответ

Почему YARN не может получить какого-либо исполнителя при включенном динамическом распределении?

Работа работает плавно при использовании YARN без, что обеспечивает возможность динамического выделения. Я использую Spark 1.4.0. Это то, что я пытаюсь сделать: rdd = sc.parallelize(range(1000000)) r