yarn

1зной

1ответ

Скрыть чувствительные аргументы, переданные с помощью spark-submit на Job Page

Я недавно обнаружил, что Spark отображает аргументы командной строки, переданные в команду spark-submit прямо на странице задания. Мне нужно изменить важные аргументы, такие как пароли со страницы. То

2зной

1ответ

Как зарегистрировать foreachRDD в потоковом приложении?

Мы работаем над приложением, использующим сообщения kafka, используя искровые потоки. Охватывая искровой блок hadoop/jarn. У меня есть свойства log4j, которые хранятся как у водителя, так и у рабочего

1зной

1ответ

работает искру на пряже как клиент

Я пытаюсь запустить искровую работу с пряжей с помощью: ./bin/spark-submit --class "KafkaToMaprfs" --master yarn --deploy-mode client /home/mapr/kafkaToMaprfs/target/scala-2.10/KafkaToMaprfs.jar Но

0зной

1ответ

Spark SASL не работает на emr с пряжей

Итак, во-первых, я хочу сказать, что единственное, что я видел, касается этой проблемы: Spark 1.6.1 SASL. Однако при добавлении конфигурации для проверки искры и пряжи она все еще не работает. Ниже мо