emr

2зной

1ответ

Отсутствует SPARK_HOME при использовании SparkLauncher на кластере AWS EMR

Я использую EMR 5.0 с Spark 2.0.0. Я пытаюсь запустить дочерний искровой приложение от Scala искрового приложения с помощью org.apache.spark.launcher.SparkLauncher Мне нужно установить SPARK_HOME с по

0зной

2ответ

Как устранить несоответствие версии AWS EMR Spark и Zeppelin?

AWS EMR 5.0 поставляется с Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1 предварительно упакованным, но Zeppelin 0.6.1 поддерживает только Spark 1.6.x. Есть ли способ у

1зной

2ответ

EMR hdfs прозрачно с поддержкой s3

С hadoop я могу использовать s3 в качестве URL-адреса хранилища. Но в настоящее время у меня много приложений, использующих hdfs://..., и я хотел бы перенести весь кластер и приложения в EMR и s3. мне

0зной

1ответ

Как настроить конфигурацию, чтобы ускорить работу Spark/Yarn?

Я новичок в Spark. Я читал о настройке Spark и разных свойствах, чтобы мы могли оптимизировать работу. Но я не уверен, как мне понять, что я должен установить? Например, я создал кластер типа r3.8x Бо