amazon-emr

1зной

1ответ

Apache Spark, получающий доступ к данным в hdfs через кросс-кластер

Я запускаю Spark на Amazon EMR, Public DNS которого, скажем, 23.21.40.15. Теперь я выполняю мой Spark Jar в этом кластере & Я хочу написать вывод моего Spark Job на другие Amazon EMR HDFS, Public DNS

0зной

2ответ

Spark streaming 1.6.1 не работает с Kinesis asl 1.6.1 и asl 2.0.0-preview

Я пытаюсь запустить искрообразование на ЭМИ с помощью Kinesis. Spark 1.6.1 с Kinesis ASL 1.6.1. Написание простого примера wordcount. <dependency> <groupId>org.apache.spark</groupId> <art

1зной

1ответ

Как получить доступ к файлам потоков kinesis Amazon в S3 в моем коде pyspark?

Я получил ведро на S3, которое состоит из файлов потока Kinesis в сжатом формате с использованием «мгновенного». Структура папки и формат файла: s3://<mybucket>/yyyy/mm/dd/*.snappy. Я пытаюсь прочитат

0зной

1ответ

Ошибка разбора параметров, амазонки AWS ЭМИ

Я пытаюсь создать шаг за консоли Linux: aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--s3Endpoint,s3-eu-

1зной

1ответ

Не удалось выполнить exitCode, Amazon Emr Hadoop, S3DistCp

Я пытаюсь создать «Шаг» и собрать много маленьких файлов в один, поэтому я могу разделить его на несколько дней. Проблема в том, что я запущен intetando и не позволяю мне. Выполнение она хорошо работа

5зной

2ответ

Спарк SQL терпит неудачу, потому что «Constant пул вырос в прошлом JVM предел 0xFFFF»

Я выполняющий этот код на ЭХ 4.6.0 + Спарк 1.6.1: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is not null OR `se