emr

0зной

1ответ

Apache Pig: OutOfMemoryError с агрегацией FOREACH

Я получаю OutOfMemoryError с запуском операции FOREACH в Apache Pig. 16/06/24 15:14:17 INFO util.SpillableMemoryManager: first memory handler call- Usage threshold init = 164102144(160256K) used =

0зной

1ответ

Что такое aws EMR Amazone standard при распределении хаоса при выборе цены

Я пытался рассчитать цены на услугу AWS EMR. Я googled, но не смог найти то, что является стандартом Amazone в колонке распределения хаоса, которая по умолчанию. Любая информация поможет.

4зной

2ответ

Boosting spark.yarn.executor.memoryOverhead

Я пытаюсь запустить (py) Spark задание на EMR, которое обработает большой объем данных. В настоящее время моя работа терпит неудачу со следующим сообщением об ошибке: Reason: Container killed by YARN

7зной

1ответ

Искрой на пряжу в режиме «Выход»: -100. Диагностика: Контейнер, выпущенный на * потерянном узле.

Я пытаюсь загрузить базу данных с данными 1 ТБ, чтобы исправить на AWS, используя последнюю ЭМИ. И время работы настолько длинное, что оно не завершено даже через 6 часов, но после запуска 6h30m, я по

2зной

1ответ

Исключительное исключение метода Spark RDD «saveAsTextFile» Даже после удаления выходного каталога. org.apache.hadoop.mapred.FileAlreadyExistsException

Я вызываю этот метод на RDD [String] с назначением в аргументах. (Scala) Даже после удаления каталога перед запуском процесс дает эту ошибку. Я запускаю этот процесс на кластере EMR с расположением вы

0зной

2ответ

s3-dist-cp and hadoop distcp job бесконечно loopin в EMR

Я пытаюсь скопировать данные 193 ГБ с s3 на HDFS. Я бегу следующие команды для s3-distcp и Hadoop distcp: s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFiles/ hadoop dis

-3зной

1ответ

Ищет способ де-ссылки на bash var, завернутый в вызов команды python

Я пытаюсь найти способ отмены ссылки goldenClusterID, чтобы использовать его в команде AWS CLI для завершения работы моего кластера. Эта программа предназначена для компенсации динамических номеров ра