emr

9зной

1ответ

Почему Yarn на EMR не выделяет все узлы для работы Spark?

Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0. Когда я начинаю работу, YARN правильно расп

0зной

1ответ

Приложение Spark останавливается при чтении файла с s3

У меня есть приложение, которое работает на EMR и читает csv-файл из s3. Однако все это, кажется, останавливается (я пропустил его около часа), когда я пытаюсь прочитать в этом файле с s3. Ничего не п

8зной

3ответ

Spark + EMR с использованием настройки «maximizeResourceAllocation» от Amazon не использует все ядра/vcores

Я запускаю кластер EMR (версия emr-4.2.0) для Spark, используя флаг Amazon maximizeResourceAllocation, как задокументировано here. Согласно этим документам, «эта опция вычисляет максимальные ресурсы в

0зной

2ответ

Могу ли я использовать s3 в качестве хранилища улья вне Amazon EMR?

У меня есть случай, когда я управляю службой в машине EC2. На этой машине работает Hive, и я планирую использовать s3 в качестве хранилища улья (вместо hdfs). Является ли это возможным?

4зной

1ответ

EMR - использование пользовательского регистрационного приложения в Hadoop (и YARN)

В наших кластерах EMR мы используем пользовательские log4j-appenders и log4j.properties, чтобы мы могли пересылать журналы в Splunk и позволять нам делать магию, которую предоставляют предоставленные