emr

4зной

1ответ

Я выполняю работу в кластере AWS EMR, и у меня возникают проблемы с конфликтом библиотеки Jackson. На основании статьи here я пытался добавить загрузочный шаг, чтобы установить свой путь к классам со

2зной

1ответ

Каков наилучший способ определить, сколько времени на работу EMR тратится на карту или на сокращение задач?

Я запускаю пользовательскую работу хаоса в Amazon AWS EMR, и я хочу собирать данные о том, сколько времени потрачено на выполнение всех задач Map и времени, затраченного на выполнение. Сокращение зада

0зной

3ответ

Получение «Существующий lock /var/run/yum.pid: другая копия работает как pid ...» во время загрузки в EMR

Мне нужно установить python3 в моем кластере EMR (AMI 3.1.1) в качестве части загрузочного устройства шаг. Поэтому я добавил следующую команду: sudo yum install -y python3 Но каждый раз, когда я пол

2зной

1ответ

Скопление EMR hadoop (MRv2) максимально на 80%. Как получить оставшиеся 20%?

Я использую Elastic MapReduce (Hadoop 2.0 с YARN) на AWS. Конфигурация состоит в следующем: 10 x g2.2xlarge core instances with 15GB of RAM and 8 CPU cores yarn.nodemanager.vmem-check-enabled=false

0зной

1ответ

java.lang.IllegalAccessError: не может получить доступ к его суперинтерфейсу

ПРОБЛЕМА: У меня есть два класса Java, которые имеют одинаковые квалифицированные пути. Я запускаю задачу EMR, для которой я собираю все баны с зависимостями в одной банке и загружаю их на S3. Предпол