emr

0зной

1ответ

Мы планируем мигрировать из дома Cloudera Cluster в AWS EMR. План состоит в том, чтобы хранить данные на S3 и обрабатывать их с помощью EMR Hive. У нас много деловых пользователей, которые обращаются

0зной

1ответ

Путь к классам AWS EMR (4.x-5.x) для пользовательского шага jar

При добавлении пользовательского шага jar для кластера EMR - как вы устанавливаете путь к зависимому банку (требуемую библиотеку)? Предположим, у меня есть файл jar - myjar.jar, но мне нужна внешняя б

0зной

2ответ

EMR создает 0 байт файлов при использовании HDFS's moveFromLocalFile API

Я использую EMR для перемещения папки из локальной файловой системы в S3 в Spark с использованием fs.moveFromLocalFile API. Все работает отлично, за исключением 0-байтового файла, созданного EMRFS с и

0зной

1ответ

EMR сбой при загрузке очень большого файла

У меня есть прецедент, где я должен загрузить 1000-е из 20-гигабайтных файлов с EMR на S3. При загрузке файлов с помощью fileSystem.moveFromLocalFile API, работа терпит неудачу с ошибкой при слежении:

1зной

1ответ

пользовательский класс log4j не работает над искровым 2.0 EMR

Я пытаюсь написать журналы как json в искровом 2.0 по EMR. Я смог использовать пользовательский файл log4j.properties. , но когда я попытался изменить вывод JSon с настраиваемым классом (net.logstash.