emr

0зной

2ответ

Сравнение двух файлов Excel с использованием Hadoop Mapreduce

Я новичок в Hadoop и Mapreduce. У меня есть требование сравнить два файла excel с помощью mapreduce. Я должен перейти к mapreduce, так как размер этих файлов будет очень большим (> 10gb). Мой вопрос з

0зной

1ответ

Как сделать Hadoop/EMR больше контейнеров на узел

Я сейчас перемещаю наше приложение с Hadoop 1.0.3 до 2.7 на EMR v5.1.0. Я запустил его, но у меня все еще возникают проблемы с тем, что я получаю голову от системы распределения ресурсов в Пряжа. При

2зной

1ответ

Выполнить команду на EMR Slaves?

Я пытаюсь обновить действующий кластер EMR с установкой pip на всех подчиненных машинах. Как я могу это сделать? Я не могу сделать это с помощью этапа начальной загрузки, потому что это длинный EMR, и

2зной

2ответ

мониторинг искрового кластера в AWS EMR без искры UI

Я запускаю искровой кластер на AWS EMR. Как получить всю информацию о работе и исполнителях, работающих на AWS EMR, без использования искрового интерфейса. Я собираюсь использовать его для мониторинга

1зной

1ответ

Могу ли я использовать AWS DataPipeline для объединения dynamoDB и редактирования элементов перед каждым нажатием?

У меня есть таблица динамо, которая обесценилась, и мне нужно объединить ее в другую таблицу. Схема для двух таблиц несколько отличается, поэтому мне нужно выполнить небольшую работу над каждым элемен

0зной

1ответ

EMR Hadoop обрабатывает весь файл S3

У меня есть куча небольших текстовых файлов (1KB до 1MB), хранящихся в Amazon S3, которые я хотел бы обработать с использованием Hadoop Amazon EMR. Каждая запись, предоставленная картографу, должна со