emr

6зной

1ответ

Как отправить банку Spark в кластер EMR?

Я использовал онлайн-консоль AWS для запуска своего кластера вместе с Apache Spark. У меня есть толстая банка, основанная на моем приложении Spark, и я загрузил его в ведро S3. Когда я пытаюсь отправи

0зной

1ответ

Медленная загрузка разделенных таблиц Hive

Я загружаю таблицу в Hive, которая разбита по дате. В настоящее время он содержит записи за 3 года, поэтому около 900 разделов (т. Е. 365 * 3). Я загружаю ежедневные дельта в эту таблицу, добавляя доп

3зной

1ответ

Подключить Hadoop + Hive с MongoDB на AWS EMR (класс не найден com/mongodb/DBObject)

Мне нравится подключать кластер EMR к нашему MongoDB через соединение MongoDB (а не через BSON Dumps). Для этого я создал кластер над консолью управления AWS. В конфигурации Bootstrap я указал на этот

0зной

1ответ

AWS ЭЙ: как получить первый элемент из describe_jobflows() результат API вызова

Я не могу понять, как получить первый элемент результата от вызова одного из boto emr APIs: describe_jobflows() я это знаю возвращает list of jobflows, но когда я пытаюсь получить доступ к нему с по

0зной

1ответ

Может ли cloudera impala использовать узлы задач в EMR?

Я экспериментировал с Impala на EMR, и мне кажется, что он использует только основные узлы в кластере, а не узлы задачи. Я использую встроенную установку Impala, предоставляемую EMR, которая составляе

1зной

1ответ

Уличный скрипт работает долгое время

Я пытаюсь запустить запрос куста на огромное количество данных. Таблица поиска в Geocode имеет диапазон ip-from и ip-to, который я должен сравнить с таблицей в 1,8 миллиона строк. Hive Сценарий: selec

-1зной

1ответ

Pig скрипт не работает с помощью Amazon EMR

Я не могу получить этот скрипт для работы: raw = LOAD 's3://xxxxxxxxx/*' AS (name:chararray, year:float, occurrences:float, books:float); B = GROUP raw BY name; C = FOREACH B GENERATE B.name, (SUM(B