emr

1зной

1ответ

Как настроить Java-клиент при подключении к AWS ОГО искрового кластеру

Я пытаюсь написать простую свечу приложение, и, когда я запустить его локально он работает с установкой мастера, как .master("local[2]") Но после настройки искры кластера на AWS (ЭМИ) я не могу Conn

-1зной

1ответ

Настройка Spark на EMR

Когда вы выбираете более мощный узел, скажем r3.xlarge против m3.xlarge, будет ли Spark автоматически использовать дополнительные ресурсы? Или это вам нужно настроить вручную и настроить вручную? Что

0зной

1ответ

Как восстановить журналы oozie/sqoop в Hue на EMR после того, как кластер завершился?

Итак, мы планируем использовать EMR, который будет работать в течение нескольких часов в дневных данных процесса, и кластер будет прекращен после завершения обработки. На обычной установке cloudera (и

1зной

1ответ

Apache Spark читает для S3: не удается раскрыть объекты thread.lock

Так что я хочу, чтобы приложение Spark прочитало текст из S3 Amazon. Я написал следующий простой сценарий: import boto3 s3_client = boto3.client('s3') text_keys = ["key1.txt", "key2.txt"] data = sc

1зной

1ответ

Подключение к Spark SQL на EMR с использованием JDBC

У меня есть искра, работающая на EMR, и я пытаюсь подключиться к искровому SQL из SQLWorkbench с использованием драйверов hive JDBC, но напрасно. Я начал бережливый сервер в EMR, и я могу подключиться

3зной

1ответ

Как добавить свойство mapreduce.reduce.memory.mb в EMR Cluster в шаблон Cloud Formation?

Я изучил, как изменить значения по умолчанию, которые EMR предоставляет кластеру в зависимости от типа машины. В моем случае это довольно простая настройка m4.large как основного и c3.2xlarge как ядро

0зной

1ответ

Создание файла AWS EMR на кластере не работает

Я запускаю некоторый сценарий оболочки в EMR, когда я отправляю скрипт, добавляя шаг - выполняется процесс, но строка в скрипте, который создает файл в локальной системе. Тем не менее, когда я вхожу в

0зной

1ответ

Уль 2.1 не может правильно оценить NULL map

Я пытаюсь найти обходное решение для проверки NULL-карт в Hive 2.1. Когда я проверяю ключи внутри карты, я получаю правильный результат. Вот что я пытаюсь оценить, а также результат: hive> select requ