yarn

0зной

1ответ

Как установить приложение в Hadoop Cluster используя YARN?

Я пытаюсь узнать YARN. Но я попал в блокпост. У меня есть некоторые вопросы. Для каждого приложения узлы данных должны иметь контейнер каждый. Но, эти контейнеры создаются сами по себе, при запуске пр

0зной

1ответ

Получить пряжу applicationId с предоставленной заданием mapreduce

Мне нужно, чтобы получить пряжу applicationId из задания mapreduce. Я не могу найти API для этого. Пример моей MapReduce работы: Configuration conf = new Configuration(); Job job = Job.getInstance(co

0зной

2ответ

Может ли Spark потоковое и Spark-приложения запускаться в одном кластере YARN?

Привет, люди и с новым годом;)! Я наращиваю лямбда-архитектуру с помощью Apache Spark, HDFS и Elastichsearch. В следующей картине, вот что я пытаюсь сделать: До сих пор я написал исходный код Java для

1зной

1ответ

EMR 5.x | Свеча на пряжу | Код выхода 137 и пустое пространство Java Ошибка

Я получаю эту ошибку Container exited with a non-zero exit code 137 во время работы искры на пряжу. Я пробовал пару методов после прохождения, но не помог. Конфигурации искры выглядят следующим образо

0зной

1ответ

Hadoop: HDFS Cluster работает вне пространства, хотя пространство доступно

У нас есть 4 datanode HDFS-кластера ... на каждом узле данных около 98 гб имеется большое количество пространства ... но когда я смотрю на информацию о датаном .. это только используя около 10GB и беж

2зной

2ответ

Как получить контейнер YARN ContainerId из контейнера?

Я запускаю работу Spark в YARN и хотел бы получить идентификатор контейнера YARN (как часть требования о создании уникальных идентификаторов по множеству заданий Spark). Я могу увидеть метод Container

0зной

1ответ

Hive - GenericUDTF - runQuery завершается сбоем из-за исключения koreo stackoverflow

HiveServer2; Версия для улья: 1.2 Я пытаюсь запустить запрос, который содержит пользовательский класс UDF (который реализует GenericUDTF). Класс UDF содержит объект дерева, который он использует для с