Увеличение искровых исполнителей на Zeppelin

Я создаю кластер с Hortnworks (HDP 2.4). У меня есть 4 узла кластера, каждый из которых имеет (16 ГБ-ОЗУ, 8-ЦП). У меня также есть Spark с Zeppelin Notebook, чтобы использовать python (pyspark).Увеличение искровых исполнителей на Zeppelin

Моя проблема: я начал с конфигурации из 3 узлов, и позже я добавил еще один новый узел (так полностью 4, как было сказано ранее), так как количество исполнителей на Spark остается «3».

Я вижу в Интернете, что количество исполнителей устанавливается в SPARK_EXECUTOR_INSTANCES, но этот параметр присутствует только в spark-env template конфигурации страницы Spark в пользовательском интерфейсе Ambari. Кажется, он требует, чтобы YARN принял решение об исполнителях, но в YARN я ничего не нашел об этом.

Определённо, Как я могу увеличить количество исполнителя в моем Hortonworks Hadoop кластера с использованием Ambari?

источник

2016-05-10 Pietro Fragnito

Вы используете искру с менеджером кластеров YARN –

Я думаю, да ... как проверить эту конфигурацию? –

Вы можете сделать это двумя способами: установить «spark.dynamicAllocation.enabled» в true или установить количество экземпляров исполнителя «spark.executor.instances» на некоторый номер, который вы хотите –

Pietro, вы можете изменить это на самом Zeppelin.

В правом верхнем углу откройте меню и введите конфигурацию «Интерпретатор».

Существует раздел под названием «переводчики». Последний подраздел называется «искра», и вы должны найти эту настройку там.

Если это не так, просто вставьте его, отредактировав подраздел.

Надеюсь, что это поможет.

источник

2016-08-30 15:04:43

Что это за собственность? (Я вижу только максимальный максимум и память) –

Thomas Decaux, если вы используете динамическое распределение, вы можете выбрать 'spark.dynamicAllocation.maxExecutors', как можно видеть на [documentation] (https://spark.apache.org/docs /latest/configuration.html). Это установит максимальное количество исполнителей. Исходным числом исполнителей является 'spark.dynamicAllocation.initialExecutors', а минимальным является' spark.dynamicAllocation.minExecutors'. Вы также устанавливаете 'spark.executor.instances' (в качестве альтернативы -num-executors), если вы не хотите играть с' spark.dynamicAllocation'. –

Спасибо, я не заметил, что мы можем добавить свойство Spark здесь! –

С rigt Korner нажмите стрелку вниз и нажмите Интерпретатор затем добавить две свечи свойства:

spark.shuffle.service.enabled -> истинный
spark.dynamicAllocation.enabled -> истинный

источник

2017-08-16 12:03:31

Увеличение искровых исполнителей на Zeppelin

ответ

Смежные вопросы