Изменить минимальный размер кучи исполнителя в искровой на пряжу

Я хочу изменить начальный/минимальный размер кучи моих исполнителей во время работы искры на пряжу. Сейчас он бросает следующее исключение,Изменить минимальный размер кучи исполнителя в искровой на пряжу

java.lang.Exception: spark.executor.extraJavaOptions не разрешается изменять параметры памяти

Я использую следующий --conf "spark.executor.extraJavaOptions=-Xms4096m" во время работы моей искровой скорлупу ,

Я использую искру 1.6.0. Большое спасибо за помощь!

источник

2016-12-01 Adi Kish

Немного о spark.executor.extraJavaOptions от docs

Обратите внимание, что это незаконно, чтобы установить свойство искры или настройки размера кучи с помощью этой опции. Свойства искры должны быть заданы с использованием объекта SparkConf или файла spark-defaults.conf, используемого в скрипте spark-submit. Параметры размера кучи можно установить с помощью spark.executor.memory.

Попробуйте --conf "spark.executor.memory=4g"

источник

2016-12-01 20:07:51 David

это дает мне статическое распределение 4g на исполнителя с -Xmx 4 г, но я хотел бы установить свои XMS, а также. –

Я считаю, что размер кучи фиксирован для исполнителей в искры. В java-терминах выражение «spark.executor.memory = 4g» эквивалентно установке как Xms, так и Xmx в 4g – David

Я предполагаю, что не потому, что мои журналы исполнителей пряжи, похоже, начинаются со скоростью около 192 м и продолжают расти. –

Изменить минимальный размер кучи исполнителя в искровой на пряжу

ответ

Смежные вопросы