искробезопасный сервер использует столько рабочих потоков, сколько доступно

Question

Моя среда - это автономный кластер искры. Мне нужно, чтобы сервер hive thrift разрешил доступ JDBC к паркетному файлу. В то же время мне нужно запустить одно Java-приложение (использующее HiveContext), в то время как бережливый сервер работает, чтобы загрузить некоторые данные в один и тот же файл паркета. Я провел эксперименты как с метасторным автономным, основанным на DERBY (по умолчанию), так и с метасторе, управляемым базой данных mysql. Проблема, которая у меня есть, почти такая же. Если запущенный сервер работает, приложения java получают 0 ядер, поэтому он ожидает закрытия бережливого сервера (а затем приложение java закрывает его обработку корректно), а если приложение запущено, бережливый сервер даже не может запускаться. Фактически, бережливый сервер получает столько ядер и ссылается на столько рабочих потоков, сколько доступно, не позволяя другим приложениям получать ресурсы. Можно ли сократить количество рабочих процессов, выделенных для бережливого сервера? По-видимому, нет никакой конкретной конфигурации для управления этим параметром.

Я не думаю, что это вопрос nr. из ядер, потому что я могу добавить больше ядер, и результат будет идентичным.

Не могли бы вы посоветовать мне по этой теме? Большое спасибо.

Answer 1

введите эти два параметра в spark-defaults.sh в папку conf искры, эти параметры предназначены для предоставления максимальных ресурсов для 1 приложения.

spark.cores.max=max number of cores(ex. 2) 
spark.executor.memory=max memory allowed(ex. 2024M) 

или вы можете попробовать запустить искру в режиме пряжи.