Конфигурация отказоустойчивости pySpark

Question

Я выполняю длительные рабочие задания (+ 3 часа) на большом искровом кластере в режиме пряжи. Работники виртуальной машины, работающие на искры, размещаются в облаке Google Dataproc, и большинство из них могут быть уничтожены во время выполнения (превентивные виртуальные машины, которые стоят меньше).

Когда это происходит, работа терпит неудачу, потому что задачи не удается по разрушенному работника с этой ошибкой в ​​контейнере журналов неисправного работника:

Executor is not registered 

Я попытался установить spark.task.maxFailures до 1000, но это Безразлично» t кажется очень эффективным: даже если работа заканчивается, задачи не кажутся автоматически перераспределенными, и вычисление задач, назначенных этому конкретному работнику, похоже, возвращается на начальную стадию.

Был ли способ иметь более отказоустойчивую конфигурацию, которая просто исключает невосприимчивых исполнителей и повторно назначает их задачи?

Я мог бы включить журналы ressourcemanager, nodemanager и контейнерные журналы, если не задал вопрос, но я не думаю, что это было бы актуально.

Answer 1

Это, как представляется, является регрессией в отношении того, как люди, покидающие кластер, покидают кластер.

Проблема заключается не только в неспособности потерпеть неудачу. Преступные работники создаются и уничтожаются непрерывно на протяжении всего жизненного цикла кластера. Каждый раз, когда работник уходит, YARN будет ждать 15 м за сердцебиение, прежде чем обнаруживать отказ и воссоздать контейнер. Это может сделать вашу работу намного дольше.

Мы исправим это в следующем выпуске.

Обход:

Следующая заставит работника покинуть кластер на остановке.

Создайте следующий скрипт и загрузить его на ГКС ведро:

#!/bin/sh 
sudo sed -i "s/.*Stopping google-dataproc-agent.*/start-stop-daemon --stop --signal USR2 --quiet --oknodo --pidfile \${AGENT_PID_FILE}; sleep 5s/" \ 
    /etc/init.d/google-dataproc-agent 

Допустим, вы загрузили его на GameSpot: //my-bucket/fix.sh

Теперь воссоздать кластер с этим инициализации действия:

gcloud beta dataproc clusters create my-cluster ... \ 
    --initialization-actions gs://my-bucket/fix.sh 

Вы можете проверить это с помощью SSH-ки в главном узле и настройки часы на список узлов пряжи:

gcloud compute ssh my-cluster-m 
watch yarn node -list 

В другом терминале выдается команда обновления кластера, которая уменьшает количество рабочих и проверяет, что количество узлов пряжи изменяется соответствующим образом.