2

Я запускаю кластер EMR и пытаюсь использовать ноутбук Zeppelin для анализа данных.Как я могу заставить Zeppelin перезагрузиться на кластере EMR?

Версии: этикетки выпуска: EMR-5.2.1 Распределение
Hadoop: Amazon 2.7.3
Hive 2.1.0
Спарк 2.0.2
Цеппелин 0.6.2

Я постоянно имея проблемы с Zeppelin, зависающие во время выполнения запроса, и я никогда не смогу его восстановить. Я пробовал:
- перезапустить интерпретатор
- ssh'ing в главном узле и работает zeppelin_daemon.sh restart (попробовал работает как Hadoop/корень/дирижабль, а также запустить скрипт с опциями reload, start/stop, upstart)

Каждый раз, когда я использую сценарий демон оболочки, он говорит мне, что он прекратил/начал хорошо, но затем я получаю это когда я бегу статус:
Zeppelin running but process is dead [FAILED]

Единственное, что я могу показаться, чтобы сделать, это убить мой кластер и встать на новый уровень, который сумасшедший на многих уровнях.

Итак ... что официально поддерживается способом перезапуска Zeppelin ???

+0

Вы решили это? – Davos

ответ

3

Услуги по использованию EMR с выдержкой и поддерживаемый способ их перезапуска - использовать «sudo stop < service-name>; sudo start < service-name>". (Команды запуска и останова находятся в/sbin, который по умолчанию находится в PATH.)

Примечание: в настоящее время на EMR существует ограничение, которое предотвращает правильную работу/sbin/restart, поэтому вы должны использовать stop, затем запустить вместо перезапуска.

+0

Я пробовал этот 'sudo/sbin/stop zeppelin', а затем' sudo/sbin/start zeppelin', и теперь сайт показывает ошибку 503. Проблема с доступом /. Причина: Услуга недоступна. До этого я попытался отправить SIGTERM в PID служб zeppelin. Мне интересно, какая фактическая команда использует EMR для запуска выскочки, скорее всего, это просто «запуск zeppelin» – Davos

+1

Тот факт, что вы получаете ошибку 503 (в отличие от соединения с ошибкой вообще), означает, что Zeppelin должен работать, но, по-видимому, по какой-то причине не работает. Вы можете проверить его журналы в/var/log/zeppelin для подсказки. Кстати, да, EMR запускает демонов не более, чем просто «sudo/sbin/start <имя-службы>». –

0

Это может показаться немного глупым, и я не уверен, почему он работает. Однако у меня были проблемы с выпуском остановки/запуска демона и его работой. Но если я смогу запустить демона, запустив ноутбук, который, как я знаю, работает, а затем перейду в проблему, ноутбук иногда может исправить зависание, по крайней мере до такой степени, что я могу восстановить то, что я сделал.

0

Я ssh'ed в мастер-узел, а затем побежал

$ sudo stop zeppelin 
zeppelin stop/waiting 

$ sudo start zeppelin 
zeppelin start/running, process 24434 

Сразу после того, как, освежающий Цеппелин дал мне 503, но после ~ 2 минут или около того, пользовательский интерфейс был доступен снова. Я проверил журналы в/var/log/zeppelin, и для настройки параметров требуется некоторое время.