Как сделать Apache дирижабли ноутбуков работать быстрее на первую работе

Question

Как вы можете обратиться к снимку, когда время кулака запустить ноутбук Apache дирижаблей, это занимает много времени, чтобы завершить работу (около более 1 мин).

Есть ли способ оптимизировать, чтобы сократить время работы?

Answer 1

Наконец, я обнаружил, что в двух случаях вы можете сделать это быстрее, в искровой версии < 1.6 и иметь полный ресурс в кластере.

Answer 2

Короткий ответ:

Вы не можете сделать первую работу быстрее.

Более длинный ответ:

обработка Работы не медленно, но инициализация SparkSession или SparkContext на другом.

Что делает Zeppelin, инициирует сеанс Spark на первом задании, которое вы вызываете. Простой пример:

Потребовался минута, а сделать просто значение ассигнования.

Таким образом, вы ничего не можете сделать, чтобы сделать это быстрее, если только spark не начнет работать быстрее.

Answer 3

zeppelin просит ресурс, необходимый для интерпретации вашей команды. В режиме пряжи клиента случае, это также необходимо подождать, пока пряжу принять ваше заявление .. Так, Это больше, чем 1мин для вашего первого ноутбука ..