Интересно, есть ли причина, по которой искра, которую я написал в абзаце Цепплина, выполняется намного быстрее, чем запуск искра?Исправленная работа Apache zepplin работает быстрее, чем spark-submit
В основном я использую ту же конфигурацию (исполнители, память) в Zepplin и spark-submit, но есть столько существенных различий во времени выполнения.
Оба работают на одном автономном искровом скоплении.
Что может объяснить это различие?
Есть две вещи, о которых я могу думать, что может привести к этому.
Даже если ваше время сокращает контекст искры (например, вы считаете только время для фактического задания), в zappelin вы, вероятно, выполняете некоторые другие задания перед текущим. Это может привести к различному кэшированию. Некоторые примеры включают в себя:
Да, я думал почти обо всех этих возможностях, но это не объясняет, почему запись в db (около 148 миллионов записей) занимает значительно меньше времени, чем работает в spark-submit. Тот же код, но написанный как разные абзацы в Zepplin. Я мог видеть, как долго выполняются все задачи в пользовательском интерфейсе Spark. –
Когда вы выполняете профилирование, вы можете убедиться, что вы загружаете каждый внешний элемент за пределы профилирования. Например, в вашем программном вызове spark.range (100) .show(), который загрузит контекст искры, затем оберните таймер вокруг самого задания. С другой стороны, в цеппине обязательно запускайте соответствующую ячейку и ничего больше, а затем сравнивайте. Учитывая это, вы должны видеть ту же производительность. Я предполагаю, что, конечно, вы используете ту же конфигурацию для обоих тестов. –
Какой код работы? –
@ T.Gawęda Я не думаю, что это код, вероятно, потому, что я использую контекст искры zepplin (sc), sqlContext, который может отличаться от моей свечи conf –
Вы учитываете время запуска/выключения? Я предполагаю, что экземпляр Zeppelin уже запущен, поэтому нет времени запуска. Если вы еще не пытались использовать внутреннюю синхронизацию Scala –