Минимальное время выполнения сценария свиньи

Question

В настоящее время я изучаю Pig, и я выполняю свои скрипты внутри Hortonworks Sandbox. То, что меня раздражает с самого начала, заключается в том, что минимальное время выполнения скрипта свиньи составляет не менее 30-40 секунд. Это потому, что я использую Hortonworks Sandbox или нормально для сценариев Pig? Есть ли способ сократить время выполнения, потому что это действительно замедляет мой прогресс в обучении? Если это время выполнения нормальное, вы можете объяснить мне, что происходит, и почему?

PS

я выделил 2 Гб оперативной памяти для виртуальной машины Hortonworks. И просто упомянуть, что в настоящее время я выполняю просто простые скрипты на небольших наборах данных.

Answer 1

Если вы запускаете свинью в локальном режиме (pig -x local), то она будет работать намного быстрее, но не будет уменьшать карту и не будет обращаться к hdfs - это полезно для обучения!

Answer 2

Да, 30-40 секунд абсолютно нормально для Свинья, потому что у него большие накладные расходы для компиляции задания, запуска JVM и т. Д. Как указано в другом ответе - вы можете попробовать запустить в локальном режиме. Обычно для меня требуется около 15 секунд для простой работы с вводом, содержащим только несколько строк данных. Моя Cloudera VM выделяется 4G оперативной памяти, кстати.