Есть ли причина использовать Ipyparallel для общего скрипта python (а не ipython notebook) через многопроцессорный модуль?

Question

Есть ли причина использовать Ipyparallel для общего скрипта python (а не ipython notebook)?

Answer 1

Есть несколько причин, почему вы можете выбрать IPython параллельно, которые могут или не могут иметь отношение к вам:

1. Есть некоторые вещи IPython параллель можно сериализировать эффективно (Numpy массивы), что многопроцессорная не делать так же, потому что это рассолки все
2. IPython parallel может распространять работу на многих машинах, которые не могут быть обработаны многопроцессорными.
3. IPython parallel управляет постоянными интерактивными пространствами имен на каждом движке (полный сеанс IPython), который может быть полезен для составления работы в деталях и отладки.

В общем, если вы просто пытаетесь распараллелить маленькие кусочки кода на вашем многоядерного компьютера, IPython параллельно не предлагает вам много более многопроцессорной, и бремя запуска и подключения к кластерной ISN IPython Это того стоит. Но если вы захотите распространять его на нескольких машинах, IPython parallel позволит вам это сделать. И так как он работает одинаково, независимо от того, используете ли вы один компьютер или сто, вы можете прототип на своем ноутбуке, а затем запустить тот же самый код в большем масштабе без каких-либо изменений.