Одновременно вызывать скрипт из Python, передавая данные каждому из них и возвращая данные к исходному

Question

Я пытаюсь создать скрипт python, который вызывает 5 других скриптов python для одновременного запуска при передаче в массиве, а затем каждый из 5 скриптов выполните операцию над этим массивом и верните другой массив в исходный скрипт.

Исходный скрипт затем реализует, когда 5 возвращают значения, а затем выполняет операции над этими 5 массивами.

Я думаю, что решение что-то вроде os.system(./script1.py arg1), os.system(./script2.py arg2) , но я не уверен, как поступить.

Answer 1

Вы можете использовать пул потоков для параллельной работы всех команд. Я также перешел на subprocess модуль, который захватывает программные выходы:

import multiprocessing.pool 
import subprocess as subp 

def worker(script): 
    proc = subp.Popen(script, shell=True, stdout=subp.PIPE, stderr=subp.PIPE) 
    out, err = proc.communicate() 
    return script, out, err, proc.returncode 

scripts = ['./script1.py arg1', './script2.py arg2'] 
pool = multiprocessing.pool.ThreadPool(len(scripts)) 
for script, out, err, returncode in pool.map(worker, scripts): 
    do your magic 
pool.close() 
pool.join()