Как использовать пул многопроцессорности python в непрерывном цикле

Question

Я использую библиотеку многопроцессорности python для выполнения сценария selenium. Мой код ниже:

#-- start and join multiple threads --- 
thread_list = [] 
total_threads=10 #-- no of parallel threads 
for i in range(total_threads): 
    t = Process(target=get_browser_and_start, args=[url,nlp,pixel]) 
    thread_list.append(t) 
    print "starting thread..." 
    t.start() 

for t in thread_list: 
    print "joining existing thread..." 
    t.join() 

Как я понял функцию join(), он будет ждать каждого завершения процесса. Но я хочу, чтобы как только процесс был выпущен, ему будет назначена другая задача для выполнения новой функции.

Это может быть понято как это:

Say 8 процессы начались в первую очередь.

no_of_tasks_to_perform = 100 

for i in range(no_of_tasks_to_perform): 
    processes start(8) 
    if process no 2 finished executing, start new process 
    maintain 8 process at any point of time till 
    "i" is <= no_of_tasks_to_perform 

Answer 1

Вместо того, чтобы начинать новые процессы каждый сейчас и потом, попробуй поставить все свои задачи в multiprocessing.Queue() и начать 8 давно запущенные процессы, в каждом процессе держать доступ к очереди задач, чтобы получить новые задачи и затем выполняйте эту работу, пока не будет никакой задачи.

В вашем случае, это больше похоже на это:

from multiprocessing import Queue, Process 

def worker(queue): 
    while not queue.empty(): 
     task = queue.get() 

     # now start to work on your task 
     get_browser_and_start(url,nlp,pixel) # url, nlp, pixel can be unpacked from task 

def main(): 
    queue = Queue() 

    # Now put tasks into queue 
    no_of_tasks_to_perform = 100 

    for i in range(no_of_tasks_to_perform): 
     queue.put([url, nlp, pixel, ...]) 

    # Now start all processes 
    process = Process(target=worker, args=(queue,)) 
    process.start() 
    ... 
    process.join()