Что касается отношения многопроцессорности с ядрами сервера

Question

Для следующего кода предположим, что у меня 32-ядерная машина, будет ли python решить, сколько процессов для меня создать?

from multiprocessing import Process 
for i in range(100): 
    p = Process(target=run, args=(fileToAnalyse,)) 
    p.start() 

Answer 1

Нет, это не решение для вас.

Чтобы ограничить количество подпроцессов, вам необходимо использовать a pool of workers.

Пример из документации:

from multiprocessing import Pool 

def f(x): 
    return x*x 

if __name__ == '__main__': 
    pool = Pool(processes=4)    # start 4 worker processes 
    result = pool.apply_async(f, [10]) # evaluate "f(10)" asynchronously 
    print result.get(timeout=1)   # prints "100" unless your computer is *very* slow 
    print pool.map(f, range(10))   # prints "[0, 1, 4,..., 81]" 

Если опустить, processes=4, он будет использовать multiprocessing.cpu_count, которые возвращают количество центрального процессора.