Могу ли я использовать map/imap/imap_unordered с функциями без аргументов?

Question

Иногда мне нужно использовать многопроцессорность с функциями без аргументов. Я хотел бы сделать что-то вроде:

from multiprocessing import Pool 

def f(): # no argument 
    return 1 

# TypeError: f() takes no arguments (1 given) 
print Pool(2).map(f, range(10)) 

я мог сделать Process(target=f, args=()), но я предпочитаю синтаксис map/imap/imap_unordered. Есть ли способ сделать это?

Answer 1

map Первый аргумент функции должен быть функцией, и он должен принимать один аргумент. Это обязательно, потому что итерабель, переданный как второй аргумент, будет итерирован, и значения будут переданы функции по одному на каждой итерации.

Итак, ваш лучший выбор, чтобы переопределить f принять один аргумент и игнорировать его, или написать функцию обертку с одним аргументом, игнорировать аргумент и возвращает значение, возвращаемое f, как это

from multiprocessing import Pool 

def f(): # no argument 
    return 1 

def throw_away_function(_): 
    return f() 

print(Pool(2).map(throw_away_function, range(10))) 
# [1, 1, 1, 1, 1, 1, 1, 1, 1, 1] 

Вы не можете использовать функции lamdba с пулами, потому что они не подбираются.

Answer 2

Есть ли что-то неправильное с использованием Pool.apply_async?

with multiprocessing.Pool() as pool: 
    future_results = [pool.apply_async(f) for i in range(n)] 
    results = [f.get() for f in future_results]