Как выбрать chunksize для многопроцессорности python с большими наборами данных

Question

Я пытаюсь использовать python для получения некоторой производительности для задачи, которая может быть сильно распараллелена с помощью http://docs.python.org/library/multiprocessing.

При взгляде на свою библиотеку они говорят, что используют размер блока для очень длинных итераций. Теперь, мой итерабельный недолго, один из содержащихся в нем dicts: ~ 100000 записей, с кортежами в качестве ключей и массивами numpy для значений.

Как я могу установить chunksize для обработки этого и как я могу быстро передать эти данные?

спасибо.

Answer 1

Единственный способ справиться с этим единственным крупным предметом сразу нескольких сотрудников - это разделить его. multiprocessing работает, разделяя работу в единицах, но наименьшая единица, которую вы можете подавать, - это один объект - он не может знать, как разделить один объект так, как это разумно. Вы должны сделать это сами. Вместо того, чтобы отправлять диктофоны для работы, разделите dicts на меньшие рабочие единицы и отправите их вместо этого. Если вы не можете разделить dict, потому что все данные взаимозависимы, вы также не можете разделить работу.