Ошибка травления на concurrent.Futures.PoolProcessExecutor - как заблокировать?

Question

Я уже много месяцев общался с Multiprocessing, пытаясь выяснить элегантное повторяемое решение моей проблемы: нужно, чтобы несколько процессов записывали в один и тот же файл, не вступая друг в друга.

Я использовал взаимопроводимость/потребительские отношения для преодоления этих препятствий в прошлом. Хорошие статьи и сообщения, которые я нашел, включают:

• Processing single file from multiple processes in python

• http://sebastianraschka.com/Articles/2014_multiprocessing_intro.html

Я попытался реализовать функцию, аналогичную общему счетчику, описанный здесь:

• http://eli.thegreenplace.net/2012/01/04/shared-counter-with-pythons-multiprocessing

Я стал большим поклонником простоты concurrent.Futures ProcessPoolExecutor и с помощью карты на каждом исполнителе, как описано здесь:

• http://www.dalkescientific.com/writings/diary/archive/2012/01/19/concurrent.futures.html

• https://docs.python.org/3/library/concurrent.futures.html

Сегодня вечером, я думал, что нашел ответ на мой поиск, открыв модуль под названием крепеж для readwrit e locks, но, по-видимому, этот подход работает только с потоками.

• http://fasteners.readthedocs.org/en/latest/examples.html#reader-writer-shared-locks

ВОПРОС: Есть элегантное, простое решение для обмена блокировки, так что все процессы от ProcessPoolExecutor не перезаписывать друг друга при записи в файл?

ПРИМЕЧАНИЕ: Я пишу около 800 м строк ~ 200 полей в один файл, используя csv.DictWriter. Другие рекомендации приветствуются.

Answer 1

Вы смотрите на решение с неправильным углом. Вместо совместного использования блокировки для защиты доступа к файлу дайте доступ к файлу одному процессу. Другие процессы просто скажут ему, что писать.

С этой точки зрения, есть много вопросов, похожих на ваш на stackoverflow.

Python multiprocessing safely writing to a file

Writing to a file with multiprocessing

Python Multiprocessing using Queue to write to same file