Невозможно рассортировать выражение Pyparsing с помощью метода setParseAction(). Необходимое для многопроцессорных

Question

Моего первоначального вопроса в том, что я пытаюсь сделать следующее:

def submit_decoder_process(decoder, input_line): 
    decoder.process_line(input_line) 
    return decoder 

self.pool = Pool(processes=num_of_processes) 
self.pool.apply_async(submit_decoder_process, [decoder, input_line]).get() 

декодера усложнится, чтобы описать здесь, но главное в том, что декодер объект, который инициализируется с выражением Pyparsing который вызывает setParseAction(). Это не позволяет определить, что использует многопроцессорность, и это, в свою очередь, не позволяет выполнить вышеуказанный код.

Теперь вот проблема рассола/PyParsing, которую я выделил и упростил. В следующем коде появляется сообщение об ошибке из-за отказа рассола.

import pickle 
from pyparsing import * 

def my_pa_func(): 
    pass 

pickle.dumps(Word(nums).setParseAction(my_pa_func)) 

Сообщение об ошибке:

pickle.PicklingError: Can't pickle <function wrapper at 0x00000000026534A8>: it's not found as pyparsing.wrapper 

Теперь Если вы удалите .setParseAction вызова (my_pa_func), он будет работать без проблем:

pickle.dumps(Word(nums)) 

Как я могу обойти это? Многопроцессор использует рассол, поэтому я не могу этого избежать. Патсовый пакет, который предположительно использует укроп, недостаточно зрелый, по крайней мере, у меня возникают проблемы с его установкой на моем Windows-64bit. Я действительно царапаю голову здесь.

Answer 1

ОК, вот решение вдохновлен rocksportrocker: Python multiprocessing pickling error

Идея заключается в том, чтобы укроп объект, который не может быть маринованный, проходя вперед и назад между процессами, а затем «undill» это после того, как это было прошло:

from multiprocessing import Pool 
import dill 

def submit_decoder_process(decoder_dill, input_line): 
    decoder = dill.loads(decoder_dill) # undill after it was passed to a pool process 
    decoder.process_line(input_line) 
    return dill.dumps(decoder) # dill before passing back to parent process 

self.pool = Pool(processes=num_of_processes) 

# Dill before sending to a pool process 
decoder_processed = dill.loads(self.pool.apply_async(submit_decoder_process, [dill.dumps(decoder), input_line]).get()) 

Answer 2

https://docs.python.org/2/library/pickle.html#what-can-be-pickled-and-unpickled

multiprocessing.Pool использует протокол рассола для сериализации функции и модуля имен (в вашем примере setParseAction и pyparse), которые поставляются через трубы в дочерний процесс.

Детский процесс, после его получения, импортирует модуль и пытается вызвать функцию. Проблема в том, что то, что вы проходите, не является функцией, а методом. Чтобы решить эту проблему, протокол Pickle должен быть достаточно умен, чтобы создать объект «Word» с параметром «user», а затем вызвать метод setParseAction. Поскольку обработка этих случаев слишком сложна, протокол Pickle предотвращает сериализацию функций верхнего уровня.

Чтобы решить вашу проблему, вы проинструктируете модуль Pickle о том, как сериализовать метод setParseAction (https://docs.python.org/2/library/pickle.html#pickle-protocol), или вы реорганизуете свой код таким образом, чтобы переданное в Pool.apply_async сериализуемое.

Что делать, если вы передаете объект Word дочернему процессу, и вы позволите ему вызвать Word(). SetParseAction()?

Answer 3

Я предлагаю pathos.multiprocessing, как вы упомянули. Конечно, я автор pathos, поэтому я думаю, это не удивительно. Похоже, что может быть ошибка distutils, в которой вы работаете, как указано здесь: https://github.com/uqfoundation/pathos/issues/49.

Ваше решение с использованием dill является хорошим обходным решением.Вы также можете отказаться от установки всего пакета pathos и просто установить вилку pathos пакета multiprocessing (который использует dill вместо pickle). Вы можете найти его здесь: http://dev.danse.us/packages или здесь: https://github.com/uqfoundation/pathos/tree/master/external,