Многопроцессорный Python с RPYC «ValueError: травление отключено»

Question

Я пытаюсь использовать пакет многопроцессорности в службе rpyc, но получаю ValueError: pickling is disabled, когда пытаюсь вызвать открытую функцию у клиента. Я понимаю, что пакет multiprocesing использует травление для передачи информации между процессами и что травление не допускается в rpyc, потому что это небезопасный протокол. Поэтому я не уверен, что лучший способ (или, если это так или иначе) использовать многопроцессорность с rpyc. Как я могу использовать многопроцессорность в службе rpyc? Вот на стороне сервера код:

import rpyc 
from multiprocessing import Pool 

class MyService(rpyc.Service): 

    def exposed_RemotePool(self, function, arglist): 

     pool = Pool(processes = 8) 
     result = pool.map(function, arglist) 
     pool.close() 
     return result 


if __name__ == "__main__": 
    from rpyc.utils.server import ThreadedServer 
    t = ThreadedServer(MyService, port = 18861) 
    t.start() 

А вот клиент сторона код, который выдает ошибку:

import rpyc 

def square(x): 
    return x*x 

c = rpyc.connect("localhost", 18861) 
result = c.root.exposed_RemotePool(square, [1,2,3,4]) 
print(result) 

Answer 1

Вы можете включить травление в конфигурации протокола. Конфигурация хранится в виде словаря, вы можете изменить default и передать его как на сервер (protocol_config =), так и на клиента (config =). Вам также необходимо определить функцию, которая будет распараллеливаться как на стороне клиента, так и на стороне сервера. Так вот полный код server.py:

import rpyc 
from multiprocessing import Pool 
rpyc.core.protocol.DEFAULT_CONFIG['allow_pickle'] = True 

def square(x): 
    return x*x 


class MyService(rpyc.Service): 

    def exposed_RemotePool(self, function, arglist): 

     pool = Pool(processes = 8) 
     result = pool.map(function, arglist) 
     pool.close() 
     return result 



if __name__ == "__main__": 
    from rpyc.utils.server import ThreadedServer 
    t = ThreadedServer(MyService, port = 18861, protocol_config = rpyc.core.protocol.DEFAULT_CONFIG) 
    t.start() 

И client.py код:

import rpyc 

rpyc.core.protocol.DEFAULT_CONFIG['allow_pickle'] = True 

def square(x): 
    return x*x 

c = rpyc.connect("localhost", port = 18861, config = rpyc.core.protocol.DEFAULT_CONFIG) 
result = c.root.exposed_RemotePool(square, [1,2,3,4]) 
print(result) 

Answer 2

Вы должны включить его в настройках протокола. См. http://rpyc.readthedocs.org/en/latest/api/core_protocol.html#rpyc.core.protocol.DEFAULT_CONFIG