Обмен данными в Python

Question

У меня есть некоторые маринованные данные, которые хранятся на диске и размером около 100 МБ.

Когда моя программа python выполнена, выбранные данные загружаются с использованием модуля cPickle, и все это отлично работает.

Если я выполняю python несколько раз, используя, например, python main.py, каждый процесс python будет загружать одни и те же данные несколько раз, что является правильным поведением.

Как я могу это сделать, все новые процессы python обмениваются этими данными, поэтому он загружается только один раз в память?

Answer 1

Если вы работаете в Unix, одна из возможностей - загрузить данные в память, а затем использовать сценарий os.fork(), чтобы создать кучу подпроцессов. Пока подпроцессы не пытаются изменить данные, они автоматически разделили бы его родительскую копию без использования дополнительной памяти.

К сожалению, это не будет работать в Windows.

P.S. I once asked о размещении объектов Python в разделяемой памяти, но это не создавало никаких простых решений.

Answer 2

В зависимости от того, насколько серьезно вам необходимо решить эту проблему, вы можете захотеть взглянуть на memcached, если это не перебор.