Как я могу заставить Python ждать, когда он не может выделить память?

Question

Иногда программа Python останавливается с исключением, как в дальнейшем, когда не хватает памяти:

OSError: [Errno 12] Cannot allocate memory 

Могу ли я подождать, пока память не будет доступна снова вместо того, чтобы умереть Неустранимый? Или, по крайней мере, заморозить, пока пользователь не отправит SIGCONT или что-то в этом роде?

Это не моя программа, поэтому я предпочитаю не изменять исходный код, но я думаю, что все равно будет здорово, если я смогу это сделать, изменив только самую внешнюю вызывающую часть.

Спасибо!

Answer 1

Вы можете поймать исключение OSError, но это может не помочь вашей программе продолжить работу, где она остановилась.

Для этого вам нужно вставить код между Python и malloc. Вы можете сделать это с помощью LD_PRELOAD в соответствии подробности здесь: How can I limit memory acquired with `malloc()` without also limiting stack?

Идея заключается в том вы реализуете оболочку для malloc, которая вызывает реальную malloc и ждет, чтобы повторить попытку, если это не удается. Если вы предпочитаете не использовать LD_PRELOAD, то создание Python с вашим промежуточным кодом, запеченным в, является возможностью (но немного больше работы).

Библиотека, которую вы напишете для LD_PRELOAD, в конечном итоге будет использоваться практически любой программой, написанной на C или C++. Вы даже можете открыть его с открытым исходным кодом. :)