Python GIL: блокировка django save()?

Question

My django app сохраняет модели django в удаленной базе данных. Иногда сейвы взрывоопасны. Чтобы освободить основной поток (* thread_A *) приложения от времени, затрачиваемого на сохранение нескольких объектов в базе данных, я подумал о переносе объектов модели в отдельный поток (* thread_B *) с помощью collections.deque и иметь * thread_B * сохраняйте их последовательно.

Однако я не уверен относительно этой схемы. save() возвращает идентификатор новой записи базы данных, поэтому он «заканчивается» только после ответа базы данных, которая находится в конце транзакции.

ли django.db.models.Model.save() действительно блокировать GIL -wise и освободить другой Пайтон резьбы во по сделке?

Answer 1

Django's save() не делает ничего особенного для GIL. На самом деле, с GIL в коде Python почти ничего нельзя сделать - когда он выполняется, поток должен содержать GIL.

Есть только два способа, которыми GIL могли бы получить выпущенные в save():

• Python решает переключения потоков (после sys.getcheckinterval() инструкции)
• Джанго вызывает интерфейс базы данных процедуру, которая реализуется, чтобы освободить GIL

Второй момент может быть тем, что вы ищете - выполняется SQL COMMIT, и во время этого выполнения база данных SQL выпускает GIL. Однако это зависит от интерфейса SQL, и я не уверен, действительно ли популярные выпуски GIL *.

Кроме того, save() делает намного больше, чем просто работает несколько UPDATE/INSERT заявлений и COMMIT; он делает много бухгалтерии в Python, где он должен держать GIL. В общем, я не уверен, что вы получите что-нибудь от перемещения save() в другой поток.

---

UPDATE: Глядя на источниках, я узнал, что и sqlite модуля и psycopg выпустите GIL, когда они звонят подпрограммы баз данных, и я думаю, что другие интерфейсы делают то же самое.

Answer 2

Я думаю, что python не блокирует ничего сам по себе, но база данных делает.

Answer 3

Как правило, вы никогда не должны беспокоиться о потоках в приложении Django. Если вы обслуживаете приложение с помощью Apache, gunicorn или почти любого другого сервера, кроме сервера разработки, сервер будет порождать несколько процессов и полностью уклоняться от GIL. Исключение составляет то, что вы используете gunicorn с gevent, и в этом случае в этих процессах будет много процессов, но также и microthreads - в этом случае параллелизм помогает немного, но вам не нужно самостоятельно управлять потоками того, что. Единственный случай, когда вам нужно беспокоиться о GIL, - это если вы пытаетесь создать несколько потоков для обработки одного запроса, что обычно не является хорошей идеей.

Метод Django save() не освобождает сам GIL, но бэкэнд базы данных будет (в большинстве случаев основная часть времени, затраченного на save(), будет делать ввод/вывод базы данных). Тем не менее, почти невозможно правильно воспользоваться этим в хорошо разработанном веб-приложении.Ответы на ваш взгляд должны быть быстрыми даже в том случае, если они выполняются синхронно - если они делают слишком много работы, чтобы быть быстрыми, то используйте задержанную работу с сельдереем или другим мастером задания, чтобы завершить дополнительную работу. Если вы попытаетесь пометить свое мнение, вам нужно будет закончить этот поток перед отправкой ответа клиенту, который в большинстве случаев ничего не поможет и просто добавит дополнительные накладные расходы.