Ключ инициализации сельдерея

Question

Я пытаюсь кэшировать большой файл ресурсов среди задач с помощью Celery 4.0.2.

Рассматривая его в документации, у меня есть доступ к кешированию задачи.

http://docs.celeryproject.org/en/latest/userguide/tasks.html#instantiation

Это также может быть полезным для кэширования ресурсов, Например, базовый класс Task, который кэширует подключение к базе данных:

from celery import Task 

class DatabaseTask(Task): 
    _db = None 

    @property 
    def db(self): 
     if self._db is None: 
      self._db = Database.connect() 
     return self._db 

В моем случае я сделал некоторые изменения в кэш мой большой файловый ресурс и объект, который он разделяет между задачами, но память, используемая большим файловым ресурсом, кэшируется в задаче навсегда.

from celery import Task 

class BigResourceTask(Task): 
    _resource = None 

    @property 
    def resource(self): 
     if self._resource is None: 
      self._resource = load_big_resource() 
     return self._resource 

Как я могу освободить эту память или завершить ее после выполнения всех связанных задач?

Answer 1

С момента создания _resource по запросу после проверки, существует ли он, вы можете просто удалить его, когда захотите.

# complete all the tasks 
del BigResourceTask._resource # free memory 

# do something else 

r = BigResourceTask.resource # create when needed