Есть ли способ изменить формат сообщения журнала в scrapy?

Question

Я хотел бы изменить сообщения журнала scrapy, чтобы содержать идентификатор пользователя в начале его. например, вместо этого

2015-03-03 17:09:34+0530 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware 

Можно ли сделать это выглядеть как

**user_id**:2015-03-03 17:09:34+0530 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware 

Additionaly, есть способ, чтобы войти только сообщения пользователей; i.e, регистрировать только те сообщения, которые я хочу зарегистрировать, которые я поставлю из кода?

Любая помощь была бы принята с благодарностью. Заранее спасибо!

Answer 1

Scrapy использует системы регистрации Twisted, которые строятся поверх стандартной библиотеки протоколирования. У меня нет ответа для вас, как изменить формат даты журналов, созданных самой программой.

Для вас второй вопрос, я мог бы ответить. Я думаю, что вы должны полностью отключить каротаж для скрининга, установив

LOG_ENABLED = False 

в вас settings.py. Затем настройте модуль протоколирования для себя (на верхней части модуля паука)

logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(levelname)8s\t%(message)s',) 

, а затем войти, используя logging.log, logging.info, logging.debug и т.д.

Я оставляю вам выяснить формат желаемого протоколирования.

Answer 2

В settings.py добавить

LOG_FORMAT = user_id +' %(asctime)s %(levelname)8s\t%(message)s' 

Подробнее https://doc.scrapy.org/en/latest/topics/logging.html#logging-settings