scrapy Настройка LOG_LEVEL в пауке не работает

Question

Можно ли установить LOG_LEVEL в классе Spider?

Когда я попытался установить его на INFO, я все еще вижу сообщения DEBUG.

Когда я установил его в файле settings.py или через опцию командной строки --loglevel, он работает.

Я думал, что могу установить любые настройки с помощью атрибута custom_settings. Это ошибка? (Scrapy 1.0.3 и питон 2.7.10)

class TestSpider(scrapy.Spider): 
    name = "Test" 
    ... 
    custom_settings = { 
     'LOG_LEVEL': 'INFO', 
    } 

Answer 1

Вы можете попробовать что-то вроде этого:

from scrapy.log import ScrapyFileLogObserver 
from scrapy import log 


class MySpider(BaseSpider): 
    name = "myspider" 

    def __init__(self, name=None, **kwargs): 
     ScrapyFileLogObserver(open("spider.log", 'w'), level=logging.INFO).start() 

     super(MySpider, self).__init__(name, **kwargs)