Scrapy: Деталь погрузчика и KeyError, даже если ключ определяется

Question

Намерение/ожидаемое поведение

Возвращает текст ссылки со страницы: https://www.bezrealitky.cz/vypis/nabidka-prodej/byt/praha

В формате CSV и в оболочке.

Ошибка

я получаю исключение KeyError: 'название', хотя я определил ключ в item.py itemloader.

Полный Traceback

Traceback (most recent call last): 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\utils\defer.py", line 102, in iter_errback 
    yield next(it) 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\spidermiddlewares\offsite.py", line 29, in process_spider_output 
    for x in result: 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 22, in <genexpr> 
    return (_set_referer(r) for r in result or()) 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, in <genexpr> 
    return (r for r in result or() if _filter(r)) 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 58, in <genexpr> 
    return (r for r in result or() if _filter(r)) 
    File "C:\Users\phili\Documents\Python Scripts\Scrapy Spiders\bezrealitky\bezrealitky\spiders\bezrealitky_spider.py", line 33, in parse 
    yield loader.load_item() 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\loader\__init__.py", line 115, in load_item 
    value = self.get_output_value(field_name) 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\loader\__init__.py", line 122, in get_output_value 
    proc = self.get_output_processor(field_name) 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\loader\__init__.py", line 144, in get_output_processor 
    self.default_output_processor) 
    File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\loader\__init__.py", line 154, in _get_item_field_attr 
    value = self.item.fields[field_name].get(key, default) 
KeyError: 'title' 

Spider.py

Защиту синтаксического анализа (я, ответ):

for records in response.xpath('//*[starts-with(@class,"record")]'): 
    loader = BaseItemLoader(selector=records) 
    loader.add_xpath('title', './/div[@class="details"]/h2/a[@href]/text()') 
    yield loader.load_item() 

Item.py - Itemloader

class BaseItemLoader(ItemLoader): 
    title_in = MapCompose(unidecode) 

Заключение

Я немного в недоумении, как я думаю, что я следовал за руководство Scrapy и определил загрузчик пункта и ключ, «title_in», но потом, когда я уступаю значение для него Я получаю KeyError. Я проверяю оболочку, что Xpath предоставляет текст, который я хочу, поэтому, по крайней мере, это работает. Надеюсь получить помощь!

Answer 1

Даже если вы используете ItemLoader вы должны определить Item класс первой, а затем передать его на погрузчике пункт либо определения его в качестве свойства загрузчика:

class CustomItemLoader(ItemLoader): 
    default_item_class = MyItem 

или передавая его экземпляр в конструктор загрузчика:

l = CustomItemLoader(item=Item()) 

В противном случае загрузчик товаров ничего не знает об элементе и его полях.