Python/scrapy - печатать объекты с длинными строками

Question

В настоящее время работает с Scrapy, и я хотел бы видеть, что я делаю. Но, похоже, как если бы Scrapy или, возможно, Python срезает более длинные строки, если я хочу, чтобы напечатать объект:

products = Selector(response).xpath('//div[@class="s-item-container"]') 
    pprint (products) 

Теперь я получаю:

<Selector xpath='//div[@class="s-item-container"]' data=u'<div class="s-item-container"><div class'>, 
<Selector xpath='//div[@class="s-item-container"]' data=u'<div class="s-item-container"><div class'>, 
<Selector xpath='//div[@class="s-item-container"]' data=u'<div class="s-item-container"><div class'>, 

в моей оболочке - как я мог напечатать все, что продукты содержат? (содержимое HTML отрубается).

С

print (products) 

я получаю: [<Selector xpath='//div[@class="s-item-container"]' data=u'<div class="s-[<item-container"><div class'>, <Selector xpath='//div[@class="s-item-container"]' data=u'<div class="s-item-container"><div class'>, <Selector xpath='//div[@class="s-item-container"]' data=u'<div class="s-item-container"><div class'>,

Практически то же самое - только в грязной дороге. Возможно, это ошибка Selector(response).xpath, чтобы вернуть короткую версию моих данных?

Answer 1

Scrapy Selector.xpath не возвращает строки. Он возвращает список объектов селектора. Когда вы печатаете селектор, вы печатаете строковое представление объекта. Поэтому вы вызываете метод Selector __str__, который, как вы можете видеть в исходном коде, показывает некоторые выбранные атрибуты объекта 1 по умолчанию, обрезая html до первых 40 символов. Чтобы получить список строк, вам необходимо позвонить extract(). Поэтому вам необходимо:

Selector(response).xpath("//text()").extract() 

Также обратите внимание, что вам не нужно преобразовывать ответ в селектор. В последней версии Scrapy также будет работать response.xpath.