Scrapy безопасный способ извлечения предметов

Question

Что такое лучший безопасный способ извлечения информации о деталях со страниц? Я имею в виду, иногда на странице может отсутствовать элемент, и вы закончите разбивку искателя.

Посмотрите этот пример:

for cotacao in tabela_cotacoes: 
     citem = CotacaoItem() 
     citem['name'] = cotacao.select("td[4]/text()").extract()[0] 
     citem['symbol'] = cotacao.select("td/a/b/text()").extract()[0] 
     citem['current'] = cotacao.select("td[6]/text()").extract()[0] 
     citem['last_neg'] = cotacao.select("td[7]/text()").extract()[0] 
     citem['oscillation'] = cotacao.select("td[8]/text()").extract()[0] 
     citem['openning'] = cotacao.select("td[9]/text()").extract()[0] 
     citem['close'] = cotacao.select("td[10]/text()").extract()[0] 
     citem['maximum'] = cotacao.select("td[11]/text()").extract()[0] 
     citem['minimun'] = cotacao.select("td[12]/text()").extract()[0] 
     citem['volume'] = cotacao.select("td[13]/text()").extract()[0] 

Если какой-либо элемент отсутствует на странице, .extract() возвращает [] и вызов [0] на них сгенерирует исключение (из диапазона).

Итак, вопрос в том, что это лучший способ/подход, чтобы справиться с этим.

Answer 1

Написать немного вспомогательную функцию:

def extractor(xpathselector, selector): 
    """ 
    Helper function that extract info from xpathselector object 
    using the selector constrains. 
    """ 
    val = xpathselector.select(selector).extract() 
    return val[0] if val else None 

И использовать его как это:

citem['name'] = extractor(cotacao, "td[4]/text()") 

возвращают соответствующее значение, чтобы указать, что citem не был найден. В моем коде я вернул None, при необходимости измените его (например, верните '', если это имеет смысл).