Scrapy Regex Пользовательские Pipeline

Question

Это мой Scrapy код пользовательских регулярных выражений трубопровода:

for p in item['code']: 
     for search_type, pattern in RegEx.regexp.iteritems(): 
      s = re.findall(pattern, p) 
       if s: 
        return item 
       else: 
        raise DropItem 

И это мой Regex код:

class RegEx(object): 
regexp = { 
    'email' : re.compile('liczba'), 'whatever' : re.compile(r'mit'), 'blu' : re.compile(r'houseLocked'),} 

Не реальное скомпилирован регулярное выражение, как только для демонстрационных целей.

Это работает, но как только совпадение найдено, и срабатывает «возвращенный элемент», остальное отбрасывается.

Можно ли продолжить итерацию в трубопроводе Scrapy?

Я был в этом в течение 4 дней и пробовал каждую перестановку, которую вы можете себе представить, но всегда тот же результат.

У меня либо отсутствует очевидное, либо это не просто.

Если это невозможно, то любые рекомендации по новому маршруту получили высокую оценку.

Answer 1

Метод process_item() в трубопроводе для очистки должен обрабатывать только один предмет. Если вы поднимаете DropItem или возвращаете что-то, вы разбиваете цикл и отбрасываете оставшуюся часть синтаксического анализа.

Ваш цикл будет разорван после первого соответствия регулярному выражению, поскольку оба return item и DropItem прерывают цикл и останавливают текущий конвейер - другими словами, он будет разбиваться на первый цикл.

Чтобы исправить это просто переместить DropItem вне основного цикла:

def process_item(self, item): 
    for p in item['code']: 
     for search_type, pattern in RegEx.regexp.iteritems(): 
      if re.findall(pattern, p): 
       return item # one match found == item is valid, return 
    # if this is reached, it means no matches were found 
    # and we don't want this item 
    raise DropItem