0
Я использую конвейер файлов в Scrapy для загрузки файлов субтитров с http://opensubtitles.org.Scrapy Загрузка файлов Ошибка
У меня есть список всех ссылок http://dl.opensubtitles.org, и мой паук следует этим ссылкам и отправляет URL-адреса в конвейер.
Он работает, чтобы начать, и я могу загрузить первые ~ 100 файлов без каких-либо проблем.
Однако, вокруг то ссылки, кажется, создают ошибку:
2016-06-09 11:44:02 [scrapy] WARNING: File (code: 301): Error downloading file from http://dl.opensubtitles.org/en/download/vrf-108d030f/sub/24617> referred in
Есть ли у него что-то делать с моим кодом?
Это в мои настройки:
ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1}
FILES_STORE = 'C:/Users/Rohan/Documents/Fitroom/subtitles/subFiles'
Это мой трубопровод:
class SubtitlesPipeline(object):
def process_item(self, item, spider):
return item
Спасибо!