portia

0зной

1ответ

Как scrapy пишет в журнале во время запуска паука?

Во время работы Scrapy паука, я вижу, что сообщение журнала имеет "DEBUG:", который имеет 1. DEBUG: подполз (200) (GET http://www.example.com) (реферер: Нет) 2. DEBUG: шнекового из (200) http://www.ex

1зной

1ответ

Порция Нет такого файла ресурсов не найдено

Я следую README из Порция GitHub репо и я застрял при наезде го сервера Я followd инструкции Ф.О. работает Порция локально twistd -n slyd и когда я введите URL http://localhost:9001/static/main.html

1зной

1ответ

Как сделать страницу javascript в портиа?

Я использую portia для отображения страницы JavaScript с использованием промежуточного программного обеспечения scrapinghub/splash. но его следующая ошибка при загрузке страницы загрузки в портировани

0зной

1ответ

Как добавить имена полей по умолчанию в раскрывающемся списке Portia scrapy?

Я загрузил Порцию из (https://github.com/scrapinghub/portia) и установил Порцию на моем компьютере с Windows, в то время как начинаю Порцию, я могу комментировать эту страницу. я могу иметь возможност

1зной

1ответ

Как использовать регулярное выражение в визуальной скриже в Порции?

Я могу комментировать веб-страницы с помощью веб-искателя Portia, мой вопрос в том, как использовать Regex при извлечении данных. Для примера, Я добыл Место поданного со страницы Выхода выглядит, Расп

1зной

1ответ

Попытка установить Portia на OSX или Ubuntu

Может кто-нибудь мне помочь? Я снова и снова устанавливаю Порцию. Все идет хорошо, пока я не дойду до точки, где я использую команду twistd, и я получаю следующее: (портиа) Matts-Mac-mini: slyd matt $

0зной

1ответ

Spider middleware в Portia не называется

Я адаптировал код от Using Middleware to ignore duplicates in Scrapy. from scrapy.exceptions import DropItem from scrapy import log import os.path class IgnoreDuplicates(): def __init__(self

-2зной

1ответ

Portia, как сохранить данные в базе данных?

В portia я хочу сохранить данные в базе данных, например Mysql, или сделать что-то, чтобы очистить данные, но я не знаю, как это сделать, можете ли вы дать мне некоторое предложение. Я новичок в терап

0зной

1ответ

Как получить запрос и количество ответов в scrapyd?

Я пытаюсь получить запрос и количество ответов в scrapyd, в то время как работает несколько пауков 8-спайдер динамически. Я пытаюсь получить их с помощью python. следующие счетчики: enter code here{'d

1зной

1ответ

не удалось развернуть проект portia с помощью scrapyd-deploy из-за того, что «модуль не найден ..»

Я оцениваю portia и запускаю проблему, развертывая ее на scrapyd. При попытке развернуть мою Порцию проект с использованием scrapyd-deploy local -p new_project из моего каталога Порции проекта я пол