Как загрузить все экстракторы вместе с конечными точками для запроса RESTful?

Question

Я использую import.io для извлечения большого количества данных из сотен веб-страниц. Я уже создал экстракторы для этих URL-адресов и все еще добавляю больше.

Я разработал автоматизированный процесс, который рекурсивно отправляет HTTP-запрос API-интерфейса import.io RESTful для всех экстракторов.

Каждый раз, когда я создаю новый экстрактор, я выполняю ручную задачу, чтобы вставить конечную точку вновь созданного экстрактора в мою базу данных. Этот подход очень трудоемкий и может быть подвержен ошибкам, так как существует вероятность ошибки копирования/вставки.

Хотя import.io ведет список моих данных, я бы с удовольствием загрузил все экстракторы вместе с их конечными точками для запроса RESTful, чтобы данные могли храниться в моей базе данных.

Есть ли способ загрузить или извлечь все мои данные в формат excel или какой-либо другой?

Answer 1

В настоящее время я не боюсь загружать API-интерфейсы API для всех ваших экстракторов.

С помощью этого метода можно получить идентификаторы GUID ваших разъемов.

http://api.docs.import.io/legacy/#ConnectorMethods «поиск разъемы»

Вы могли бы написать небольшой скрипт в Python, например, чтобы разобрать это, чтобы получить GUIDs.

Потенциально вы можете добавить это в свой автоматический процесс.