Имитация ресурсов браузера Расширение поведения с помощью Python

Question

Я ищу способ имитировать поведение ресурсов браузера.

Поток я пытаюсь адрес является следующее:

• Access начальный URL (например, http://example.dmn/index.htm)
• Разбираем ответ HTML получил (например, index.htm)
• Найти ресурсы что браузер будет получать в результате индекса разбора, например:
  • изображения
  • вспышки
  • Встроенные видео/аудио
  • Рамки/плавающие фреймы
• Повторите процесс рекурсивно для каждого нового ресурса найдены

Я не ожидал, чтобы следовать по ссылкам (HREF), только страницы ресурсов, которые будут автоматически выбираться браузером при первом доступе к странице.

У вас есть предложение, как преформировать эту симуляцию?

Существуют ли какие-либо проекты/библиотеки Python, которые могут вам помочь?

Благодаря

Answer 1

вы можете посмотреть на Windmill Testing Framework, который позволяет писать тесты в Python для веб-приложений.

Answer 2

Возможно, вы захотите посмотреть spider.py и robotparser. Запрещая тем, что вы делаете то, что хотите автоматически, вы можете самостоятельно выкопать в суп с HTML BeautifulSoup.

Answer 3

Возможно, вы захотите взглянуть на Scrapy.

Он может не предоставлять все точные функции, которые вам нужны, но их можно легко расширить.