Может ли httplib (python) взаимодействовать со страницей и ее javascript?

Question

Я хочу написать скрипт python, который будет запрашивать reddit post url, перейти на страницу, войти в указанную учетную запись и перенести сообщение и выход из системы.

A) Это можно сделать с помощью python?

B) Как мне это сделать? Если вы можете предоставить код, который будет отличным, но не убивайте себя.

Answer 1

Вам действительно нужно взаимодействовать с JavaScript?

Вы можете обратный инжиниринг Reddit код, посмотрев на AJAX запросов с использованием Firebug или любой другой отладчик, проверяя печенье, параметры запроса и т.д.

После этого вы можете моделировать этот запрос с помощью URLLIB Python, установив тот же тип запроса (GET vs POST), параметры запроса и файлы cookie.

Также проверьте этот пост web-scraping-with-python

Answer 2

Кроме @ большое предложение максого в выше, вы можете также использовать инструмент тестирования браузера, как Selenium (который имеет питон привязки), чтобы написать сценарий для взаимодействия со страницей Reddit напрямую. Недостатком является то, что при каждом запуске он будет открывать копию вашего браузера, и я не уверен, что это будет проблемой для вас.