Если бы я хотел создать скребок, который пингует каждый URL-адрес на сайте и сохраняет запрос на изображение (или Google), как бы я это сделал? То есть Я просто хочу что-то, что захватывает все параметры в URL-адресе, отправленном в Adobe, в csv или что-то подобное. Я знаком с тем, как создавать простые веб-скребки, но как я могу захватить URL-адрес, который я вижу, например, Fiddler, который содержит все переменные, отправляемые в решение Google Analytics?Как бы вы писали пользовательский скрипт, который захватывает запрос на изображение Adobe или Google Analytics?
Если бы я мог это сделать, я мог бы запустить сценарий, в котором перечислены все URL-адреса с соответствующими событиями отслеживания, которые увольняются, и это сделает QAing более управляемым.
Я думаю, что это является широким для SO ответа, но я предлагаю вам взглянуть на phantomjs (обезглавленное браузер, который может загрузить страницу, прослеживая все HTTP называют страницы делает). –
Привет, кажется, это потрясающая идея, мне тоже нужно что-то подобное. Кажется, что проще на стороне сервера, некоторый прокси нюхает сеть и фильтрует запросы adobe. Я работаю над этим, хочу, чтобы вы сначала нашли помощь! –