Есть ли способ обхода сайта и захвата переменных JavaScript на каждой странице?

Question

Компания, с которой я работаю, собирается через редизайн сайта через несколько месяцев, и одна из вещей, в которой мы нуждаемся, - это таблица, содержащая каждый URL каждой страницы на сайте. Тогда оптимально будут столбцы, содержащие значения набора предопределенных переменных JavaScript (в данном случае переменных Omniture, поэтому мы можем гарантировать, что каждая страница будет правильно помечена своим местом в иерархии сайта).

Вот пример того, что может быть в HTML для данной страницы:

<script type="text/javascript">  
metrics_level2 = "biz"; 
metrics_level3 = "products"; 
metrics_level4 = "my_awesome_product"; 
metrics_pagename = "biz|products|my_awesome_product";  
</script> 

Я полз сайт с RapidMiner и данные готовы идти, но мой вопрос является наилучшим способом изолировать эти переменные и поместить «metrics_level2», «metrics_level3» и т. д. в свои собственные столбцы. Является ли XPath лучшим способом сделать это? Обычные выражения? Мои попытки с XPath, похоже, содержат все содержимое между тегами, что требует много очистки после факта.

Answer 1

Если вы используете PhantomJS http://phantomjs.org/, вы можете просто получить доступ к этим переменным, как и с веб-страницы, с помощью JavaScript. Очень простой пример выглядит следующим образом:

//where url is the page that contains these variables. 
page.open(url, function (status) { 
    //Page is loaded! 
    var dataFromPage = page.evaluate(function(){ 
     return { 
       metrics_level2:metrics_level2, 
       metrics_level3:metrics_level3, 
       metrics_level4:metrics_level4 
       }; 
    }); 
    //dataFromPage now contains those variables 

    phantom.exit(); 
}); 

Если у вас уже есть ваши страницы Царапины и сохранены прочь к HTML файлов или что-то, вы можете просто установить содержание объекта страницы, используя метод content как соединять для открытия как видно выше. См. http://phantomjs.org/api/webpage/property/content.html