Получение полной HTML-страницы (включая ответы AJAX) в Ruby

Question

Я пытаюсь просканировать каталог электронной коммерции, где данные о продуктах загружаются с использованием ответов Ajax.

Таким образом, контент в ответе с использованием запроса получения является неполным (частичные данные).

Я использую стандартную HTTP-библиотеку Ruby для получения & Nokogiri для синтаксического анализа.

Есть ли способ, в котором я могу инициировать запрос & записать ответ после некоторой задержки?

Answer 1

Вам нужен libary/method/way, который имеет javascript-механизм для запуска javascript с момента использования ajax (если вы хотите, чтобы это было сделано автоматически).

Вы можете использовать обезглавленный браузер для этого, как phantomjs:

PhantomJS Project Homepage

PhantomJS for Ruby

Wiki Article

Это в основном нормальный браузер без интерфейса. PhantomJS использует движок Webkit (например, используемый Safari). Так что он способен выполнять JS, а также AJAX.