Как отменить данные с веб-сайта с таблицей, которая требует прокрутки для отображения всех данных?

Question

https://titans.strmarketplace.com/Permanent-Seat-Licenses/Permanent-Seat-Licenses.aspx

Этот сайт имеет таблицу, которая отображает только 100 строк за раз. Вам нужно еще прокрутить, чтобы отобразить больше строк. Я использую Node.js и Horseman + PhantomJS для сбора данных, но я хочу найти эффективный способ соскабливать всю таблицу, а не только по 100 строк за раз.

var h = new Horseman({timeout: 20000}); 

h 
.open("https://titans.strmarketplace.com/Permanent-Seat-Licenses/Permanent-Seat-Licenses.aspx") 
    .waitForSelector("table.GridListings") 
    .text("td.ListingID") 
    .then(function(data) { 
     console.log(data); 
    }); 

Какие дальнейшие изменения я могу сделать, чтобы прокрутить всю таблицу и получить все данные?

Answer 1

Вы можете использовать .scrollTo(top, left), чтобы прокручивать нижнюю часть страницы и продолжать делать это до тех пор, пока в течение некоторого времени не будет загружено новое содержимое.

Затем вы можете проверить таблицу, в которой должны быть заполнены все поля.

Answer 2

Используйте phantomjs экземпляр для оценки яваскрипт и scrooll для окон нижних

.evaluate(function() { 
     window.scrollTo(0,document.body.scrollHeight); 
    }); 

Answer 3

Я думаю, в этом случае вы должны прокручивать ((верхний, левый метод .scrollTo)) и ждать (вероятно, .waitFor (Fn , [arg1, arg2, ...], value)) для репопуляции таблицы. Я думаю, вы должны повторить действия до тех пор, пока количество строк в таблице не станет равным «количеству листинга» в блоке «Результаты».