Как получить исходный код веб-страницы с помощью java? (Как справиться с задержкой загрузки?)

Question

Я хочу получить исходный код всей (всей) веб-страницы, однако некоторое содержимое сайта не загружается вначале. (Кажется, это связано с Ajax) Как я могу получить содержимое, которое не загружается сразу с помощью java?

Я попытался использовать java's url.openStrem. Но это не сработало. Я получил контент «loading...», а не реальный контент после загрузки.

спасибо.

Answer 1

Вам необходимо дистанционное управление существующим браузером (что не так просто с Java, как большинство других языков/систем/интерфейсов) или использовать безгласный браузер, который может выполнять Javascript. HTMLUnit будет последней категории.

Answer 2

Попробуйте использовать синтаксический анализатор html для такой вещи. Jericho Htmlparser было бы полезно здесь.