Доступ к веб-странице с защитой Cloudflare

Question

Прежде всего, я хотел извиниться, если у меня не будет достаточного количества подключений или что-нибудь в этом роде, я набираю это на своем телефоне прямо сейчас.

Итак, я работаю над проектом, который требует от меня автоматизации задач на веб-странице, и для этого нужно сделать первый шаг, прежде всего, получить доступ к этой странице, но я столкнулся с препятствием, вы пытались найти и разобраться без толку.

Веб-страница Я пытаюсь достичь защиты DDoS от CloudFlare, то есть перед входом на страницу, ваш браузер проверяется на пару секунд, а затем пропускает.

Я использую внешнюю библиотеку HtmlUnit, которая предоставляет мне все, что мне понадобится, и при доступе к странице я получаю 503 error, говоря, что я не могу получить к ней доступ, достаточно уверен, что это защита, блокирующая его.

Теперь мой вопрос: как мне его обойти. Существует .jar, который я декомпилировал, и посмотрел, что идет на тот же сайт, что и я, но для меня это слишком неразборчиво, чтобы разобраться.

Поблагодарили бы за помощь в выполнении этой задачи, спасибо.

Для справки, приведен пример веб-страницы, использующей CloudFare для тестирования, www.osbot.org (это не сайт BTW).

Если вам нужно что-нибудь еще, сообщите мне, и я снова извиняюсь за текст, это трудно печатать на моем телефоне, и у меня нет доступа к ПК.

Edit: Не может мой белый список IP или связаться с владельцем сайта

Answer 1

Вы должны спросить у владельца сайта, если они могут в белый список ваших IP-адресов. Если вы делаете что-то вроде попыток очистить сайт, тогда они могут не захотеть вас.

Answer 2

По умолчанию HtmlUnit выдает исключение (это не то, что делают настоящие браузеры), и это специально.

Во всяком случае, вы можете использовать webClient.getOptions(). setThrowExceptionOnFailingStatusCode (false).

Кроме того, вам нужно wait достаточно, ниже приведен пример:

try (final WebClient webClient = new WebClient(BrowserVersion.CHROME)) { 
     webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); 
     String url = "http://www.osbot.org/"; 
     HtmlPage htmlPage = webClient.getPage(url); 
     webClient.waitForBackgroundJavaScript(10_000); 
     System.out.println(htmlPage.asText()); 
    }