ServerErrorException при сканировании сайта

Question

Я делаю полный обход сайта с API, и я получаю много:

{ «ERRORTYPE»: «ServerErrorException», «ошибка»: «ServerErrorException: Сервер . ошибка (HTTP 500)» }

Кроме того, я получаю ответы тайм-аута и фактическое HTTP не удается: StatusCode: 504, ReasonPhrase: 'GATEWAY_TIMEOUT'

Я просматривают сайт я ползком в то же время, и это кажется быстрым и отзывчивым до сих пор, не медленно спады.

Я удалил многопоточность из своего кода и выполнял синхронно, что останавливает 500 ошибок, но все равно дает много тайм-аутов (и занимает много времени).

У меня работает менее 100 одновременных соединений с моей многопотоковой обработкой. Это слишком много? Я хотел бы нажать его до 1000+. Нужно ли добавлять задержку между запросами?

Answer 1

Ошибка, которую вы видите, указывает, что веб-сайт, на котором вы пытаетесь выполнить обход, отправляет вам 500 файлов.

504 тайм-аут шлюза, который вы получаете, будет потому, что вы, возможно, нанесете import.io со слишком большим количеством запросов.

Я бы замедлял сканирование, возможно, установив задержку между запросами.

Если вы просматриваете большое количество страниц, вы должны будете уважать, что веб-сайт, который вы просматриваете, может не иметь возможности обрабатывать большие количества входящих запросов за небольшое количество времени.

Я бы посоветовал начать медленно и увеличиваться, пока вы не начнете видеть ошибки/таймауты. После того, как вы начнете видеть некоторые ошибки, немного замедлитесь.

Сканирование всего веб-сайта может быть медленным процессом.