Получить html, который создается через AJAX в webclient

Question

Я часто бываю на сайте, чтобы посмотреть на вещи. Я подумал про себя: «Подожди, я могу запрограммировать. Почему я иду на этот сайт вручную, когда могу написать часть программного обеспечения, которая делает это для меня?».

И так я начал. Я использую C#, поэтому я нашел WebClient и Uri.

Мне удалось получить исходный код для сайта, но возникла проблема, что конкретные данные, которые я ищу, генерируются через AJAX после загрузки исходного кода.

Так что это моя проблема. Как я могу получить этот код, если его нужно сначала запросить через вызов AJAX?

Answer 1

Общий подход заключается в следующем:

1. с помощью инструмента, как Fiddler, узнать, какие HTTP запросы делаются в браузере для того, чтобы выбрать данные, что вы ищете.
2. использовать WebClient для получения требуемых HTTP-запросов.

Посмотрите на мой ответ this question для получения дополнительной информации об очистке экрана HTML для получения более подробной информации и о том, как работать с различными проблемами, с которыми вы можете столкнуться.

Для # 1 выше, вот как использовать скрипача, чтобы понять, как конкретный запрос делается:

Во-первых, найти запрос, вы заботитесь о (по запросу, который содержит данные, которые вы хотите в своем ответе). Вы можете сделать это, проверив каждый запрос, дважды щелкнув его на левой панели в скрипачке и заглянув в вкладку «текстовое поле» в нижней правой панели. Вы также можете использовать CTRL + F для поиска контента по нескольким запросам, но некоторые запросы сжимаются, поэтому вы хотите, чтобы кнопка «autodecode» была выбрана на панели инструментов, прежде чем делать ваши запросы, если вы хотите быть уверенными, поиск по всем им.

Как только вы нашли требуемый запрос, дважды щелкните его в Fiddler и выберите вкладку «заголовки» в верхней правой панели. Это отправленные заголовки. Если ваш клиент отправляет именно эти заголовки на сервер, вы должны вернуть те же данные. Но обычно не все заголовки нужны, поэтому вам нужно выяснить, какие из них нужны. Вы делаете это, используя вкладку «Конструктор запросов» Fiddler в верхней правой панели. Выберите эту вкладку и перетащите запрос данных с левой панели на конструктор запросов. Затем отправьте запрос, чтобы подтвердить, что он возвращает правильные результаты. Затем начните удалять заголовки, по одному заголовку за раз, пока запрос не перестанет работать - вы знаете, что этот заголовок был необходим. Попытайтесь удалить каждый заголовок, пока не найдете нужные.

Затем вам нужно написать код для создания правильного заголовка. Не беспокойтесь о заголовке Host:, который автоматически создается для вас. Для заголовка Cookie: вам необходимо сгенерировать его с помощью класса CookieContainer. Для других заголовков (например, UserAgent :, Accept :, и т. Д. Вы можете их скопировать и добавить в свой запрос как есть.