Как справляться с «бесконечной» веб-страницей при очистке

Question

Я создаю скребок, чтобы захватить список моих друзей из facebook, а затем очистить список общих друзей от них, с целью создания сети с данными. Я посмотрел на официальную facebook api, и это не кажется возможным, поэтому я решил просто очистить от веб-страниц.

После использования механизации для входа в систему я очистил страницу и обнаружил, что на facebook загружается только 20 друзей за раз, загружая больше, когда вы прокручиваете. Я просмотрел его механизированные документы, но я не мог найти решение. Я попробовал спать несколько секунд, прежде чем сесть на страницу, и это тоже не сработало.

Не знаете, куда идти отсюда, есть ли способ эмулировать прокрутку в механизации?

Answer 1

Если вы не используете Selenium для имитации фактических веб-страницы, вы не сможете моделировать «прокрутки» (как не вы прокрутки, когда нет окна, поэтому нет высоты окна?)

Вы утверждаете, что есть ничего в API, который позволяет вам находить друзей друзей, но, похоже, есть API function, который позволяет получать список друзей пользователя.

Если это не сработает, единственным выбором будет отследить ajax, который использует FB, чтобы получить следующий список друзей и использовать его для получения дополнительной информации.