google-crawlers

-3зной

2ответ

Я знаю, чтобы писать Python crawler с красивым модулем супа. Теперь я хочу определить, кто-то сканирует мой сайт. Как это сделать. Может ли кто-нибудь указать мне на код pesudo или исходный код. В осн

0зной

1ответ

Сделайте google сканирование сайта, когда он скрыт

Я размещаю этот сайт. И я заказываю домен для него. SO сайт Hosten на somedomain.be/boring Я добавил домен www.company.com В настоящее время в webmastertools от Google, если я хочу, чтобы добавить сво

0зной

1ответ

Как получить ссылки с google map, используя веб-сканирование?

Я создал программу веб-обхода в java, она работает нормально, проблема в том, как я могу получить эти ссылки, которые есть на картинке?

-1зной

1ответ

Нам не удалось получить доступ к файлу robots.txt вашего сайта

Я проверил свой сайт с помощью веб-мастера google. Я сделал свой сайт в Wordpress, и я также добавил robots.txt. Теперь Google показывает зеленую галочку на DNS и подключении сервера, но и желтый пред

1зной

2ответ

Неполный robots.txt, что происходит?

У меня есть страница на веб-сайте, и у меня нет доступа к чему-либо другому, что моя страница. Веб-сайт используется для продажи различных небольших продуктов. После того, как вы проработали более год