sitemap

0зной

1ответ

Создание карты сайта для 2 wordpress install под 1 доменом

У меня есть 2 wordpress устанавливает в основном домене. www.example.com --1st WordPress установки www.example.com/blog --2nd WordPress установки Что является лучшим способом в WordPress для создания

0зной

2ответ

Bash - Карта сайт XML теста, LOC

У меня есть Баш скрипт, который получает все файлы XML из robots.txt файла и печатает ответы HTTP сервера для выходного файла: #!/usr/bin/env bash #usage ./script.sh robots.txt while read url do

0зной

1ответ

Анализ XML с заголовками

Я разбираю XML-файл sitemap, и я наткнулся на один сайт, в частности, который реализует защиту ddos от cloudflare. Первоначально я имел что-то вроде этого: from xml.dom import minidom import urllib

1зной

1ответ

Где разместить sitemap.xml и robots.txt в случае сервера Tomcat с несколькими Webapps

У меня есть сервер Tomcat и несколько Webapps (webapp1, webapp2, ...). Где следует размещать файлы sitemap.xml и robots.txt? Нужен ли мне один файл sitemap.xml и один файл robots.txt для каждого Webap

0зной

2ответ

Как сканировать веб-сайт и создавать карту сайта с помощью Node.js

Я пытаюсь получить карту сайта с помощью Node.js. Может ли кто-нибудь указать мне, как я могу это сделать? Я в настоящее время смотрю https://github.com/cgiffard/node-simplecrawler, но не уверен, как

-2зной

1ответ

Как сказать поисковым системам индексировать только страницы внутри моей карты?

Недавно мой сайт был взломан, и он был восстановлен. Тысячи спама были проиндексированы Google. У меня есть учетная запись Google для веб-мастеров, и я могу обновить и отправить файл Sitemap. Но как я