Валидатор robots.txt и sitemap.xml онлайн

Валидатор robots.txt и sitemap
Введите домен, чтобы проверить его robots.txt и карты сайта, либо прямую ссылку на .xml — тогда будет проверена только эта карта.
Вставьте файл как есть — robots.txt или XML карты сайта, тип определится автоматически. Пригодится, чтобы проверить файл до выкладки на сервер или когда сайт закрыт антибот-защитой.
Пожалуйста, подождите — идёт проверка. Обычно это несколько секунд; на большом сайте с множеством карт может занять до минуты.

Валидатор robots.txt и sitemap проверяет служебные файлы, определяющие правила сканирования сайта поисковыми роботами. Инструмент загружает robots.txt, анализирует директивы построчно и выявляет ошибки, из-за которых важные разделы могут быть недоступны поисковым системам: случайный «Disallow: /», серверные ответы 5xx, синтаксические неточности и директивы, расположенные до первого User-agent. После этого проверяются ссылки на карты сайта Sitemap.

Инструмент валидирует XML-карты и файлы sitemap-индекса: корректность структуры, пространства имён, лимиты записей и объёма. По тегам карты выводятся детальные пояснения: Google не учитывает priority и changefreq при ранжировании и обходе, тогда как Яндекс может использовать параметр priority для планирования очерёдности сканирования страниц. Первые URL из карты проверяются на код ответа, позволяя быстро обнаружить нежелательные 404-ошибки и цепочки редиректов.

Похожие инструменты