Validador de robots.txt y sitemap online

El validador de robots.txt y sitemap comprueba los dos archivos que los buscadores leen antes que nada en tu sitio. La herramienta descarga el robots.txt, valida cada directiva línea por línea y señala los errores que te cuestan indexación en silencio: un "Disallow: /" accidental, una respuesta 5xx (mientras el robots.txt devuelva un error de servidor, Google pausa el rastreo de todo el sitio), reglas escritas antes del primer User-agent. Después sigue las declaraciones Sitemap: hasta los propios sitemaps.

Se comprueba cada sitemap, incluidos todos los archivos listados dentro de un índice de sitemaps: XML bien formado, el espacio de nombres correcto, número de entradas y límites de tamaño. Cada etiqueta se explica por separado — cuáles son obligatorias, cuáles influyen realmente en el rastreo y cuáles (como priority y changefreq) tanto Google como Yandex declaran que ignoran, así que puedes eliminarlas sin riesgo. Las primeras URLs del sitemap se solicitan de verdad, de modo que un sitemap lleno de 404 o redirecciones no pasa desapercibido.