Validador de robots.txt e sitemap online

O validador de robots.txt e sitemap verifica os dois ficheiros que os motores de busca leem antes de tudo o resto no seu site. A ferramenta descarrega o robots.txt, valida cada diretiva linha a linha e aponta os erros que lhe custam indexação em silêncio: um "Disallow: /" acidental, uma resposta 5xx (enquanto o robots.txt devolver um erro de servidor, o Google suspende o rastreamento de todo o site), regras escritas antes do primeiro User-agent. Em seguida, segue as declarações Sitemap: até aos próprios sitemaps.

Cada sitemap é verificado, incluindo todos os ficheiros listados dentro de um índice de sitemaps: XML bem formado, o namespace correto, número de entradas e limites de tamanho. Cada tag é explicada separadamente — quais são obrigatórias, quais influenciam realmente o rastreamento e quais (como priority e changefreq) tanto o Google como o Yandex afirmam ignorar, pelo que pode removê-las com segurança. Os primeiros URLs do sitemap são realmente pedidos, para que um sitemap cheio de 404 ou redirecionamentos não passe despercebido.