Robots.txt- und Sitemap-Validator online

Der robots.txt- und Sitemap-Validator prüft die beiden Dateien, die Suchmaschinen auf Ihrer Website noch vor allem anderen lesen. Das Tool lädt die robots.txt herunter, prüft jede Direktive Zeile für Zeile und zeigt die Fehler, die Sie unbemerkt Indexierung kosten: ein versehentliches "Disallow: /", eine 5xx-Antwort (solange die robots.txt einen Serverfehler liefert, pausiert Google das Crawling der gesamten Website), Regeln vor dem ersten User-agent. Anschließend folgt es den Sitemap:-Deklarationen zu den Sitemaps selbst.

Jede Sitemap wird geprüft, einschließlich aller Dateien, die in einem Sitemap-Index aufgeführt sind: wohlgeformtes XML, der korrekte Namespace, Anzahl der Einträge und Größenlimits. Jedes Tag wird einzeln erklärt — welche erforderlich sind, welche das Crawling tatsächlich beeinflussen und welche (wie priority und changefreq) Google und Yandex ausdrücklich ignorieren, sodass Sie sie bedenkenlos entfernen können. Die ersten URLs aus der Sitemap werden tatsächlich abgerufen, damit eine Sitemap voller 404er oder Weiterleitungen nicht unbemerkt bleibt.