robots.txt Validator
robots.txt parsen, Syntax prüfen und Pfade gegen User-Agents testen. Erkennt fehlerhafte Direktiven und zeigt welche Regel greift.
Hinweis: Die eingegebene URL wird beim Klick auf „Laden“ an unseren Server übertragen, der die robots.txt einmalig stellvertretend für dich abruft. Es werden keine Eingaben gespeichert. Details
So funktioniert das Tool
Eine robots.txt mit einem Tippfehler ist gefährlicher als gar keine - Crawler ignorieren die Datei dann komplett. Unser Validator parst deine robots.txt (entweder direkt eingefügt oder über URL gefetcht) und prüft jede Direktive: gibt es einen Allow nach einem Disallow für dasselbe User-Agent? Ist das Wildcard-Pattern korrekt? Funktioniert die Sitemap-URL? Du gibst eine Pfad-URL an und siehst, ob der Crawl erlaubt oder verboten ist - für Googlebot, Bingbot oder jeden anderen.
Typische Anwendungsfälle
Nach robots.txt-Änderung verifizieren
Du hast einen neuen Disallow-Eintrag hinzugefügt - blockiert er nur, was er soll, oder auch versehentlich /shop/produkt-detail/?
Bug-Report-Vorbereitung
„Google indexiert /privat/ obwohl Disallow drin steht” - Validator zeigt, ob das wirklich an robots.txt liegt oder an einem anderen Faktor (noindex, sitemap, sitelinks).
Migration: alte vs. neue Site
Beim Hoster-Wechsel die alte robots.txt mit der neuen vergleichen - sind alle Disallows übernommen oder fehlt was?
Bot-spezifische Pfad-Tests
Crawler-Allow-/Disallow-Regeln für GPTBot, CCBot, Baiduspider gezielt prüfen, weil verschiedene Bots verschiedene Pfade interpretieren können.
FAQ
Häufige Fragen
Verwandte Tools
Alle Daten bleiben in deinem Browser. Kein Server, kein Tracking.