robots.txt Validator
robots.txt parsen, Syntax prüfen und Pfade gegen User-Agents testen. Erkennt fehlerhafte Direktiven und zeigt welche Regel greift.
Hinweis: Die eingegebene URL wird beim Klick auf „Laden“ an unseren Server übertragen, der die robots.txt einmalig stellvertretend für dich abruft. Es werden keine Eingaben gespeichert. Details
So funktioniert das Tool
Eine robots.txt mit einem Tippfehler ist gefährlicher als gar keine — Crawler ignorieren die Datei dann komplett. Unser Validator parst deine robots.txt (entweder direkt eingefügt oder über URL gefetcht) und prüft jede Direktive: gibt es einen Allow nach einem Disallow für dasselbe User-Agent? Ist das Wildcard-Pattern korrekt? Funktioniert die Sitemap-URL? Du gibst eine Pfad-URL an und siehst, ob der Crawl erlaubt oder verboten ist — für Googlebot, Bingbot oder jeden anderen.
Typische Anwendungsfälle
Nach robots.txt-Änderung verifizieren
Du hast einen neuen Disallow-Eintrag hinzugefügt — blockiert er nur, was er soll, oder auch versehentlich /shop/produkt-detail/?
Bug-Report-Vorbereitung
„Google indexiert /privat/ obwohl Disallow drin steht” — Validator zeigt, ob das wirklich an robots.txt liegt oder an einem anderen Faktor (noindex, sitemap, sitelinks).
Migration: alte vs. neue Site
Beim Hoster-Wechsel die alte robots.txt mit der neuen vergleichen — sind alle Disallows übernommen oder fehlt was?
Bot-spezifische Pfad-Tests
Crawler-Allow-/Disallow-Regeln für GPTBot, CCBot, Baiduspider gezielt prüfen, weil verschiedene Bots verschiedene Pfade interpretieren können.
Häufige Fragen
Was passiert bei einem Syntax-Fehler in robots.txt?
Google ignoriert nur die fehlerhafte Zeile, nicht die ganze Datei — ist also tolerant. Andere Bots (besonders ältere) können die ganze Datei verwerfen, was effektiv „alles erlaubt” bedeutet. Sauberer Syntax ist also Pflicht.
Wie funktioniert das Allow-Pattern?
Allow überschreibt vorherige Disallows für denselben Pfad-Prefix oder spezifischer. Allow: /privat/oeffentlich-zugaenglich/ in Kombination mit Disallow: /privat/ erlaubt nur den einen Unterordner. Reihenfolge ist egal — die spezifischste Match-Regel gewinnt, nicht die letzte.
Funktionieren Wildcards in robots.txt?
Ja, aber begrenzt. * matcht beliebig viele Zeichen (Disallow: /*.pdf$ blockt alle PDFs). $ markiert das Ende der URL. Andere Regex-Features (Klammern, Zeichenklassen) sind nicht Teil des Standards und werden meist ignoriert.
Was bedeutet ein User-Agent: * mit Disallow: /
Komplett-Block für alle Bots — die Seite wird nicht gecrawlt. Wenn das versehentlich live geht, fliegt deine Site aus dem Google-Index. Search Console schlägt Alarm, aber das kann bis zu 24h dauern. Validator-Check vor Production-Deploy ist daher wichtig.
Werden die getesteten URLs gespeichert?
Domain anonymisiert für 24h. Inhalt der robots.txt ist öffentlich — kein Logging.
Verwandte Tools
Alle Daten bleiben in deinem Browser. Kein Server, kein Tracking.