robots.txt Generator
robots.txt erstellen mit Vorlagen für WordPress, Shopware, Next.js und mehr. Mit AI-Crawler-Optionen.
AI-Crawler blockieren
So funktioniert das Tool
robots.txt ist die erste Datei, die jeder Crawler abruft, bevor er deine Site indexiert. Sie sagt: „du darfst, du darfst nicht, deine Sitemap liegt hier”. Unser Generator macht aus deinen Anforderungen (was sollen Bots crawlen, was nicht, welche User-Agents speziell behandeln) eine syntaktisch korrekte robots.txt - mit Vorlagen für die häufigsten CMS (WordPress, Shopware, Next.js). Du kopierst den Output in /robots.txt und bist fertig.
Typische Anwendungsfälle
Neue Site aufsetzen
Default robots.txt für ein Next.js-Projekt: alle Bots erlaubt, /api/ und /_next/static/ disallowed, Sitemap-URL annotiert. Spart das Nachschlagen der Konventionen.
Staging-Site komplett blocken
User-agent: * + Disallow: / - kein Crawler kommt rein. Wichtig: zusätzlich HTTP-Auth, weil robots.txt nicht zwingend befolgt wird (manche Bots ignorieren).
Spezifische Crawler limitieren
Aggressive Scraper wie SEMrushBot oder AhrefsBot mit eigenen Regeln einschränken, ohne den Google-Bot zu behindern.
Sensitive Verzeichnisse ausschließen
Admin-Bereiche, Suchergebnis-Seiten (verhindert SERP-Duplicate-Content), Internal-Tool-Routes - alles per Disallow-Pattern.
FAQ
Häufige Fragen
Verwandte Tools
Alle Daten bleiben in deinem Browser. Kein Server, kein Tracking.