AI Bot Access Check von Tim Kelle

Prüfe, welche KI-Bots deine Inhalte laut robots.txt abrufen dürfen.

Analysiere robots.txt-Regeln für KI-Suche, nutzerinitiierte Abrufe und Modelltraining. Teste konkrete URL-Pfade und erkenne, ob robots.txt, HTTP-Antwort und Seitenanweisungen tatsächlich zusammenpassen.

Regelbasiert nach RFC 9309
Bot-Zwecke getrennt bewertet
Manuell oder per Live-Abruf
Keine externen Analyseanbieter

1. Datenquelle

Website oder robots.txt prüfen

Live + Manuell

Der Live-Modus lädt robots.txt, prüft Seitensignale und testet die HTTP-Antwort mit dokumentierten Bot-User-Agents. Alternativ kannst du die Datei direkt einfügen und lokal auswerten.

Zu prüfende URL

Geprüft werden robots.txt, Zielseite und bot-spezifische HTTP-Antworten. Es werden keine Inhalte gespeichert.

Der Live-Modus prüft robots.txt und Seitensignale direkt. Die Verbindung wird beim ersten Live-Check automatisch bestätigt.

Pfad-Schnelltest

Ändere nur den Pfad und vergleiche sofort alle Bots, ohne neu zu laden.

2. Zugriffslage

Auswertung nach Bot-Zweck

Bereit

Noch keine Analyse

Prüfe eine URL oder füge eine robots.txt ein. Danach siehst du nicht nur den Status, sondern auch die wirksame Regel und deren Kontext.

5. Richtlinie erstellen

Passenden robots.txt-Block erzeugen

Keine Ranking-Garantie

Wähle ein nachvollziehbares Ziel. Der Generator ergänzt nur KI-spezifische Gruppen und verändert keine vorhandenen Regeln für Googlebot, Shops oder interne Bereiche.

KI-Sichtbarkeit, Training sperren Such- und Nutzerbots offen, Trainings- und Datensammler blockiert. Alle dokumentierten Bots erlauben Explizite Freigabe für Suche, Nutzerabruf und Datennutzung. Nur Training & Datensätze sperren Erzeugt ausschließlich Sperren und überlässt Suchzugriffe den bestehenden Regeln. Alle dokumentierten KI-Bots sperren Maximal restriktiv, kann Sichtbarkeit und Quellenverweise reduzieren.

Einordnung

robots.txt steuert Crawling, schützt aber keine Inhalte.

Das Robots Exclusion Protocol ist eine freiwillig befolgte Crawling-Anweisung und keine Zugriffskontrolle. Vertrauliche Inhalte benötigen Authentifizierung oder andere serverseitige Schutzmaßnahmen.

Wichtig für SEO

KI-Suche und Modelltraining sind unterschiedliche Entscheidungen.

Wer GPTBot sperrt, muss OAI-SearchBot nicht automatisch sperren. Dasselbe Prinzip gilt bei Anthropic, Perplexity sowie den Steuer-Tokens von Google und Apple. Das Tool zeigt diese Ebenen deshalb getrennt.

Quellenbasis