Startseite / Ratgeber / Marketing
robots.txt-Check: Blockierst du KI-Crawler versehentlich?
Herausgeber: S.E.C. GmbH · findbar.biz
Wie prüfe ich, ob meine Website Suchcrawler blockiert?
Prüfe die robots.txt, Seiteneinstellungen wie noindex sowie mögliche Sperren durch Firewall oder Zugangsschutz. Unterscheide Such- und Trainingszwecke anhand der Dokumentation des jeweiligen Anbieters. Eine erlaubte Abfrage bedeutet noch nicht, dass die Seite indexiert oder in einer Antwort verwendet wird.
Warum die robots.txt jetzt über deine KI-Sichtbarkeit entscheidet
Viele lokale Unternehmen haben ihre robots.txt seit Jahren nicht mehr angefasst. Genau das kann seit 2025/2026 ein teurer Fehler sein. 5,6 Mio. Websites blockieren GPTBot — ein Anstieg von 70 % in einem Jahr . Das Problem: Viele dieser Blockaden treffen nicht nur den KI-Trainings-Bot, sondern versehentlich auch die Bots, über die dein Unternehmen in ChatGPT, Perplexity oder Claude überhaupt erst zitiert werden kann.
Trainings-Bot und Such-Bot sind zwei verschiedene Dinge
GPTBot ist der Trainings-Crawler. Wer ihn blockiert, sorgt dafür, dass künftige Modellversionen die eigenen Inhalte nicht mehr lernen. OAI-SearchBot ist der Such-Crawler, der Inhalte für die Suchfunktion in ChatGPT indexiert. Wer hier blockiert, fällt aus den Suchantworten in ChatGPT heraus. Dasselbe Prinzip gilt bei Anthropic: ClaudeBot ist der Trainings-Crawler. Claude-SearchBot indexiert für die Such- und Antwortfunktionen. Claude-User wird durch eine konkrete Nutzeranfrage ausgelöst.
Für die meisten lokalen Betriebe gilt eine einfache Faustregel: Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, CCBot) kannst du nach deinem Urheber-Gefühl blocken – Google-Extended fast immer, weil es nichts kostet. Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) solltest du erlauben, sonst gibst du deine KI-Sichtbarkeit auf. Konkret: Du blockierst GPTBot über deine robots.txt mit den Zeilen "User-agent: GPTBot" und darunter "Disallow: /". Wichtig: Das blockt nur den Trainings-Bot von OpenAI, nicht den OAI-SearchBot, über den du in der ChatGPT-Suche zitiert wirst.
Die Lücke, die viele Anleitungen verschweigen
Ein Detail wird oft übersehen: OpenAI und Perplexity sagen ebenso klar, dass ihre user-initiierten Bots (ChatGPT-User, Perplexity-User) die robots.txt unter Umständen ignorieren. Die Begründung ist nachvollziehbar: Wenn ein Mensch aktiv eine URL eintippt, gilt das als Nutzerhandlung, nicht als automatisches Crawling. Wer glaubt, mit einer pauschalen Sperre "unsichtbar" für KI zu sein, irrt sich also teilweise: Wer also pauschal sagt »Ich blockiere alle KI-Bots« und einfach GPTBot, ClaudeBot und PerplexityBot auf Disallow: / setzt, hat in Wirklichkeit nur die Trainings-Crawler ausgesperrt.
Die wichtigsten Bots im Überblick
| Anbieter | Trainings-Bot | Such-/Zitier-Bot |
|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot, ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot, Claude-User |
| Perplexity | – | PerplexityBot, Perplexity-User |
| Google-Extended | Googlebot (unverändert) |
Praxis-Fallstricke, die Sichtbarkeit kosten
- Falsche oder veraltete Bot-Namen: Avoid deprecated Anthropic strings. Claude-Web and anthropic-ai are no longer active. Sites blocking only those strings are not actually blocking Anthropic's current ClaudeBot.
- CDN oder Hosting-Firewall überschreibt die robots.txt-Freigabe im Stillen: Once your robots.txt is configured, verify your CDN is not silently overriding it. This is the step most teams skip — and it accounts for the largest share of accidental AI invisibility.
- JavaScript-lastige Websites (viele Baukastensysteme): 69% of AI crawlers cannot execute JavaScript, according to research by Vercel and MERJ. If your site relies on client-side rendering, AI bots see a blank page regardless of your robots.txt settings.
Was du diese Woche konkret tun solltest
- Öffne deine robots.txt (deinedomain.de/robots.txt) und prüfe, ob GPTBot, ClaudeBot, Google-Extended oder CCBot pauschal auf "Disallow: /" stehen.
- Stelle sicher, dass OAI-SearchBot, Claude-SearchBot und PerplexityBot NICHT blockiert sind.
- Prüfe bei Wix, Squarespace, Webflow oder React-Seiten, ob Kerninhalte auch ohne JavaScript im Quelltext sichtbar sind.
- Kontrolliere, ob dein CDN (z. B. Cloudflare) eigene Bot-Regeln hat, die deine robots.txt-Einstellungen überschreiben.
Fazit: Für lokale KMU, E-Commerce und B2B-Dienstleister lautet die Empfehlung fast immer: alles erlauben, weil du davon lebst, gefunden und zitiert zu werden. Ein zehnminütiger Check kann darüber entscheiden, ob ChatGPT dich künftig überhaupt empfehlen kann.
Finde heraus, wo dein Unternehmen bei KI-Sichtbarkeit aktuell steht.
KI-Sichtbarkeit prüfen