KI-Crawler steuern: GPTBot, ClaudeBot und robots.txt 2026

KI-Crawler sind die automatisierten Bots, die OpenAI, Anthropic, Perplexity, Google und Microsoft auf Ihre Website schicken – für drei klar getrennte Aufgaben: Modelle trainieren, Suchindizes aufbauen und Seiten live abrufen, wenn jemand fragt. Jeder Bot gehorcht seinem eigenen robots.txt-Token, deshalb kann die falsche Sperre Ihre Website unbemerkt aus KI-Antworten entfernen. Und laut den Tests von Vercel mit Merj vom Dezember 2024 führt keiner der großen KI-Crawler JavaScript aus: Was Ihr Server als HTML ausliefert, ist alles, was sie sehen.

Warum entscheiden KI-Crawler über Ihre Sichtbarkeit?

Weil gecrawlt zu werden die Eintrittskarte ist: Liest ein KI-Such-Bot Ihre Seite nie, können ChatGPT, Claude oder Perplexity sie auch nicht zitieren. Laut Cloudflare (Juli 2025) wuchs der kombinierte Traffic von KI- und Such-Crawlern zwischen Mai 2024 und Mai 2025 um 18 %. Der Anteil von GPTBot an diesem Traffic sprang von 2,2 % auf 7,7 % – ein Zuwachs von 305 % –, während Googlebot von 30 % auf 50 % stieg, ClaudeBot von 11,7 % auf 5,4 % fiel und Bingbot bei rund 8,7 % lag.

Die meisten Website-Betreiber haben darauf nicht reagiert. In derselben Untersuchung hatten nur 14 % der 3.816 analysierten Top-Domains robots.txt-Direktiven speziell für KI-Bots, und GPTBot war der am häufigsten gesperrte einzelne Bot (312 Domains). Gecrawlt zu werden ist Schritt eins; aus Crawls Zitate zu machen, ist ein eigenes Problem – wir sezieren es in wie KI-Engines auswählen, wen sie zitieren.

Welche drei Arten von KI-Bots gibt es?

Jeder dokumentierte KI-Crawler erledigt genau eine von drei Aufgaben: Modelltraining, Suchindexierung oder durch Nutzer ausgelöste Live-Abrufe. Die Unterscheidung zählt, weil jeder Typ einen anderen Zielkonflikt mitbringt – und weil die robots.txt es erlaubt, sie getrennt zu behandeln.

Laut Cloudflare (August 2025) entfallen rund 79–80 % der KI-Bot-Aktivität auf Modelltraining (gegenüber 72 % im Juli 2024), 17 % auf Suche und 3,2 % auf Nutzeraktionen. Die Kategorie Nutzeraktionen wächst am schnellsten: Cloudflares Radar 2025 Year in Review maß für 2025 ein Wachstum der nutzerausgelösten Abrufe um mehr als das 15-Fache, wobei ChatGPT-User in der Spitze bis zum 16-Fachen des Jahresanfangsniveaus erreichte.

Hier die vollständige Liste der dokumentierten Bots und was eine Sperre jeweils tatsächlich bewirkt:

Bot	Betreiber	Aufgabe	Wenn Sie ihn in der robots.txt sperren	Führt JS aus
GPTBot	OpenAI	Modelltraining	Inhalte werden aus den Trainingsdatensätzen von OpenAI ausgeschlossen	Nein
OAI-SearchBot	OpenAI	Suchindex von ChatGPT	Ihre Website erscheint nicht mehr in den Suchergebnissen von ChatGPT	Nein
ChatGPT-User	OpenAI	Live-Abruf auf Nutzeranfrage	Gilt möglicherweise nicht – die Besuche werden von Nutzern ausgelöst	Nein
OAI-AdsBot	OpenAI	Prüft Landingpages von Anzeigen	—	Nicht getestet
ClaudeBot	Anthropic	Modelltraining	Künftiges Material wird aus den Claude-Trainingsdatensätzen ausgeschlossen	Nein
Claude-SearchBot	Anthropic	Suchindex von Claude	Geringere Sichtbarkeit in den Suchergebnissen von Claude	Nicht getestet
Claude-User	Anthropic	Live-Abruf auf Nutzeranfrage	Claude kann Ihre Seiten in Nutzergesprächen nicht mehr abrufen	Nicht getestet
PerplexityBot	Perplexity	Suchindex (kein Training)	Sie können in Perplexity-Ergebnissen weder angezeigt noch verlinkt werden	Nein
Perplexity-User	Perplexity	Live-Abruf auf Nutzeranfrage	Wird laut Perplexitys eigener Doku in der Regel ignoriert	Nicht getestet
Google-Extended	Google	Token für Gemini-Training und Grounding	Kein Gemini-Training, kein Grounding; Google-Suche bleibt unberührt	entfällt
Bingbot	Microsoft	Bing-Index, speist Berichten zufolge auch Copilot-Antworten *	Sie verlassen Bing und, laut Berichten, Copilot in einem Zug *	Nicht getestet

Die Zwecke stammen aus der offiziellen Dokumentation des jeweiligen Anbieters (2026), mit Ausnahme der Bingbot-Zeile (*): Die Copilot-Verbindung erreicht uns über Sekundärquellen aus der Dokumentation der Bing Webmaster Tools – die Primärseite ließ sich nicht öffnen, behandeln Sie sie also als berichtet, nicht als verifiziert. Die JavaScript-Spalte gibt die Vercel-Tests von Ende 2024 wieder; ungetestete Bots sind entsprechend markiert.

Welche Crawler betreibt OpenAI, und was steuert jeder davon?

OpenAI dokumentiert vier Crawler, jeder mit eigenem robots.txt-Token, eigenem User-Agent-String und veröffentlichten IP-Bereichen – laut der Crawler-Dokumentation von OpenAI (2026):

1. GPTBot (User-Agent GPTBot/1.4, IPs unter openai.com/gptbot.json) sammelt Inhalte für das Modelltraining. Ein Disallow schließt Ihre Website aus den Trainingsdatensätzen von OpenAI aus.
2. OAI-SearchBot (OAI-SearchBot/1.4) betreibt die Suche in ChatGPT. Ihn zu erlauben ist die Voraussetzung dafür, dass Ihre Website in den Suchergebnissen von ChatGPT auftaucht; OpenAI weist darauf hin, dass die Verarbeitung von robots.txt-Änderungen rund 24 Stunden dauern kann.
3. ChatGPT-User (ChatGPT-User/1.0) ruft Seiten während Nutzergesprächen ab. Da jeder Besuch von einem Menschen ausgelöst wird, erklärt OpenAI, dass die robots.txt hier möglicherweise nicht greift.
4. OAI-AdsBot prüft die Landingpages von Anzeigen.

Die Einstellungen sind zwischen den Bots unabhängig. Die praktische Folge: Sie können OpenAI das Training verweigern und trotzdem die volle Sichtbarkeit in der ChatGPT-Suche behalten – das sind zwei getrennte Hebel.

Was machen ClaudeBot, Claude-SearchBot und Claude-User jeweils?

Anthropic dokumentiert drei Crawler, die sich alle an die robots.txt halten – laut Claude Help Center (2026). ClaudeBot sammelt Webinhalte, die zum Training von Claude-Modellen verwendet werden können, und unterstützt die Crawl-delay-Direktive. Claude-SearchBot indexiert Seiten, um die Qualität der Claude-Suchergebnisse zu verbessern. Claude-User greift auf eine Seite zu, wenn die Frage eines Nutzers an Claude das erfordert.

Jede Sperre hat eine eigene Wirkung und braucht einen eigenen robots.txt-Eintrag. Anthropic gibt an, dass nach einem Disallow für ClaudeBot künftiges Material aus den Trainingsdatensätzen der Modelle ausgeschlossen werden sollte. Die veröffentlichten IP-Bereiche liegen unter claude.com/crawling/bots.json – so können Sie prüfen, ob Traffic, der sich als Claude ausgibt, wirklich von Claude stammt.

Hält sich Perplexity an die robots.txt?

Der deklarierte Crawler tut es; der Nutzer-Agent muss es nicht. Laut der Crawler-Doku von Perplexity (2026) indexiert PerplexityBot (PerplexityBot/1.0, IPs unter perplexity.com/perplexitybot.json) Seiten, um Websites in Ergebnissen anzuzeigen und zu verlinken – nicht, um Modelle zu trainieren – und respektiert die robots.txt. Perplexity-User bearbeitet nutzerinitiierte Besuche und missachtet die robots.txt-Regeln laut Perplexity in der Regel – im Wortlaut der Doku: “generally ignores robots.txt rules” –, weil jede Anfrage von einer Person ausgeht.

Dazu kommt ein dokumentiertes Glaubwürdigkeitsproblem. Am 4. August 2025 warf Cloudflare Perplexity verdecktes Crawling vor: ein nicht deklarierter, generischer Chrome-User-Agent mit 3 bis 6 Millionen Anfragen pro Tag zusätzlich zu den 20 bis 25 Millionen des deklarierten Crawlers, mit wechselnden IPs und ASNs zur Umgehung von Sperren und ohne Beachtung der robots.txt auf Testdomains. Cloudflare entfernte Perplexity von seiner Liste verifizierter Bots. Die Lehre lässt sich verallgemeinern: Die robots.txt ist eine höfliche Bitte, keine technische Sperre.

Ist Google-Extended ein Crawler, und speist Bingbot Copilot?

Google-Extended ist überhaupt kein Crawler. Es ist ein eigenständiges robots.txt-Produkt-Token ohne eigenen User-Agent – gecrawlt wird von den bestehenden User-Agents von Google. Das Token steuert, ob Ihre Inhalte zum Training künftiger Gemini-Modelle (Gemini Apps und Vertex AI) sowie für Grounding verwendet werden dürfen, laut der Crawler-Dokumentation von Google (2026):

“Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal.” — Google for Developers, 2026

Website-Betreiber haben gemerkt, wie günstig dieser Tausch ist: Cloudflares Radar 2025 Year in Review stellte fest, dass sich die Allow-Direktiven für Google-Extended im Lauf des Jahres 2025 verdreifachten – genau in der Zeit, in der GPTBot, ClaudeBot und CCBot die Liste der am häufigsten komplett gesperrten Bots anführten.

Bingbot ist der umgekehrte Fall – mit einem Vorbehalt zu unserer eigenen Beleglage. Wie aus zweiter Hand von der Dokumentation der Bing Webmaster Tools berichtet wird, einer Seite, die wir nicht direkt öffnen und verifizieren konnten, speist derselbe Bingbot-Crawl sowohl den Bing-Suchindex als auch die KI-Antworten von Microsoft Copilot; Microsoft veröffentlicht validierte IPs in bingbot.json und empfiehlt eine DNS-Verifizierung. Wir kennzeichnen das als berichtet, nicht als bestätigt. Aus erster Hand dokumentiert ist der offizielle User-Agent – ein Chrome-ähnlicher String mit bingbot/2.0 und einer Mobile-Variante –, angekündigt von Microsoft am 28. April 2022. Falls die Darstellung des geteilten Crawls zutrifft, gibt es hier anders als bei OpenAI oder Anthropic keinen getrennten Hebel: Bing-Sichtbarkeit und Copilot-Präsenz kommen im Paket.

Wie viel crawlen KI-Bots – und wie viel Traffic schicken sie zurück?

Sie crawlen viel und vermitteln wenig. Ende 2024 maß Vercel die monatlichen Volumina im eigenen Netzwerk: GPTBot kam auf 569 Millionen Anfragen, Anthropics Claude auf 370 Millionen, AppleBot auf 314 Millionen und PerplexityBot auf 24,4 Millionen – zusammen rund 20 % der 4,5 Milliarden von Googlebot im selben Zeitraum.

Dieselbe Studie zeigte KI-Crawler als auffallend ineffizient: ChatGPT verbrauchte 34,82 % seiner Abrufe auf 404-Seiten und Claude 34,16 %, gegenüber 8,22 % bei Googlebot. ChatGPT priorisiert HTML (57,70 % der Abrufe), während Claude stärker zu Bildern tendiert (35,17 %).

Der ernüchternde Teil ist der Referral-Traffic. Cloudflares Crawl-to-Refer-Verhältnisse – gecrawlte Seiten je vermitteltem menschlichem Besuch – stammen aus zwei verschiedenen Beiträgen, die unterschiedliche Ausschnitte messen; deshalb ist jede Spalte einzeln gekennzeichnet:

Betreiber	Alle Websites – Cloudflare, 29. Aug. 2025 (Zeitfenster Juli 2025)	Nachrichtenverlage – Cloudflare, 28. Aug. 2025
Anthropic	38.066:1	2.500:1
OpenAI	1.091:1	152:1
Perplexity	195:1	32,7:1
Google	5,4:1	—

“…still crawled 38,000 pages for every referred page visit in July 2025.” — Cloudflare über Anthropic, 29. August 2025

Laut Cloudflares Branchenaufschlüsselung (August 2025) entfällt auf ClaudeBot und GPTBot zusammen fast die Hälfte des beobachteten KI-Crawlings, und im Nachrichtensektor erreicht ChatGPT-User 14,9 % des Crawlings – ein Signal für starke Nachfrage echter Nutzer. Die strategische Lesart für ein kleines Unternehmen: KI-Sichtbarkeit zahlt sich derzeit in Zitaten und Markenpräsenz aus, nicht in Massenklicks.

Rendern KI-Crawler JavaScript?

Nein – keiner der großen KI-Crawler führt JavaScript aus. Eine Studie von Vercel mit Merj (Dezember 2024) hat das direkt getestet:

“ChatGPT and Claude don’t execute JavaScript.” — Vercel, Dezember 2024

Weder GPTBot noch OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Meta-ExternalAgent, Bytespider oder CCBot renderten JavaScript. Nur Gemini – über die Infrastruktur von Googlebot – und AppleBot taten es. Die Bots laden JavaScript-Dateien durchaus herunter (11,50 % der Abrufe von ChatGPT, 23,84 % der von Claude); sie führen sie nur nie aus.

Die Konsequenz ist unmissverständlich: Wenn Ihre Preise, Produktbeschreibungen oder FAQ clientseitig eingefügt werden, sind sie für KI-Assistenten unsichtbar. Kritische Inhalte müssen in der HTML-Antwort des Servers ankommen, über Server-side Rendering oder statische Generierung. Das ist dieselbe Disziplin, die auch die klassische Suche belohnt – siehe unsere technischen SEO-Grundlagen – und es ist das Erste, was wir in einem technischen SEO-Audit prüfen.

Wie konfigurieren Sie die robots.txt für KI-Bots?

Bot für Bot, Zeile für Zeile – einen einzelnen KI-Schalter gibt es nicht. Ein Disallow für GPTBot sperrt nur den Trainings-Crawler von OpenAI und lässt OAI-SearchBot unberührt; ein Disallow für ClaudeBot betrifft weder Claude-SearchBot noch Claude-User. OpenAI und Anthropic warnen beide, dass eine Sperre ihrer Such-Bots Ihre Sichtbarkeit und Zitate in ihren Antworten senkt.

Ein sinnvoller Ausgangspunkt für die meisten KMU: Such- und Nutzer-Bots erlauben, dann bewusst über die Trainings-Bots entscheiden.

# Variante A — Standard: alles erlauben (keine KI-Einträge nötig)

# Variante B — Modelltraining sperren, KI-Suchsichtbarkeit behalten
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Variante C — Training drosseln statt sperren
# (Anthropic dokumentiert Crawl-delay-Unterstützung für ClaudeBot)
User-agent: ClaudeBot
Crawl-delay: 1

Zwei operative Details. Erstens kann OAI-SearchBot laut der Dokumentation von OpenAI rund 24 Stunden brauchen, um robots.txt-Änderungen zu verarbeiten. Zweitens veröffentlicht jeder Anbieter IP-Listen (openai.com/gptbot.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json), damit Sie prüfen können, ob ein Besucher, der sich als Bot ausgibt, echt ist. Beachten Sie außerdem: Die robots.txt regelt, wer crawlen darf; die separate Datei llms.txt schlägt vor, was KI-Systeme zuerst lesen sollen – nachzulesen in unserem llms.txt-Leitfaden.

Was sollten Sie diese Woche tun?

Eine praktische Checkliste für ein kleines Team:

1. Ziehen Sie Ihre Server-Logs und suchen Sie nach GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot und bingbot. Erst die Baseline, dann die Meinungen.
2. Prüfen Sie Ihre robots.txt gegen die Tabelle oben. Stellen Sie sicher, dass kein Such- oder Nutzer-Bot versehentlich gesperrt ist – nur 14 % der Top-Domains hatten überhaupt eine KI-spezifische Direktive (Cloudflare, Juli 2025).
3. Legen Sie Ihre Trainingshaltung fest. GPTBot und ClaudeBot zu sperren kostet keine KI-Suchsichtbarkeit: Bei OpenAI und Anthropic liegt die Suche auf getrennten Hebeln. Google-Extended ist ein anderer Tausch – Google erklärt, dass es Aufnahme und Ranking in der Google-Suche nicht beeinflusst, doch dasselbe Token schaltet auch das Grounding ab. Es ist damit die einzige Trainingssperre mit einem Preis an KI-Sichtbarkeit.
4. Testen Sie eine Schlüsselseite mit deaktiviertem JavaScript oder rufen Sie sie mit curl ab. Fehlt der Hauptinhalt im rohen HTML, können KI-Crawler ihn nicht sehen.
5. Prüfen Sie die Logs nach 24 bis 48 Stunden erneut, da OpenAI angibt, dass OAI-SearchBot rund 24 Stunden brauchen kann, um robots.txt-Änderungen zu verarbeiten.

Genau diese Abfolge – Baseline, Umsetzung, Vorher-Nachher-Messung – fahren wir in unserem Service für KI-Sichtbarkeit, mit jeder veröffentlichten Zahl als gemessen, berechnet oder angenommen gekennzeichnet.