GPTBot, OAI-SearchBot, PerplexityBot: welche KI-Crawler Sie besser nicht blockieren

Viele Website-Betreiber sperren „die KI-Bots“ pauschal aus, um ihre Inhalte zu schützen. Das klingt vernünftig, hat aber einen Haken: Genau die Crawler, die einen Betrieb in ChatGPT und Perplexity überhaupt erst empfehlbar machen, landen dabei oft im selben Aus wie die Trainings-Crawler. Wer die Bots auseinanderhält, trifft eine bewusste Entscheidung statt einer teuren Verwechslung.

Zwei Sorten KI-Crawler, ein entscheidender Unterschied

KI-Anbieter schicken nicht einen einzelnen Bot los. Es sind mehrere, und sie verfolgen verschiedene Ziele. Grob lassen sich zwei Gruppen unterscheiden:

• Trainings-Crawler sammeln Inhalte, die später in das Training der KI-Modelle einfliessen können. Ob Sie diese zulassen, ist eine Frage von Urheberrecht und Grundhaltung, nicht von Auffindbarkeit.
• Such- und Abruf-Crawler versorgen die Live-Antworten. Sie indexieren Ihre Seite für die Suchfunktion der KI oder rufen eine URL im Moment der Nutzerfrage ab. Wer hier blockiert, verschwindet aus den Antworten.

Diese Trennung ist der Kern des Themas. Ein Betrieb kann sich aus dem Modell-Training heraushalten und trotzdem in den KI-Antworten sichtbar bleiben. Umgekehrt gilt: Wer alles sperrt, opfert die Sichtbarkeit für einen Schutz, den er vielleicht gar nicht bezweckt hat.

OpenAI: drei Crawler mit klaren Rollen

OpenAI betreibt laut eigener Dokumentation drei getrennte Bots, die sich in der robots.txt einzeln steuern lassen:

• GPTBot sammelt Inhalte, die zur Verbesserung der KI-Modelle dienen. Sperren Sie ihn, signalisiert das: Diese Inhalte sollen nicht für das Training genutzt werden. Auf die Sichtbarkeit in der ChatGPT-Suche hat das keinen Einfluss.
• OAI-SearchBot erschliesst Seiten für die Suchfunktion von ChatGPT. OpenAI empfiehlt ausdrücklich, diesen Bot zuzulassen, damit eine Seite in den Suchantworten erscheinen kann.
• ChatGPT-User ruft eine Seite ab, wenn eine Person ChatGPT bittet, eine konkrete URL zu öffnen. Weil dieser Abruf von einem Menschen ausgelöst wird, greifen robots.txt-Regeln hier laut OpenAI unter Umständen nicht.

Die Botschaft ist eindeutig: GPTBot und OAI-SearchBot tun etwas Verschiedenes. Ein pauschales „OpenAI raus“ trifft beide.

Perplexity: Index-Crawler und Live-Abruf

Perplexity unterscheidet nach eigener Dokumentation ähnlich:

• PerplexityBot dient dazu, Websites in den Suchergebnissen von Perplexity aufzuführen und zu verlinken. Er wird nach Angabe des Anbieters nicht genutzt, um Inhalte für das Training von KI-Modellen zu sammeln. Auch hier lautet die Empfehlung, den Bot zuzulassen, damit die Seite sichtbar bleibt.
• Perplexity-User besucht eine Seite, wenn eine Nutzerfrage das erfordert. Da dieser Abruf durch eine Person ausgelöst wird, ignoriert er robots.txt-Regeln in der Regel.

Wer PerplexityBot aussperrt, nimmt sich also die Chance, in Perplexitys Antworten als Quelle aufzutauchen, ohne dabei irgendein Training zu verhindern.

Google: Googlebot und Google-Extended

Bei Google liegt der Fall etwas anders, weil kein separater „Gemini-Crawler“ durchs Netz läuft. Stattdessen gibt es zwei Hebel:

• Googlebot ist der bekannte Suchmaschinen-Crawler. Er versorgt die Google-Suche samt ihrer KI-Funktionen. Ihn zu blockieren bedeutet, aus der Google-Suche zu verschwinden.
• Google-Extended ist kein eigener Bot mit eigenem Abruf. Es ist ein Steuerungskennzeichen für die robots.txt. Damit legen Sie fest, ob von Google erfasste Inhalte für das Training künftiger Gemini-Modelle und für das sogenannte Grounding verwendet werden dürfen. Google stellt ausdrücklich klar: Google-Extended beeinflusst weder die Aufnahme in die Google-Suche noch das Ranking.

Auch hier gilt die saubere Trennung: Wer sich per Google-Extended aus dem KI-Training heraushält, bleibt in der normalen Suche und ihren KI-Übersichten unangetastet, solange Googlebot Zugriff behält.

Der häufige Fehler und wie er entsteht

Sperrlisten für KI-Bots kursieren in Foren, in Sicherheits-Plugins und in vorkonfigurierten Server-Regeln. Oft stammen sie aus der Sorge, KI-Firmen würden Inhalte „abgreifen“. Übernommen wird dann eine lange robots.txt, die jeden bekannten KI-User-Agent auf Disallow setzt. Damit fliegen GPTBot und Google-Extended raus, was gewollt sein mag. Es fliegen aber auch OAI-SearchBot und PerplexityBot raus, was den Betrieb in genau den KI-Antworten unsichtbar macht, um die es hier geht.

Der Schaden bleibt lange unbemerkt, weil niemand einen Fehler sieht. Die Website funktioniert, die Google-Suche läuft. Nur die KI-Antwortmaschinen finden keinen Grund mehr, ausgerechnet diesen Betrieb zu nennen.

Für einen lokalen Betrieb wiegt das schwer. Wenn eine Kundin ChatGPT nach dem „Elektriker in der Nähe“ oder dem „Steuerberater für Selbstständige in Köln“ fragt, greift die KI auf ihre Suchfunktion zurück und zieht dafür Seiten heran, die der Such-Crawler erreichen durfte. Eine für die KI-Suche gesperrte Website kann die beste Leistung anbieten und bleibt in dieser Antwort trotzdem stumm. Der Wettbewerber, dessen Seite offen ist, wird genannt. Deshalb lohnt sich der Blick in die robots.txt gerade dann, wenn ansonsten alles zu funktionieren scheint.

So prüfen und steuern Sie Ihre robots.txt

Die robots.txt liegt im Wurzelverzeichnis Ihrer Domain und ist unter ihre-domain.de/robots.txt direkt im Browser aufrufbar. So gehen Sie vor:

• Rufen Sie die Datei auf und suchen Sie nach den User-Agent-Namen aus diesem Artikel.
• Steht bei OAI-SearchBot oder PerplexityBot ein Disallow: /, blockieren Sie Ihre KI-Sichtbarkeit. Das ist meist ungewollt.
• Entscheiden Sie bewusst pro Gruppe: Training zulassen oder nicht, Suche und Abruf möglichst offen halten.

Eine Konfiguration, die sich aus dem Training heraushält und für die KI-Suche offen bleibt, sieht zum Beispiel so aus:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Disallow:

User-agent: PerplexityBot
Disallow:

Ein leeres Disallow: bedeutet: nichts gesperrt, alles erlaubt. Wichtig bleibt die ehrliche Einordnung: robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, und die nutzergetriebenen Abruf-Crawler wie ChatGPT-User oder Perplexity-User ignorieren die Datei ohnehin, weil ein Mensch den Abruf auslöst. Wer prüfen möchte, ob solche Details der eigenen Sichtbarkeit im Weg stehen, findet in der KI-Sichtbarkeits-Dokumentation jeden Befund mit Beleg.

Wo Ihr Betrieb heute steht

Ob ChatGPT, Gemini und andere KI-Systeme Ihren Betrieb heute schon empfehlen, lässt sich messen. Der kostenlose KI-Sichtbarkeits-Check von mehr gefunden zeigt Ihnen den Stand; wer es genauer wissen möchte, findet in der KI-Sichtbarkeits-Dokumentation jeden Befund mit Beleg und einen umsetzbaren Handlungsplan. Beides unverbindlich und ohne Vorbereitung.

Quellen

• OpenAI: Overview of OpenAI Crawlers (GPTBot, OAI-SearchBot, ChatGPT-User)
• Perplexity: PerplexityBot und Perplexity-User
• Google Search Central: Google Crawler und Google-Extended
• Google Search Central: Einführung in robots.txt

Zurück zu allen Ratgebern