KI-Crawler (AI-Bots)
KI-Crawler sind automatisierte Programme großer KI-Anbieter, die Websites durchsuchen, um Trainingsdaten zu sammeln oder Inhalte für KI-Suchantworten zu indexieren. Bekannte Beispiele sind GPTBot von OpenAI, ClaudeBot von Anthropic oder PerplexityBot. Website-Betreiber:innen können über robots.txt steuern, welche dieser Bots ihre Seiten crawlen dürfen, eine wichtige Stellschraube, um in KI-Suchantworten überhaupt zitiert zu werden.
In der Praxis
Wer bei AEO/GEO (Answer- beziehungsweise Generative-Engine-Optimization) sichtbar sein will, sollte KI-Crawler bewusst gezielt zulassen statt sie pauschal zu blockieren, wobei eine Sperre in robots.txt nur eine Bitte ist, der kein Bot technisch folgen muss. Viele Anbieter unterscheiden zudem zwischen Trainings-Bots wie GPTBot und Retrieval-Bots für Echtzeitantworten wie ChatGPT-User, sodass sich beides getrennt erlauben oder sperren lässt. Erwarten Sie dabei keine einheitliche Wirkung: OpenAI hält zu ChatGPT-User fest, dass es sich um nutzerausgelöste Abrufe handelt und robots.txt-Regeln deshalb möglicherweise nicht greifen; für die Steuerung automatisierter Crawls verweist OpenAI stattdessen auf OAI-SearchBot. Google-Extended wiederum ist gar kein eigener User-Agent, sondern nur ein robots.txt-Token, mit dem sich die Nutzung gecrawlter Inhalte für Training und Grounding von Gemini-Modellen steuern lässt; auf Aufnahme oder Ranking in der Google-Suche hat es laut Google ausdrücklich keinen Einfluss. Eine ergänzende llms.txt-Datei ist bislang kein offizieller Web-Standard, wird von einzelnen Tools aber bereits ausgewertet.