Vom Dokument zur belegten Antwort

Embedding-Modelle verarbeiten nur begrenzt viel Text am Stück: ein verbreitetes Modell nimmt maximal 8.191 Token an, Längeres würde abgeschnitten. Dokumente werden deshalb in Abschnitte zerlegt. Microsoft empfiehlt als Startpunkt rund 512 Token je Abschnitt mit einem Viertel Überlappung, danach hilft nur Messen am eigenen Material. Details erklärt der Glossar-Eintrag Chunking.

Der häufigste Fehler ist Kontextverlust. Ein isolierter Abschnitt weiß nicht mehr, auf welches Projekt oder welchen Vertrag er sich bezieht. Die Suche findet ihn dann nicht oder ordnet ihn falsch zu. Anthropic stellt deshalb jedem Abschnitt vor dem Einbetten einen erklärenden Kontextsatz voran und misst dafür nach eigenen Angaben bis zu 49 Prozent weniger Fehlgriffe im Abruf. In Kombination mit Reranking sind es bis zu 67 Prozent. Die brauchbarste Faustregel bleibt: Ergibt ein Ausschnitt auch ohne sein Umfeld für einen Menschen Sinn, dann meist auch für das Modell.

Die Vektorsuche findet Bedeutung, nicht Wortlaut: Frage und Abschnitte liegen als Zahlenreihen in einer Vektordatenbank, gesucht wird nach inhaltlicher Nähe. Für exakte Angaben wie Fehlercodes, Artikelnummern oder Namen ist die alte Wortsuche (etwa BM25) aber weiter überlegen.

Gute Systeme kombinieren deshalb beides. Beide Trefferlisten werden zusammengeführt, üblich ist Reciprocal Rank Fusion: Die Plätze beider Listen werden verrechnet, statt Punktwerte zu vergleichen. So ergänzen sich Bedeutungs- und Wortlaut-Treffer, ohne dass eine Seite dominiert.

Die erste Suchstufe ist schnell, aber grob. Ein zweites Modell, der Cross-Encoder, liest Frage und Kandidat gemeinsam und bewertet die Passung deutlich genauer. Für Millionen Einträge ist er zu langsam, für die vorderen Treffer genau richtig. Microsofts Suchdienst etwa sortiert so nur die besten fünfzig nach. Mehr dazu im Glossar-Eintrag Reranking.

Der Hebel ist direkt: Nur was nach dem Nachsortieren oben steht, landet in der Anfrage an das Sprachmodell. Ein besserer zweiter Sortierschritt verbessert damit unmittelbar die Antworten, zum Preis zusätzlicher Rechenzeit je Anfrage.

Ob eine Änderung hilft, entscheidet keine Meinung, sondern ein Testlauf. Microsoft empfiehlt für RAG-Lösungen ausdrücklich ein strukturiertes, wissenschaftliches Vorgehen: feste Testfragen mit bekannten Soll-Antworten, gegen die jede Stufe einzeln gemessen wird. Wer die Abschnittsgröße, das Embedding-Modell oder den Reranker wechselt, vergleicht danach gegen die eingefrorenen Vergleichswerte, sonst optimiert man ins Blaue.

Auch die fertige Antwort gehört geprüft: Stützt sie sich wirklich auf die gefundenen Stellen (Grounding), oder hat das Modell dazuerfunden? Selbst die besten Modelle erfinden beim reinen Zusammenfassen vorgelegter Texte noch rund zwei bis drei Prozent der Angaben (Vectara-Leaderboard, Datenstand Mai 2026).

Ein Assistent darf nur finden, was die fragende Person sehen dürfte. Dafür werden die Zugriffsrechte der Quelldokumente im Suchindex mitgeführt und jede Suche danach gefiltert – Microsoft nennt das Security Trimming. Ohne diesen Schritt hebelt ein Wissensassistent Abteilungsgrenzen aus: Vertrauliche Ablagen werden zur Volltextsuche für alle.

Für personenbezogene Daten gilt zusätzlich die DSGVO. Die deutsche Datenschutzkonferenz verlangt in ihrer Orientierungshilfe vom Oktober 2025 eine Rechtsgrundlage für solche Daten in der Wissensbasis, warnt vor Zweckbindungsverstößen und fordert ein Rollenkonzept. Sie nennt aber auch Vorteile: Einträge bleiben gezielt löschbar, und ein RAG-System lässt sich vollständig lokal betreiben, ohne Daten an Dritte zu übermitteln. Diese Seite ersetzt keine Rechtsberatung.

Das Grundmuster bleibt, die Ränder bewegen sich. Aktuelle Systeme lassen das Modell Suchanfragen selbst planen und nachschärfen (agentisches Retrieval), statt genau einmal abzurufen. Für Fragen über ganze Bestände hinweg („Was sind die Hauptthemen aller Berichte?“) verknüpft GraphRAG die Inhalte zusätzlich zu einem Wissensgraphen.

Und die großen Kontextfenster? Sie verschieben die Schwelle, ab der sich ein Suchindex lohnt, ersetzen ihn aber nicht: Je voller das Kontextfenster, desto unzuverlässiger greift das Modell auf Details darin zu. Die Disziplin, die richtigen Inhalte zur richtigen Zeit hineinzugeben, hat inzwischen einen eigenen Namen: Context Engineering.

Für die Softwareentwicklung betreiben wir ein selbst entwickeltes RAG-System. Das Werkzeug selbst umfasst rund 240.000 Zeilen Python und läuft komplett auf eigener Hardware. Sieben angebundene Projekte hängen an einem Index, ihr Code verlässt dabei nie das Haus. Unser Coding-Agent fragt das System vor jeder Änderung ab und bekommt belegten Kontext statt Vermutungen: welches Symbol wo definiert ist, wer es aufruft und was bricht, wenn man es ändert.

Die Pipeline folgt genau den Schritten dieser Seite, mit einer Besonderheit beim Chunking: Quellcode wird nicht nach Token-Fenstern geschnitten, sondern entlang der Syntax in ganze Funktionen und Klassen zerlegt. Gesucht wird hybrid: Bedeutungs- und Wortsuche in einer Datenbank, per Reciprocal Rank Fusion zusammengeführt und von einem Cross-Encoder auf eigener Grafikkarte nachsortiert. Jeder Treffer bringt seine Aufrufer und Verweise gleich mit. Noch nicht eingecheckte Arbeitsstände werden als Zwischenschicht eingespielt, damit der Agent den aktuellen Stand sieht statt den von gestern Nacht.