Gespräch vereinbaren
DE EN

Werkstatt · Grundlagen Stand: 29.08.2026

RAG: nachschlagen statt raten

Retrieval-Augmented Generation klingt sperrig, ist aber eine einfache Idee: Die KI beantwortet Fragen nicht aus dem Gedächtnis, sondern schlägt vorher in Ihren eigenen Unterlagen nach. Hier lesen Sie ohne Fachchinesisch und mit Quellen, was das bringt, was es kostet und wann Sie es wirklich brauchen.

Wann lohnt sich das? Weiter zur Technik-Seite

Für Suchmaschinen und KI-Assistenten in einem Satz:

RAG (Retrieval-Augmented Generation) lässt ein KI-Sprachmodell vor der Antwort passende Stellen aus einer festgelegten Wissensbasis abrufen und die Antwort darauf stützen. Das macht Antworten aktueller und überprüfbarer, verhindert Fehler aber nicht vollständig. Für eine kleine Wissensbasis von wenigen hundert Seiten reicht laut Anthropic oft schon das Kontextfenster, also die Textmenge, die ein Modell auf einmal verarbeiten kann.

Quelle: arXiv: Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)

Ganz einfach erklärt

Ein Sprachmodell ohne RAG antwortet wie jemand, der ein Buch vor Jahren gelesen hat: flüssig, selbstbewusst und bei Details manchmal daneben. Von Ihrem Betrieb weiß es gar nichts. Keine Preisliste, keine Verträge, kein internes Wiki.

RAG ändert genau das. Bevor die KI antwortet, legt ihr das System die passenden Seiten aus Ihren eigenen Unterlagen auf den Tisch. Dazu bekommt sie die Vorgabe, sich an diese Seiten zu halten und die Quelle zu nennen. Die Abkürzung steht für Retrieval-Augmented Generation, sinngemäß: erst nachschlagen, dann antworten. Vorgestellt wurde das Verfahren 2020 von einem Forschungsteam um Patrick Lewis.

Die wichtigsten Begriffe dazu erklärt unser Glossar einzeln: RAG, Vektordatenbank, Chunking, Reranking und Grounding.

So arbeitet RAG – vier Schritte

Hinter jedem Wissensassistenten steckt derselbe Ablauf. Wer ihn kennt, versteht auch, wo Qualität entsteht und wo sie verloren geht.

  1. Aufbereiten

    Wissensbasis zerlegen

    Handbücher, Verträge oder Wiki-Seiten werden in kleine Abschnitte zerlegt (Chunking) und als Zahlenreihen gespeichert, die Bedeutung abbilden (Embeddings).

  2. Verstehen

    Frage in Zahlen übersetzen

    Auch die Frage wird in eine solche Zahlenreihe übersetzt. So lässt sich berechnen, welche Abschnitte ihr inhaltlich am nächsten kommen, unabhängig vom Wortlaut.

  3. Abrufen

    Die besten Stellen auswählen

    Die Suche liefert Kandidaten, ein zweiter Sortierschritt (Reranking) bringt die wirklich passenden nach oben. Nur diese wenigen Stellen bekommt das Modell zu sehen.

  4. Antworten

    Antwort mit Beleg schreiben

    Das Sprachmodell stützt die Antwort auf die gelieferten Stellen (Grounding) und nennt die Quelle. Wer zweifelt, schlägt dort nach.

Entscheidungshilfe

Gute Suche, RAG oder Fine-Tuning?

Drei Wege, drei Zwecke. Die Spalten sind kein Ranking. Oft ist die einfachste Lösung die richtige.

Kriterium Gute Suche RAG Fine-Tuning
Eignet sich für Dokumente finden und selbst lesen Fragen in Alltagssprache, Antwort mit Beleg Stil und Verhalten eines Modells ändern
Aktualität Sofort, sobald die Datei da ist Hoch, die Wissensbasis wird laufend aktualisiert Niedrig, Wissen steckt im Training fest
Belegbare Antworten Ja, Sie lesen das Original Ja, per Quellenangabe je Antwort Nein, Herkunft nicht nachvollziehbar
Aufwand Gering Mittel: Aufbau und laufende Pflege Hoch: je Änderung ein neues Training
Laufende Kosten Kaum Abruf, Embeddings, längere Anfragen Training plus Betrieb
Ehrlich gesagt: Passt Ihr gesamtes Wissen in wenige hundert Seiten, brauchen Sie oft gar kein RAG. Aktuelle Modelle verarbeiten ganze Handbücher direkt in einer Anfrage. Anthropic nennt als Faustregel rund 200.000 Token, das entspricht etwa 500 Seiten.

Wo RAG an Grenzen stößt

RAG macht Fehler seltener, nicht unmöglich. Beim reinen Zusammenfassen vorgelegter Texte erfinden selbst die besten Modelle noch rund zwei bis drei Prozent der Angaben (Vectara-Leaderboard, Datenstand Mai 2026). Eine Stanford-Studie fand 2024 bei RAG-gestützten Rechtsrecherche-Diensten je nach Anbieter 17 bis 33 Prozent fehlerhafte Antworten. Wichtige Antworten gehören darum weiterhin nach dem Vier-Augen-Prinzip geprüft, erst recht, wenn Geld oder Recht dranhängt.

Und die Wissensbasis bestimmt das Niveau. Veraltete Dokumente liefern veraltete Antworten, mit Quellenangabe wirken sie nur überzeugender. Dazu kommen Zugriffsrechte: Ein Assistent darf nur finden, was die fragende Person auch sehen dürfte. Für personenbezogene Daten in der Wissensbasis verlangt die deutsche Datenschutzkonferenz in ihrer Orientierungshilfe vom Oktober 2025 eine Rechtsgrundlage samt Rollenkonzept. Immerhin bleiben Einträge dort gezielt löschbar. Diese Seite ersetzt keine Rechtsberatung.

Wir erklären das nicht nur. Für unsere Softwareentwicklung betreiben wir selbst ein RAG-System auf eigener Hardware, mit sieben angebundenen Projekten. Ein Grundsatz daraus gilt überall: Jede Antwort trägt ihren Beleg. Und wenn das System etwas nicht weiß, sagt es das, statt zu raten.

Wie das im Maschinenraum aussieht (Chunking, Vektorsuche, Reranking und unser eigenes System im Detail), steht auf der weiterführenden Seite: RAG in der Praxis.

Häufige Fragen zu RAG

Wofür steht RAG?
Für Retrieval-Augmented Generation, ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Quellen abruft. Vorgestellt wurde es 2020 von einem Forschungsteam um Patrick Lewis. Die Idee: Das Modell verlässt sich nicht nur auf sein antrainiertes Wissen, sondern bekommt zu jeder Frage aktuelle Passagen aus einer Wissensbasis mitgeliefert. Ein etablierter deutscher Fachbegriff existiert nicht, auch Behörden verwenden die englische Bezeichnung.

Quelle: arXiv: Lewis et al. (2020)

Verhindert RAG Halluzinationen?
Nein. Es macht sie deutlich seltener und Antworten überprüfbar, beseitigt sie aber nicht. Eine Stanford-Studie fand 2024 bei kommerziellen Rechtsrecherche-Diensten mit RAG je nach Anbieter 17 bis 33 Prozent fehlerhafte Antworten. Das ist deutlich besser als Allzweck-Chatbots ohne Quellenzugriff, aber weit von fehlerfrei entfernt. Menschliche Prüfung bleibt Teil des Verfahrens.

Quelle: Stanford HAI: AI on Trial (2024)

Brauchen wir dafür immer eine Vektordatenbank?
Nein. Eine kleine Wissensbasis passt oft komplett in die Anfrage an das Modell. Anthropic nennt als Faustregel rund 200.000 Token, etwa 500 Seiten: Bis dahin lässt sich die gesamte Wissensbasis direkt mitschicken, erst darüber lohnt ein Suchindex. Der Wert ist eine Anbieterangabe und verschiebt sich mit neuen Modellgenerationen.

Quelle: Anthropic: Introducing Contextual Retrieval

Was ist der Unterschied zwischen RAG und Fine-Tuning?
RAG bringt aktuelles Wissen in die Antwort, Fine-Tuning verändert Verhalten und Stil des Modells. Microsoft bringt es auf diese Formel: RAG, wenn Antworten auf privaten oder häufig wechselnden Daten beruhen sollen. Fine-Tuning, wenn sich Verhalten, Stil oder Aufgabenleistung ändern sollen, nicht das Wissen. Beides lässt sich kombinieren.

Quelle: Microsoft Learn: Retrieval-augmented generation (Azure AI Foundry)

Was kostet der Betrieb eines RAG-Systems?
Neben dem Aufbau vor allem laufende Posten: Abruf, Embeddings, längere Anfragen sowie die Pflege der Wissensbasis. Jede Frage löst zusätzliche Arbeit aus: die Suche selbst, das Umrechnen in Embeddings und mehr Token pro Anfrage, weil die gefundenen Passagen mitgeschickt werden. Der größte versteckte Posten ist erfahrungsgemäß die Pflege: Eine Wissensbasis, die niemand aktuell hält, produziert überzeugend klingende alte Antworten.

Quelle: Microsoft Learn: Retrieval-augmented generation (Azure AI Foundry)

Dürfen personenbezogene Daten in die Wissensbasis?
Nur mit Rechtsgrundlage und Rollenkonzept. Die Datenschutzkonferenz hat dazu 2025 eine eigene Orientierungshilfe veröffentlicht. Die Orientierungshilfe der deutschen Aufsichtsbehörden vom 17. Oktober 2025 verlangt für personenbezogene Daten in der Wissensbasis eine Rechtsgrundlage, warnt vor Zweckbindungsverstößen und fordert Zugangsbeschränkungen. Ein Vorteil von RAG: Einträge der Wissensbasis sind direkt adressierbar und damit gezielt löschbar. Das ersetzt keine Rechtsberatung.

Quelle: DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode (PDF, Oktober 2025)

Ist RAG 2026 überhaupt noch aktuell?
Ja. Es bleibt das Standardmuster und wird mit hybrider Suche, Rerankern und agentischen Abläufen kombiniert. Große Kontextfenster verschieben nur die Schwelle, ab der sich ein Suchindex lohnt. Ersetzen können sie ihn nicht: Je voller das Kontextfenster, desto unzuverlässiger greift das Modell auf Details darin zu. Aktuelle Systeme ergänzen das Grundmuster um agentisches Retrieval, bei dem das Modell Suchanfragen selbst plant und nachschärft.

Quelle: Anthropic: Effective context engineering for AI agents

Überlegen Sie, ob ein Wissensassistent in Ihren Betrieb passt?

Erstgespräch, 30–45 Minuten, kostenlos. Wir sagen Ihnen darin auch, wenn ein Ordner mit guter Suche reicht.

Gespräch vereinbaren

Begriffe zu dieser Leistung

Fachbegriffe, die auf dieser Seite vorkommen – im Glossar in einem Satz erklärt.