Chunking

Chunking bezeichnet das Zerlegen längerer Dokumente in kleinere Abschnitte (Chunks), die einzeln in Embeddings umgewandelt und durchsuchbar gemacht werden – ein zentraler Qualitätsfaktor in RAG-Systemen.

In der Praxis

Nötig ist das, weil Embedding-Modelle nur begrenzt viel Text auf einmal verarbeiten. Ein verbreitetes Modell nimmt maximal 8.191 Token an, längere Dokumente würden schlicht abgeschnitten. Üblich sind feste Abschnittsgrößen mit Überlappung, Schnitte an Satz- oder Absatzgrenzen sowie semantische Verfahren, die zusammengehörige Aussagen beieinander lassen.

Microsoft empfiehlt als Startpunkt rund 512 Token pro Abschnitt mit einem Viertel Überlappung – danach hilft nur Messen am eigenen Material. Zu kleine Abschnitte verlieren ihren Zusammenhang, zu große verwässern die einzelne Aussage. Eine brauchbare Faustregel: Ergibt ein Ausschnitt auch ohne sein Umfeld für einen Menschen Sinn, dann meist auch für das Modell.

RAG (Retrieval-Augmented Generation)

Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein KI-Sprachmodell vor der Antworterstellung gezielt …

Kontextfenster (Context Window)

Das Kontextfenster ist die maximale Textmenge, gemessen in Token, die ein Sprachmodell gleichzeitig verarbeiten kann – …

Token (KI-Sprachmodell)

Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell arbeitet – oft ein Wortteil, ein ganzes Wort oder ein …

Vektor-Embeddings

Vektor-Embeddings sind numerische Darstellungen von Wörtern, Sätzen oder ganzen Textabschnitten, bei denen inhaltlich …

Passende Leistung

RAG in der Praxis

RAG in der Praxis: Wie Chunking, hybride Suche und Reranking die Antwortqualität bestimmen, wie man sie misst und wie …

RAG, verständlich erklärt

RAG einfach erklärt: Wie KI vor der Antwort in den eigenen Unterlagen nachschlägt, wann sich das für Betriebe lohnt und …

Quellen

← Zurück zum Glossar