Zum Inhalt springen

Praxis

RAG erklärt: KI mit eigenem Unternehmenswissen nutzen

Ein Sprachmodell kennt Ihre Handbücher, Preislisten und Verträge nicht. Mit Retrieval-Augmented Generation, kurz RAG, sucht die KI vor jeder Antwort die passenden Stellen in Ihren Dokumenten heraus. So entstehen Antworten auf Basis Ihres Wissens – mit Quellenangabe.

Lurus Redaktion Veröffentlicht Geprüft 3 Min. Lesezeit
Gemalte Szene: Ein heller Schreibtisch mit Laptop, Notizen und Kaffee am offenen Fenster.

Das Wichtigste in Kürze

  • RAG verbindet ein Sprachmodell mit einer Suche in Ihren eigenen Dokumenten.
  • Die KI antwortet auf Basis der gefundenen Textstellen und kann sie als Quelle nennen.
  • Das Modell wird dafür nicht neu trainiert, Dokumente lassen sich jederzeit aktualisieren.
  • Die Qualität der Antworten hängt direkt von der Qualität und Aktualität der Quellen ab.
  • Zugriffsrechte müssen auch in der KI gelten.
Inhalt
  1. Das Problem: Die KI kennt Ihr Unternehmen nicht
  2. Die Lösung: Retrieval-Augmented Generation
  3. So funktioniert RAG in vier Schritten
  4. RAG oder Fine-Tuning?
  5. Typische Einsatzfelder
  6. Worauf es bei den Daten ankommt
  7. Sicherheit und Zugriffsrechte
  8. Grenzen von RAG

Das Problem: Die KI kennt Ihr Unternehmen nicht

Ein großes Sprachmodell hat aus öffentlich verfügbaren Texten gelernt. Ihr Qualitätshandbuch, die aktuelle Preisliste oder die Reisekostenrichtlinie kennt es nicht. Fragt man trotzdem danach, gibt es entweder keine brauchbare Antwort oder – schlimmer – eine plausibel klingende, aber erfundene. Wie solche Halluzinationen entstehen, erklärt der Beitrag KI-Halluzinationen vermeiden.

Die Lösung: Retrieval-Augmented Generation

Retrieval-Augmented Generation (RAG) bedeutet übersetzt etwa „durch Abruf erweiterte Erzeugung“. Das Verfahren wurde 2020 in einem Forschungsartikel beschrieben: Ein Sprachmodell wird mit einem durchsuchbaren Dokumentenbestand verbunden. Die Autoren nennen als Vorteile, dass sich Wissen so aktualisieren lässt und Antworten nachvollziehbarer werden – zwei Schwächen reiner Sprachmodelle.

So funktioniert RAG in vier Schritten

  1. Vorbereiten: Ihre Dokumente werden in kurze Abschnitte zerlegt. Für jeden Abschnitt wird eine Art inhaltlicher Fingerabdruck berechnet, ein sogenanntes Embedding.
  2. Suchen: Stellt jemand eine Frage, sucht das System die Abschnitte, deren Inhalt am besten zur Frage passt – auch wenn andere Wörter verwendet werden.
  3. Ergänzen: Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben.
  4. Antworten: Das Modell formuliert eine Antwort auf Basis dieser Abschnitte und kann angeben, aus welchem Dokument die Information stammt.

Das Modell selbst wird dabei nicht verändert. Kommt ein neues Dokument hinzu oder wird eines gelöscht, wirkt sich das sofort auf die Antworten aus.

RAG oder Fine-Tuning?

KriteriumRAGFine-Tuning
Was passiert?Modell erhält passende Textstellen zur FrageModell wird mit eigenen Daten nachtrainiert
Aktualisierungsofort, durch Austauschen von Dokumentenerneutes Training nötig
Quellenangabemöglichin der Regel nicht
Löschen von DatenDokument entfernenschwierig, Wissen steckt im Modell
Geeignet fürFakten, Regeln, ProduktwissenStil, Format, Spezialaufgaben

Für die meisten Wissensfragen in kleinen und mittleren Unternehmen ist RAG der einfachere und flexiblere Weg.

Typische Einsatzfelder

  • Interne Wissensfragen: „Wie rechne ich eine Dienstreise ab?“ – mit Verweis auf die Richtlinie
  • Produkt- und Serviceauskünfte: technische Daten, Garantiebedingungen, Ersatzteile
  • Vertriebsunterstützung: Argumente und Referenzen aus freigegebenen Unterlagen
  • Einarbeitung: neue Mitarbeitende finden Abläufe und Ansprechpersonen schneller
  • Dokumentenvergleich: Klauseln in Verträgen oder Ausschreibungen finden und gegenüberstellen

Weitere Beispiele finden Sie im Beitrag KI-Anwendungsfälle für KMU.

Worauf es bei den Daten ankommt

Die Antworten können nur so gut sein wie die Quellen. Bewährt haben sich diese Regeln:

  • Klein anfangen: lieber zehn verlässliche Dokumente als tausend ungeprüfte
  • Eine Wahrheit: veraltete Versionen entfernen, damit sich Quellen nicht widersprechen
  • Verantwortliche festlegen: Wer hält welche Dokumente aktuell?
  • Text statt Bild: gescannte Dokumente vorher per Texterkennung aufbereiten
  • Datum sichtbar machen: Stand-Angaben in Dokumenten helfen bei der Einordnung

Sicherheit und Zugriffsrechte

Mit RAG wird Wissen leichter zugänglich – das gilt auch für Informationen, die nicht jeder sehen soll. Achten Sie deshalb auf diese Punkte:

  • Rechte übernehmen: Die KI sollte nur Dokumente durchsuchen, auf die die fragende Person auch selbst Zugriff hat.
  • Sensible Daten trennen: Personalakten oder vertrauliche Verträge gehören nicht in einen allgemein zugänglichen Wissensbestand.
  • Manipulierte Inhalte bedenken: Dokumente können versteckte Anweisungen enthalten, die das Modell beeinflussen. Die OWASP-Liste der wichtigsten LLM-Risiken nennt Prompt-Injection sowie Schwachstellen bei Vektoren und Embeddings als eigene Risiken.
  • Datenschutz klären: Enthalten die Dokumente personenbezogene Daten, gelten die Regeln der DSGVO, siehe KI DSGVO-konform nutzen.

Grenzen von RAG

RAG ist kein Allheilmittel. Die Suche kann unpassende Abschnitte finden, wichtige Informationen können über mehrere Dokumente verteilt sein, und das Modell kann gefundene Inhalte falsch zusammenfassen. Ein Überblicksartikel der Forschung zu Halluzinationen widmet den Grenzen solcher Systeme ein eigenes Kapitel. Quellenangaben sind deshalb mehr als ein Komfortmerkmal: Sie ermöglichen die schnelle Prüfung, bevor eine Antwort weiterverwendet wird. Die Grundbegriffe rund um Embeddings und Vektoren finden Sie im KI-Glossar.

Häufige Fragen

Ist RAG dasselbe wie das Training eines eigenen Modells?

Nein. Beim Training oder Fine-Tuning werden die Parameter eines Modells verändert. Bei RAG bleibt das Modell unverändert, es bekommt nur bei jeder Anfrage die passenden Textstellen mitgeliefert. Dadurch lassen sich Inhalte jederzeit aktualisieren oder entfernen.

Welche Dokumente eignen sich für RAG?

Textbasierte, möglichst aktuelle und widerspruchsfreie Dokumente wie Handbücher, Richtlinien, Produktunterlagen, FAQ oder Vertragsvorlagen. Gescannte Dokumente ohne Texterkennung oder stark veraltete Bestände führen zu schlechteren Antworten.

Verhindert RAG Halluzinationen?

Es senkt das Risiko, weil die KI auf konkrete Quellen gestützt antwortet. Ausgeschlossen sind Fehler damit nicht: Die Suche kann unpassende Stellen finden, und das Modell kann Inhalte falsch wiedergeben. Quellenangaben machen die Prüfung leichter.

Sehen alle Mitarbeitenden alle Dokumente?

Das sollte nicht so sein. Ein gutes System berücksichtigt Zugriffsrechte, sodass die KI nur Dokumente durchsucht, die die fragende Person auch selbst öffnen darf.

Quellen

  1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) arXiv
  2. A Survey on Hallucination in Large Language Models (Huang et al., ACM TOIS) arXiv
  3. OWASP Top 10 for LLM Applications 2025 OWASP Foundation

Erstellt von der Lurus Redaktion nach unserem Quellenstandard. Redaktionsrichtlinie

Kostenlose Erstberatung

Ihr KI-Start, gemeinsam geplant.

Zeigen Sie uns Ihre Aufgaben. Wir besprechen Datenwege, Regeln und den passenden Einstieg für Ihr Team – ohne Feature-Tour.

Die Erstberatung ist kostenlos. Eine Telefonnummer ist nicht erforderlich.