KI erfindet Fakten: Halluzinationen erkennen und eindämmen

Dieses Papier behandelt eine im Mittelstand verbreitete Agenten-Art: RAG-gestützte Auskunfts- und Dialog-Agenten, die Fragen aus einem eigenen Wissensspeicher beantworten – im Kundenservice, im Vertrieb, im internen Wissensmanagement. Agenten, die zusätzlich selbstständig Werkzeuge bedienen und über mehrere Schritte planen, bringen weitere Fehlerquellen mit – etwa Fehlerkaskaden, bei denen ein früher Irrtum die folgenden Schritte kippt. Diese behandeln gesonderte Papiere dieser Reihe; hier geht es um das Fundament, das für jeden dieser Agenten gilt: Stammt jede Tatsachenbehauptung wirklich aus einem Beleg?

Ihre KI rät – sie weiß nicht

Der gefährlichste Denkfehler im Umgang mit KI-Agenten ist die Annahme, ein Sprachmodell habe eine Datenbank der Wahrheit im Kopf, die es abfragt. Das hat es nicht. Ein großes Sprachmodell (LLM) ist darauf trainiert, aus Milliarden Textbeispielen das statistisch wahrscheinlichste nächste Wort vorherzusagen. Sein Ziel ist sprachliche Plausibilität, nicht Faktentreue.

Forscher von OpenAI haben 2025 beschrieben, warum daraus zwangsläufig Halluzinationen entstehen: Lassen sich korrekte und falsche Aussagen aus den Trainingsdaten statistisch nicht sauber trennen, sind Fehler „nicht mysteriös“, sondern das erwartbare Ergebnis statistischer Kräfte.^[1] Erschwerend sagt der überzeugende Tonfall einer Antwort nichts über ihren Wahrheitsgehalt aus: Der GPT-4-Bericht zeigt, dass der Feinschliff, der ein Modell hilfsbereit macht, seine „Kalibrierung“ beschädigt.^[2] Und die Grenze ist grundsätzlich: Als universeller Problemlöser eingesetzt, ist Halluzination nicht vollständig vermeidbar.^[3]

Das ist kein Grund zur Panik, sondern eine Konstruktionsvorgabe. Auch das deutsche BSI führt „Halluzinieren“ als eigene Risikokategorie und warnt, dass erfundene Ausgaben „zumeist glaubhaft erscheinen“ – besonders, wenn sie sich auf Referenzen berufen, die selbst frei erfunden sein können.^[31]

Warum RAG das Problem verschiebt – und nicht löst

Die sinnvollste Antwort auf Halluzinationen heißt Retrieval-Augmented Generation (RAG): Statt das Modell allein aus dem Gedächtnis antworten zu lassen, stellt man ihm bei jeder Anfrage passende Dokumente aus einem eigenen Wissensspeicher zur Seite – Datenblätter, Verträge, Handbücher. So soll die Antwort auf belegten Fakten fußen.^[6]

Dazu werden Dokumente vorab in kleine Abschnitte zerlegt (Chunking) und je Abschnitt in einen Zahlenvektor übersetzt (Embedding) – eine Koordinate im Bedeutungsraum. Zur Laufzeit wird die Frage in denselben Raum übersetzt und die ähnlichsten Abschnitte werden herangeholt.^[4] Das ist ein bewährter, in den meisten Fällen richtiger Ansatz. Nur verlagert er das Risiko: Jetzt hängt alles daran, ob die Suche den richtigen Abschnitt findet – und ob das Modell ihn danach auch benutzt.

An diesen zwei Fugen entstehen die Probleme. Ein vielzitierter Erfahrungsbericht aus drei RAG-Projekten katalogisiert sieben typische Fehlerpunkte – von „die Antwort steht in keinem Dokument“ bis „der richtige Treffer landet unter der Trefferschwelle“. Schon die Abschnittsgröße ist ein Balanceakt: zu klein, und Fragen bleiben unbeantwortbar; zu lang, und die Antwort mischt Rauschen bei.^[7]

Kein Treffer – und trotzdem eine Antwort

Man würde erwarten, dass ein RAG-System, das nichts Passendes findet, ehrlich sagt: „Dazu liegt mir keine Information vor.“ Genau das tut es meistens nicht. In einem etablierten Benchmark lag die höchste beobachtete Ablehnungsquote über sechs Modelle bei nur 45 % – in der Mehrheit der Fälle wird trotz fehlender Grundlage einfach geantwortet.^[8]

Wie robust ein System gegen Störungen ist, lässt sich zeigen: Liegt der Anteil irrelevanter „Rausch“-Dokumente unter den Treffern bei 80 %, fällt die Genauigkeit von ChatGPT gegenüber rauschfreiem Kontext von 96 % auf 76 %.^[8] Die Suche ist damit keine Nebensache der KI-Qualität, sondern ihr Fundament.

Quellentreue ist nicht Wahrheit

Selbst wenn die Suche den richtigen Abschnitt liefert, ist die Antwort nicht sicher. Fachleute trennen zwei Fehler: den Retrieval-Fehler (der passende Beleg wurde gar nicht erst gefunden) und den Faithfulness-Fehler (der Beleg liegt im Kontext, aber die Antwort weicht von ihm ab).^[4][5] Faithfulness – Quellentreue – misst, wie treu die Antwort beim gelieferten Kontext bleibt. Der Haken: Ein Modell kann den Kontext auf zwei gegensätzliche Weisen verfehlen – und selbst perfekte Quellentreue garantiert keine richtige Antwort.

Das Grundproblem: Das Modell wägt zwischen geliefertem Kontext und antrainiertem Wissen nicht zuverlässig ab – und kann in beide Richtungen irren. Mal klebt es am Trainingswissen und nutzt einen korrekt gefundenen Beleg zu wenig; dieser Hang zum memorierten Wissen ist seit 2021 belegt.^[10] Mal kippt es ins Gegenteil: In einer Untersuchung mit über 1.200 Fragen übernahmen sechs marktführende Modelle – darunter GPT-4o – einen falschen Wert aus dem Kontext und gaben dafür ihr eigenes korrektes Wissen auf – bei plausibel klingenden Fehlern in über 60 % der Fälle (über alle Fehlergrade gemittelt 16–31 %; je unplausibler der Fehler und je sicherer das Modell, desto seltener).^[9] Dieser zweite Fall ist der aufschlussreichere: Er zeigt, dass eine quellentreue Antwort trotzdem falsch sein kann, wenn es die Quelle ist. Hinzu kommen Positionseffekte („Lost in the Middle“: Information in der Mitte langer Kontexte wird schlechter genutzt)^[11] und Mengeneffekte: Hoch bewertete, aber unpassende Treffer schaden stärker als zufällige Dokumente.^[12] Wer „mehr Dokumente“ hinzufügt, kann das System verschlechtern.

Die Konsequenz: Vier Dinge sind getrennt zu prüfen – ob die Suche den richtigen Beleg findet (Retrieval), ob die Quelle selbst stimmt und aktuell ist (Quellenqualität), ob die Antwort tatsächlich aus ihr stammt (Quellentreue) und ob sie am Ende sachlich richtig ist. Keine dieser Prüfungen ersetzt eine andere.

Wie oft passiert das? Messen statt hoffen

Die ehrliche Antwort auf „Wie oft halluziniert unser System?“ lautet: Das weiß niemand, der es nicht misst. Verlässliche Zahlen gibt es nur aus kontrollierten Benchmarks – und die zeichnen ein klares Bild.

„Halluzinationsfrei“ ist ein Verkaufsversprechen, keine messbare Eigenschaft. Seriös ist nur die eigene, laufend gemessene Rate. Dafür gibt es ein handhabbares Maß: die Faithfulness-Metrik zerlegt eine Antwort in ihre Einzelaussagen und misst, welcher Anteil durch den Kontext gedeckt ist – ein Wert zwischen 0 und 1, der sich automatisieren und als Qualitätsschranke vor jede Auslieferung setzen lässt.^[17] Dieser Wert misst allerdings Quellentreue, nicht Wahrheit; er gehört deshalb mit einer Stichprobe auf sachliche Richtigkeit und einer Prüfung der Quellenaktualität kombiniert.

Der Vertriebs-Agent, der zu viel versprach

Illustratives Modellbeispiel – kein realer Einzelfall, aber in jeder Größenordnung realistisch.

Ausgangslage. Ein mittelständischer Hersteller von Verpackungsmaschinen stellt einen KI-Agenten auf seine Website, der Anfragen zu Spezifikationen und Lieferkonditionen beantwortet – sauber gebaut, mit RAG über Datenblätter, Handbücher und Preisliste. In den Tests (formuliert vom eigenen Team) antwortet er präzise und mit Quellenverweis. Er geht live.

Der stille Bruch. Sechs Wochen später fragt ein Einkäufer nicht nach einem Datenblattwert, sondern: „Schafft Ihre Anlage auch den Dauerbetrieb mit den kompostierbaren Folien, die wir ab nächstem Jahr verwenden?“ Diese Formulierung kommt in den Dokumenten so nicht vor. Die Suche findet keinen passenden Abschnitt. Statt „Das kann ich nicht sicher sagen“ füllt der Agent die Lücke aus dem Trainingswissen: Ja, die Anlage sei „für biologisch abbaubare Materialien im Dauerbetrieb ausgelegt“ – inklusive einer plausibel klingenden, aber frei erfundenen Durchsatzangabe.

Variante B – der Fall, den niemand kommen sieht. Derselbe Agent, andere Frage: „Was kostet die Ausführung mit Doppelkopf?“ Diesmal findet die Suche etwas – die Preisliste. Der Agent zitiert sie korrekt, nennt Betrag und Fundstelle, ist also perfekt quellentreu. Nur liegt neben der aktuellen Liste noch die vorjährige im Index, und der Treffer stammt aus der alten. Die Auskunft ist belegt, nachvollziehbar, prüfbar – und falsch. Kein Grounding-Check der Welt fängt das ab, denn die Aussage ist ja durch den Beleg gedeckt. Das ist Prüfung 2, und in gewachsenen Wissensspeichern ist sie der wahrscheinlichste Fehler überhaupt.

Zusammen decken beide Varianten die Kernmuster dieses Papers ab: eine ungewöhnlich formulierte Frage, ein ausbleibender Suchtreffer, ein stiller Rückfall auf Trainingswissen, eine selbstbewusste Formulierung – und, in Variante B, eine tadellos belegte Antwort aus einer veralteten Quelle. Beide werden viel zu spät entdeckt. Genau hier setzt das Sicherheitsnetz an.

Das Grounding-Sicherheitsnetz: sieben Bausteine

Halluzinationen lassen sich nicht auf null bringen, aber verlässlich eindämmen – nicht durch ein einzelnes Werkzeug, sondern durch mehrere ineinandergreifende Kontrollen. Es geht im Folgenden um Wirkprinzipien, nicht um Produkte.

1 · Bessere Suche – damit der Rückfall gar nicht erst auftritt

Die Suchqualität ist ein zentraler erster Hebel. Re-Ranking (ein zweites Modell sortiert Treffer nach echter Passung nach) erzielte schon in der Gründungsarbeit von 2019 auf MS MARCO eine relative Verbesserung von 27 % bei MRR@10 gegenüber dem damaligen Stand der Technik – die Zahl belegt das Wirkprinzip, nicht den heute erreichbaren Zugewinn;^[18] Query-Rewriting formuliert die Frage vor der Suche in eine bessere Suchanfrage um.^[19]

Für die häufigsten Auskunftsfälle im Mittelstand – Preis, Lieferzeit, technischer Kennwert – ist der wirksamste Hebel allerdings oft gar kein weiteres Modell, sondern die Bindung der Antwort an ein Feld aus einer strukturierten Quelle: ERP, Preisdatenbank, Artikelstamm. Was aus einer Datenbank kommt, kann nicht erfunden werden. Freitext-RAG ist die richtige Antwort auf unstrukturierte Dokumente, nicht auf Zahlen, die anderswo sauber gepflegt sind.

2 · Zitierpflicht – jede Aussage bekommt eine Quelle

Der Agent liefert den Abschnitt mit, auf den er sich stützt. Ein zu wörtlichen Belegen trainiertes Modell lieferte je nach Datensatz in 67 % beziehungsweise 80 % der Fälle hochwertig belegte Antworten.^[20] Eine Antwort mit sichtbarer Quelle ist maschinell und menschlich prüfbar.

3 · Grounding-Check – stammt die Aussage wirklich aus dem Beleg?

Zitat allein genügt nicht: In einem Benchmark lieferten selbst die besten Modelle in der Hälfte der Fälle keinen vollständigen Beleg für ihre eigenen Zitate.^[21] Ein automatischer Attributionsabgleich prüft jede Tatsachenbehauptung gegen die Quelle – bevor die Antwort rausgeht.

4 · Die „Ich weiß es nicht“-Regel – Abstinenz statt Raten

Ein System, das bei fehlender Grundlage ehrlich abbricht, ist wertvoller als eines, das rät. Modelle lassen sich gezielt zum Verweigern außerhalb ihres Wissens trainieren.^[22] Unterschreitet die Suche eine Relevanzschwelle, antwortet der Agent nicht – er eskaliert. Ein zweites, von der Suche unabhängiges Kriterium liefert die semantische Entropie: Das System erzeugt mehrere Antworten, gruppiert sie nach Bedeutung und misst, wie weit sie inhaltlich auseinanderlaufen. In der zugehörigen Untersuchung erkannte dieses Maß erfundene Antworten deutlich besser als die verglichenen Verfahren (AUROC 0,79 über 30 Aufgaben-Modell-Kombinationen).^[33] Auch das ist keine Gewissheit, aber ein Signal, das greift, wenn die Suche formal einen Treffer meldet.

5 · Selbstverifikation – die zweite Meinung

Beim Verfahren Chain-of-Verification entwirft das Modell eine Antwort, stellt sich Kontrollfragen und korrigiert sich – die Zahl falscher Entitäten je Antwort sank in der berichteten Wikidata-Listenaufgabe von 2,95 auf 0,68.^[23] Diese Aufgabe arbeitete ohne Retrieval; dass sich der Effekt eins zu eins auf RAG-Erdung überträgt, ist damit noch nicht gezeigt. Wirksamer und besser belegt ist deshalb das verwandte Muster: ein separates Prüfmodell statt derselben Instanz.

6 · Laufende Faithfulness-Tests + menschliche Stichprobe

Ein automatischer Faithfulness-Wert auf festem Testset – nach jedem Modell-, Prompt- oder Datenwechsel neu berechnet – wirkt wie ein Regressionstest. Wichtig dabei: Der Wechsel muss nicht von Ihnen ausgehen. Modellanbieter tauschen Versionen hinter derselben Produktbezeichnung aus; die stillste Regression im Betrieb ist die, die niemand ausgelöst hat. Ein fester, terminierter Nachlauf des Testsets fängt sie ab.

Wie verlässlich ein maschineller Prüfer ist, muss man allerdings selbst feststellen. Modellbasierte Bewertung erreicht in allgemeinen Qualitätsurteilen hohe Übereinstimmung mit Menschen – GPT-4 in einem berichteten Auswertungssetting rund 85 % gegenüber menschlichen Präferenzen;^[24] das ist jedoch ein Urteil über Antwortqualität, nicht über Quellendeckung. Für die eigene Domäne gilt deshalb: Die menschliche Stichprobe prüft nicht nur die Antworten, sondern auch den Prüfer. In den von Bowman et al. untersuchten Aufgaben übertrafen Menschen mit Modellassistenz sowohl das Modell allein als auch ihre eigene Leistung ohne Assistenz^[25] – genau diese Arbeitsteilung ist gemeint: Die Maschine sortiert vor, der Mensch entscheidet und kalibriert.

7 · Quellenpflege – der Wissensspeicher ist ein Produkt, kein Ablageort

Die sechs vorigen Bausteine setzen alle voraus, dass die gefundene Quelle stimmt. Prüfung 2 aus Abbildung 6 hat aber keinen technischen Fänger: Eine tadellos belegte Antwort aus der vorjährigen Preisliste besteht jeden Grounding-Check. In gewachsenen Beständen – drei Versionen derselben Preisliste, ein Datenblatt zur abgekündigten Baureihe, ein Handbuchstand von vorgestern – ist das die wahrscheinlichste Fehlerursache überhaupt, und sie ist die einzige, die sich nicht mit Technik lösen lässt, sondern nur mit Zuständigkeit. Vier Festlegungen genügen: ein benannter Eigentümer je Dokumentklasse, ein Gültigkeits- oder Ablaufdatum an jedem indexierten Dokument, Versionshoheit (welche Fassung gilt, wenn zwei sich widersprechen) und ein Ausschlussverfahren, das abgekündigte Bestände aus dem Index entfernt statt sie nur zu archivieren. Das ist Organisation, keine Technik – und der billigste Baustein im ganzen Netz.

Vom Prinzip zur Steuerung: die Kennzahlen-Matrix

Damit aus den sieben Bausteinen ein steuerbarer Betrieb wird, braucht jede Fehlerart eine Kennzahl, eine Schwelle, eine definierte Reaktion und einen Verantwortlichen. Die Schwellen unten sind Beispielwerte – sie werden je nach Kritikalität festgelegt, nicht übernommen. Beachten Sie die Zeilen 2 und 3: Sie messen den Preis der Vorsicht und gehören zwingend neben die Abstinenz-Regel, sonst optimiert man das System in die Unbrauchbarkeit.

Was das kostet – und wer es macht

Diese Bausteine sind nicht gleich teuer, und das ist die eigentliche Entscheidungsgrundlage. Drei Größenordnungen sollten Sie kennen, bevor Sie anfangen.

Laufende Rechenkosten. Zitierpflicht, Abstinenz-Regel und Quellenpflege kosten im Betrieb praktisch nichts extra. Der Grounding-Check dagegen ist ein zusätzlicher Modellaufruf je ausgelieferter Antwort – in der Größenordnung einer Verdopplung der Inferenzkosten, plus spürbarer Wartezeit für den Nutzer. Selbstverifikation kommt noch einmal obendrauf. Bei einem Kundenservice-Agenten mit hohem Anfragevolumen ist das der dominierende Posten – und der Grund, warum man den Grounding-Check sinnvollerweise nur auf kritische Antworttypen legt (Preise, Zusagen, Fristen, Sicherheitsangaben) statt auf jede Small-Talk-Antwort. Die laufende Faithfulness-Messung läuft dagegen auf einem festen Testset und nicht im Kundenverkehr; sie kostet je Durchlauf wenig, aber regelmäßig.

Wer das macht. Die Matrix nennt „KI-Team“, „Fachbereich“ und „Compliance/Recht“. Der typische Mittelständler hat keines davon als eigene Stelle – und braucht es auch nicht. Realistisch ist: Die Quellenpflege gehört zwingend nach innen, in den Fachbereich, der die Dokumente ohnehin verantwortet; das ist ein Nebenamt, keine Planstelle. Die technische Einrichtung (Suche, Schwellen, Grounding-Check) lässt sich einkaufen. Die menschliche Stichprobe braucht jemanden mit Fachurteil aus dem eigenen Haus – ein Externer kann nicht beurteilen, ob eine Aussage über Ihre Maschine stimmt. Die Rollenverteilung ist wichtiger als die Stellenbezeichnung: Wenn niemand namentlich für den Wissensspeicher zuständig ist, ist es niemand.

Womit man anfängt. In dieser Reihenfolge: Quellenpflege und Abstinenz-Regel zuerst – die kosten am wenigsten und verhindern die beiden häufigsten Fehler. Dann Zitierpflicht, weil sie alles Weitere überhaupt erst prüfbar macht. Dann ein festes Testset mit echten Kundenfragen und eine erste gemessene Rate, damit Sie wissen, wo Sie stehen. Grounding-Check und Selbstverifikation erst danach, und zuerst nur für die kritischen Antworttypen. Wer umgekehrt anfängt, baut die teuerste Kontrolle über einen ungepflegten Wissensspeicher.

Erdung ist nicht nur guter Stil, sondern Pflicht

Eine Halluzination ist nicht bloß ein Qualitätsmangel – sie kann ein Rechtsrisiko sein.

Die sieben Bausteine aus dem Abschnitt „Lösung“ erfüllen diese Pflichten nicht im Alleingang: Sie decken vor allem einen Teil von Art. 15 (Genauigkeit, Robustheit) ab und liefern Belege, auf die ein Risikomanagement (Art. 9) und die technische Dokumentation (Art. 11) aufsetzen. Data Governance, Konformitätsbewertung, Registrierung und laufende Marktbeobachtung kommen hinzu. Wer die Bausteine heute einführt, hat also den technischen Kern vorbereitet – nicht die vollständige Compliance, aber ihr Fundament. Die regulatorische Botschaft deckt sich mit der betrieblichen: Erdung, Nachvollziehbarkeit und menschliche Aufsicht sind die Grundausstattung eines produktiven KI-Agenten.

Nicht Vertrauen, sondern Disziplin

Halluzination ist kein Zeichen schlechter KI, sondern eine bauartbedingte Eigenschaft jedes Sprachmodells: Es rät das wahrscheinlichste nächste Wort, es weiß nicht. RAG ist der richtige Grundansatz, verschiebt das Risiko aber nur – an die Suche, die den Beleg finden muss, und an das Modell, das ihn benutzen muss. Beherrschbar wird das durch dieselbe Test- und Kontrollkultur, die die Softwareentwicklung längst kennt: bessere Suche, Zitierpflicht, Grounding-Check, eine klare „Ich weiß es nicht“-Regel, Selbstverifikation, ein gepflegter Wissensspeicher und eine laufend gemessene Faithfulness-Rate mit menschlicher Stichprobe.

Zwei Dinge sollten Sie dabei nicht vergessen, weil sie in Anbieterpräsentationen selten vorkommen. Erstens: Der billigste und wirksamste Baustein ist kein Werkzeug, sondern eine Zuständigkeit – jemand muss namentlich dafür geradestehen, dass die Dokumente im Wissensspeicher aktuell sind. Zweitens: Vorsicht hat einen Preis. Ein Agent, der aus Sicherheit zu oft schweigt, kostet Sie den Nutzen, für den Sie ihn gebaut haben. Beide Richtungen gehören gemessen, nicht nur eine.

Kennen Sie die Halluzinationsrate Ihrer KI?

Sie setzen bereits einen KI-Agenten ein oder planen ihn? Unser kompaktes Assessment liefert vier konkrete Ergebnisse: (1) die auf Ihrem eigenen Testset gemessene Faithfulness- und Halluzinationsrate – zusammen mit der Abstinenzquote, damit Sie beide Richtungen sehen, (2) eine definierte „Kein Treffer“-Abstinenz- und Eskalationsregel samt Kapazitätsabschätzung, (3) einen Kurz-Check, welche EU-AI-Act-Pflichten für Ihren Anwendungsfall gelten (Transparenz nach Art. 50 Abs. 1 bei direkter KI-Interaktion ab dem 2. August 2026; Hochrisiko-Pflichten nach der Änderungsverordnung (EU) 2026/1744 erst ab dem 2. Dezember 2027 bzw. 2. August 2028, sofern Ihr System überhaupt darunter fällt) – und (4) die Kennzahlen-Matrix aus diesem Papier, auf Ihr System angewendet, mit priorisierter Maßnahmenliste.

→ Erstgespräch sichern

Quellen

Hinweis zu den Quellen: Dieses Whitepaper stützt sich auf öffentlich zugängliche Quellen – überwiegend begutachtete Fachpublikationen (u. a. Nature, NeurIPS, ACL, EMNLP, TACL) und wissenschaftliche Preprints (arXiv), ergänzt um amtliche Rechtstexte und Gerichtsentscheidungen, offizielle Behörden- und Anbieterdokumentation sowie – klar als solche gekennzeichnet – ein kommerzielles Benchmark-Leaderboard [15] und eine zivilgesellschaftliche Pressemitteilung [30]. Die genannten Halluzinationsraten stammen aus unterschiedlichen Benchmarks mit je eigener Definition und Bezugsgröße und sind nicht direkt vergleichbar; sie belegen die Spannweite und die Notwendigkeit eigener Messung, keinen Direktvergleich (siehe Abbildung 7). Zwei Einschränkungen in eigener Sache: Alle hier zitierten Wirksamkeitszahlen für Gegenmaßnahmen stammen aus Arbeiten, die eine Verbesserung zeigen wollten – Fälle, in denen ein Verfahren nicht wirkt, werden seltener veröffentlicht; und keine dieser Zahlen wurde in einer mittelständischen Produktivumgebung erhoben. Sie begründen die Auswahl der Wirkprinzipien, nicht eine erwartbare Wirkung in Ihrem System – genau deshalb steht am Ende die eigene Messung. Kursierende, nicht auf eine Primärquelle zurückführbare „Branchenzahlen“ wurden bewusst nicht übernommen. Rechtsstand: 27. Juli 2026.