KI-Halluzinationen: warum KI erfindet, wie man sie begrenzt

Eine KI-Halluzination ist eine Antwort, die das Sprachmodell erfunden hat, aber selbstsicher als Tatsache präsentiert. Eine Quelle, die es nicht gibt, eine falsche Zahl, ein erfundener Paragraf. Ganz beseitigt sie nichts, im Unternehmen begrenzen Sie sie aber stark: Die KI antwortet aus Ihren Quellen, Code prüft die Ausgabe und bei wichtigen Schritten entscheidet ein Mensch.

Was ist eine KI-Halluzination?

Eine Halluzination ist kein Fehler im klassischen Sinn. Das Modell stürzt nicht ab und zeigt keine Meldung. Es antwortet flüssig, grammatisch korrekt und selbstsicher. Es stimmt nur nicht.

Typische Beispiele im Unternehmen:

• Eine erfundene Quelle. Ein Verweis auf einen Artikel, ein Gesetz oder eine Studie, die es nicht gibt.
• Eine falsche Zahl. Ein Betrag, Datum oder eine Firmennummer, die nicht im Dokument steht, aber in den Satz „passt“.
• Eine erfundene Eigenschaft. Die KI verspricht einem Kunden eine Produktfunktion oder Bedingung, die Sie nicht haben.
• Hinzugedichteter Inhalt. Eine Vertragszusammenfassung mit einem Punkt, der nicht im Vertrag steht.

Am tückischsten ist, dass eine erfundene Antwort genauso sicher klingt wie eine richtige. Am Ton erkennen Sie sie nicht. Eine kurze Definition finden Sie im Glossar.

Warum halluziniert KI?

Ein Sprachmodell sucht nicht die Wahrheit. Es sucht die wahrscheinlichste Fortsetzung des Textes. Fehlen ihm Daten, füllt es die Lücke mit etwas, das glaubwürdig klingt. Forscher von OpenAI haben das 2025 so beschrieben:

Ein Teil des Problems liegt laut ihnen darin, wie Modelle bewertet werden: Eine Antwort zahlt sich mehr aus als „weiß ich nicht“. Für ein Unternehmen folgen daraus drei praktische Dinge. Das Modell halluziniert am meisten dort, wo es Ihre Daten nicht hat. Es halluziniert bei genauen Details wie Zahlen, Namen und Daten. Und es halluziniert mehr, wenn Sie es zwingen, immer zu antworten.

Wo ist eine Halluzination billig und wo teuer?

Eine Frage entscheidet: Geht die Ausgabe der KI ohne Prüfung weiter? Daran sehen Sie, wie viele Prüfungen Sie brauchen.

Je weiter unten in der Tabelle, desto mehr Prüfungen und desto weniger Selbstständigkeit bekommt die KI. Bei den letzten beiden Zeilen darf die Ausgabe nicht ohne Prüfung durch Code oder einen Menschen weitergehen.

Wie begrenzt man Halluzinationen im Unternehmen?

Den einen Trick gibt es nicht. Es wirkt eine Kombination von Schichten, bei der jede abfängt, was die vorherige durchgelassen hat:

Wie RAG funktioniert, erklärt das Glossar unter RAG. Für Ausgaben, die sich nicht per Regel prüfen lassen, kann ein zweites Modell als Prüfer dienen. Wie wir das beim Code machen, steht im Artikel LLM as a Judge: der KI-Reviewer.

Beispiel: Rechnungen in unserer eigenen Buchhaltung

In unserer eigenen Buchhaltung liest KI Rechnungen aus E-Mails und trägt sie ins Buchhaltungssystem ein. Das Modell zieht die Felder heraus: Lieferant, Firmennummer, Betrag, Mehrwertsteuer und Fälligkeit. Den Lieferanten ordnen wir nicht nach dem Namen zu, den die KI gelesen hat, sondern über die Firmennummer, die eindeutig ist.

Den Rest prüft ein Mensch. Wie man zwischen OCR und einem System mit Prüfungen wählt, steht im Artikel Rechnungsdaten auslesen: OCR oder System?

Ist Ihre KI-Lösung gegen Halluzinationen geschützt?

Haken Sie an, was Sie schon haben:

Wann KI für die Arbeit nicht passt

• Ein Fehler kostet viel und die Ausgabe lässt sich nicht prüfen. Etwa die Auslegung eines Gesetzes ohne einen Menschen, der sie prüft.
• Die Antwort muss immer gleich sein. Eine Berechnung, die eine feste Regel kann, soll kein Modell machen.
• Sie haben keine Quellen. Hat die Firma keine aufgeschriebene Preisliste, Bedingungen oder Abläufe, denkt sich die KI sie aus.

Solche Arbeit überlassen wir lieber fester Software und setzen KI nur dort ein, wo freier Text gelesen werden muss.

Wollen Sie KI, die nichts in Ihrem Namen erfindet?

Schreiben Sie uns, welche Arbeit die KI übernehmen soll und wo ein Fehler teuer wäre. Wir melden uns innerhalb von zwei Arbeitstagen mit ein paar Fragen zu Ihrer Arbeit. Danach bekommen Sie eine Liste: was fertig wird und wie Sie es prüfen.

Wie wir KI-Agenten mit Prüfungen bauen, steht auf der Seite KI-Agent für Unternehmen nach Maß. Wenn Sie lieber zuerst sprechen möchten, buchen Sie ein 15-minütiges Erstgespräch.

Häufige Fragen

Was ist eine KI-Halluzination einfach erklärt?

Eine Antwort, die die KI erfunden hat, aber selbstsicher als Tatsache präsentiert. Eine Quelle, die es nicht gibt, eine falsche Zahl, ein erfundener Paragraf oder eine Produktfunktion, die Sie nicht haben.

Warum halluziniert KI?

Ein Sprachmodell sucht nicht die Wahrheit, sondern die wahrscheinlichste Fortsetzung des Textes. Fehlen ihm Daten, füllt es die Lücke mit etwas, das glaubwürdig klingt. Dazu belohnt das Training oft eine Antwort mehr als das Eingeständnis, etwas nicht zu wissen.

Lassen sich KI-Halluzinationen ganz beseitigen?

Nein. Neuere Modelle halluzinieren weniger, aber niemand kann null garantieren. Im Unternehmen lassen sie sich stark begrenzen: Die KI antwortet aus Ihren Quellen, Code prüft die Ausgabe und bei wichtigen Schritten entscheidet ein Mensch.

Hilft RAG gegen Halluzinationen?

Ja, weil die KI aus Ihren Dokumenten antwortet, nicht aus dem Gedächtnis. Ganz beseitigt RAG Halluzinationen aber nicht: Das Modell kann die Quelle falsch lesen oder ergänzen, was nicht darin steht. Deshalb lohnt sich auch eine Prüfung, ob die Antwort wirklich in der Quelle steht.

Wo ist eine KI-Halluzination im Unternehmen am gefährlichsten?

Überall, wo die Ausgabe ohne Prüfung weitergeht: Zahlen in Rechnungen und Angeboten, Antworten an Kunden, Verträge, Steuer- und Rechtsfragen. Bei Entwürfen und Ideen, die ein Mensch ohnehin liest, ist eine Halluzination billig.