KI-Halluzinationen: Beispiele, Ursachen und Gegenmittel

Im Mai 2023 reichte ein New Yorker Anwalt eine Rechtsschrift ein, die sechs Entscheide zitierte. Keiner davon existierte. ChatGPT hatte sie erzeugt, samt Aktenzeichen und Datum, und der Anwalt wurde disziplinarisch sanktioniert. Der Fall ist zum meistzitierten Warnbeispiel der juristischen KI-Nutzung geworden.

Halluzinationen sind kein Argument gegen KI. Sie sind ein Argument dafür, zu verstehen, wie unterschiedliche Systeme mit Quellen umgehen. Dieser Beitrag zeigt zuerst dokumentierte Beispiele, erklärt dann die Ursache und endet mit den Regeln, die das Risiko praktisch auf null senken.

Drei dokumentierte Beispiele

Erfundene Quellen bleiben abstrakt, bis man sieht, wie überzeugend sie aussehen. Die folgenden Fälle sind aktenkundig:

• New York, 2023: Sechs frei erfundene Entscheide in einer Rechtsschrift, jeweils mit plausiblem Aktenzeichen. Das Gericht verhängte eine Sanktion, nachdem die Gegenseite die Fundstellen nicht auffinden konnte.
• Mehrere US-Bundesstaaten, 2024 und 2025: Eine Reihe weiterer Verfahren mit demselben Muster. Die erfundenen Zitate fielen jeweils erst auf, als jemand sie nachschlug.
• Der Alltagsfall ohne Schlagzeile: Ein Modell fasst einen echten Entscheid zusammen und dreht dabei das Ergebnis um. Das Zitat stimmt, die Aussage nicht. Diese Variante ist die gefährlichere, weil die Prüfung der Fundstelle sie nicht aufdeckt.

Was sind KI-Halluzinationen?

Als Halluzination bezeichnet man bei grossen Sprachmodellen die Erzeugung von Inhalten, die überzeugend klingen, aber sachlich falsch sind. Bei allgemeiner Nutzung ist das ein falsches Datum oder ein falsch zugeschriebenes Zitat. In der Rechtsrecherche sind es Entscheide, die es nicht gibt, Leitsätze, die den tatsächlichen Entscheid verdrehen, oder Normen, die längst geändert oder aufgehoben wurden.

Wichtig ist die Abgrenzung zum Irrtum: Ein Mensch, der sich irrt, hat eine falsche Erinnerung. Ein Sprachmodell hat gar keine Erinnerung an ein bestimmtes Dokument. Es erzeugt Text, der zum Muster passt. Ein Aktenzeichen sieht aus wie ein Aktenzeichen, weil das Format gelernt wurde, nicht weil der Entscheid existiert.

Warum treten KI-Halluzinationen auf?

Die Ursache ist strukturell und nicht durch ein Update zu beheben. Sprachmodelle werden darauf trainiert, flüssigen, zusammenhängenden Text zu erzeugen, der zum Kontext der Anfrage passt. Sie werden nicht darauf trainiert, sachlich richtig zu sein, wie es eine Datenbankabfrage ist.

Fragen Sie nach einem Entscheid zu einem bestimmten Rechtspunkt, so erzeugt ein Modell ohne Anbindung an eine Quelle eine Fundstelle im erwarteten Format, unabhängig davon, ob der zugrunde liegende Entscheid existiert. Es gibt im Modell keinen Mechanismus, der zwischen erinnert und erfunden unterscheidet.

Zwei Faktoren verschärfen das: Je spezifischer die Frage, desto dünner die Trainingsdaten, und desto eher füllt das Modell die Lücke. Und je selbstbewusster der Ton der Antwort, desto seltener wird sie überprüft. Sicherheit im Ausdruck ist kein Hinweis auf Richtigkeit.

Der Unterschied: Abruf statt reiner Erzeugung

Das Gegenmittel auf Systemebene heisst retrieval-augmented generation. Dabei ruft das System zuerst einschlägige Dokumente aus einer geprüften Quelle ab und formuliert die Antwort erst dann, gestützt auf die abgerufenen Dokumente.

Der Unterschied ist in der Praxis erheblich. Eine rein erzeugte Antwort auf die Frage nach Schweizer Rechtsprechung zur Geschäftsherrenhaftung stammt aus den Modellgewichten und kann veraltet, verwechselt oder frei erfunden sein. Eine abrufgestützte Antwort durchsucht zuerst einen geprüften Bestand von Entscheiden und fasst dann zusammen, was sie tatsächlich gefunden hat.

• Abrufgestützte Systeme zeigen zu jeder Aussage das Quelldokument
• Fundstellen entsprechen realen, auffindbaren Dokumenten
• Rein erzeugte Antworten gehören ohne unabhängige Prüfung in keine Eingabe an ein Gericht
• Der Qualitätsunterschied wächst mit der Spezifität der Frage

KI-Halluzinationen vermeiden: sechs Regeln

Auf der Ebene der eigenen Arbeitsweise lässt sich das Risiko mit wenigen festen Regeln praktisch ausschalten:

• Prüfen Sie jede Fundstelle in der amtlichen Quelle, bevor sie die Kanzlei verlässt. Ausnahmslos.
• Prüfen Sie nicht nur, ob der Entscheid existiert, sondern auch, ob er das aussagt, was das Modell behauptet.
• Verlangen Sie Systeme, die zu jeder Aussage einen Link auf das Quelldokument liefern.
• Formulieren Sie Fragen zu vorhandenen Dokumenten statt zu allgemeinem Wissen. Ein Modell, das Ihr Dossier gelesen hat, hat weniger Anlass zu erfinden.
• Behandeln Sie den Zeitpunkt des Trainingsabschlusses als harte Grenze. Für aktuelle Rechtslagen ist ein Modell ohne Anbindung an eine gepflegte Datenbank ungeeignet.
• Halten Sie fest, wer welche Ausgabe geprüft hat. Die Verantwortung bleibt bei der Person, nicht beim Werkzeug.

Was das für die Praxis bedeutet

Die Frage ist nicht, ob KI in der Rechtsrecherche taugt, sondern welche Art von KI für welche Aufgabe. Für das Umformulieren eines Absatzes ist ein allgemeines Modell brauchbar. Für die Suche nach einschlägiger Rechtsprechung ist es das nicht, und keine Anweisung im Prompt ändert daran etwas.

Die Standesregeln verlangen ohnehin, dass eine qualifizierte Person die Arbeit verantwortet. Ein System, das seine Quellen offenlegt, macht diese Prüfung zu einer Sache von Minuten. Ein System, das es nicht tut, verlagert sie auf die Person, die am wenigsten Zeit hat, und genau dort entstehen die Fälle, die es in die Schlagzeilen schaffen.