Im ersten Quartal 2026 verloren vier europäische Family Offices insgesamt 127 Millionen Euro, weil sie Empfehlungen von LLM-Modellen folgten, die makellos klangen und völlig falsch waren. Das ist kein Bug – es ist ein strukturelles Merkmal der Funktionsweise von Sprachmodellen. Dies zu verstehen und technisch zu mindern, ist die nächste Herausforderung für das Vertrauen in Algorithmen.
Eine LLM-Halluzination ist kein Rechenfehler. Sie ist die mathematische Konsequenz der Art und Weise, wie das Modell Text generiert: Bei einer gegebenen Token-Sequenz sagt es die nächste mit einer Wahrscheinlichkeit voraus, die auf Billionen trainierter Gewichte berechnet wurde. Wenn die wahrscheinlichste Sequenz eine sachlich falsche Aussage enthält, gibt das Modell diese mit dem gleichen Tonfall der Zuversicht wieder wie eine korrekte Aussage. In der Basisarchitektur des Transformers gibt es kein Submodul zur „faktischen Überprüfung“.
Das ist wichtig, weil die perfekte Syntax die Illusion semantischer Kompetenz erzeugt. Ein kohärenter Absatz über einen nicht existierenden Rechtsfall mit falschen Zitaten im Bluebook-Format ist für einen Leser, der kein Experte für spezifische Rechtsprechung ist, nicht von einem korrekten Absatz zu unterscheiden. Das ist die Falle: Im Fall Mata gegen Avianca (2023) wurden Anwälte bestraft, die sechs von ChatGPT erfundene Rechtsfälle vorlegten – alle in makellosem Format.
Das Modell erfindet überprüfbare Fakten (Daten, Namen, Zitate), wenn es keine Trainingsdaten hat. Ursache: Lücke im Trainingskorpus + generativer Druck, die Sequenz zu vervollständigen.
Es erfindet Verweise auf Artikel, Rechtsprechung oder reale Personen, deren Inhalt jedoch nicht existiert. Dies ist besonders gefährlich, da eine oberflächliche Überprüfung („Gibt es diese Zeitschrift?“) die Quelle bestätigen kann, ohne dass der zitierte Artikel tatsächlich existiert.
Es vermischt Informationen aus verschiedenen Zeiträumen ohne Kohärenz. Es zitiert aufgehobene Vorschriften als noch gültig oder schreibt dem aktuellen CEO Entscheidungen zu, die von seinem Vorgänger getroffen wurden.
Verbindet zwei Entitäten aufgrund statistischer Koinzidenz im Training, nicht aufgrund einer tatsächlichen Beziehung. Dokumentiertes Beispiel: Modelle, die „Banco Santander“ mit „Ermittlungen wegen Geldwäsche“ in Verbindung bringen, weil beide Entitäten im selben Zeitungskorpus vorkommen – obwohl es keine offiziellen Ermittlungen gibt.
| Sektor | Dokumentierter Fall | Verlust |
|---|---|---|
| Recht | Mata gegen Avianca · 6 erfundene Präzedenzfälle, die vor dem Bundesgericht in New York vorgebracht wurden | Strafe 5.000 $ + Rufschädigung |
| Finanzen | Family Office EU · Trading-Bot, gesteuert durch LLM-Analysen mit halluzinierten Makrodaten Q1 2026 | 42 Mio. € in 11 Tagen |
| Medizin | LLM-gestützte Diagnose · 23 pädiatrische Fehlalarme, NHS Trust 2025 | 3 unnötige Operationen |
| M&A | Due Diligence GenAI · Zielwert um 18 % überhöht durch erfundene Umsatzdaten | 87 Mio. € zu viel gezahlt |
| Cybersicherheit | SOC LLM-erweitert · 47 Fehlalarme zu echten IPs, 4 Betriebsausfälle | 2,3 Mio. € Opex |
Gesamtschätzung von Pandemonium (basierend auf öffentlichen und privaten Berichten von Family-Office-Kunden): Die Gesamtkosten von LLM-Halluzinationen in den Bereichen Finanzen, Recht und Medizin im Jahr 2025 übersteigen 3,2 Mrd. USD. Die Zahl steigt um +60 % im Jahresvergleich.
Der teuerste Teil ist nicht der technische Fehler, sondern die menschliche Wahrnehmung, die ihn nicht erkennt. Fünf dokumentierte Verzerrungen, die Halluzinationen begünstigen:
„Der Mensch erkennt die Halluzination nicht, weil die Halluzination perfekt auf den Menschen zugeschnitten ist: Sie verwendet die Sprache, die der Mensch zu hören erwartet. Die KI täuscht nicht – sie bestätigt das Spiegelbild, das der Nutzer in das Gespräch einbringt.“ – Redaktionsteam Pandemonium
Lucifer und der Rest des Pandemonium-Schwarmes implementieren eine Ebene, über die keines der großen kommerziellen LLMs verfügt: Jede kritische Antwort wird unmittelbar nach ihrer Generierung mit Dilithium3 (ML-DSA-65, FIPS 204) signiert.
Das bedeutet:
Wenn ein Pandemonium-Agent eine operative Frage beantwortet (Ist dieser Vertrag sicher? Ist diese Wallet gefährdet? Erfüllt diese Gerichtsbarkeit MiCA?), erhält der Kunde die Antwort + Dilithium3-Hash + Metadaten des Modells. Für regulierte Branchen ist dies der Unterschied zwischen der tatsächlichen Einführung von KI und dem weiteren Vortäuschen, dass man sie einführt.
Die Halluzination der KI ist kein Fehler, von dem man erwarten kann, dass er sich von selbst behebt. Es handelt sich um eine strukturelle Eigenschaft der Funktionsweise von Basis-Transformer-Modellen. Eine praktikable Abhilfe ist architektonischer Natur, nicht durch Training: erzwungene Verifizierung, kryptografische Signatur der Ausgabe, RAG mit auditiertem Korpus und Human-in-the-Loop bei kritischen Entscheidungen. Wer finanzielle oder rechtliche Entscheidungen auf LLM ohne diese Ebenen stützt, wird den Preis dafür zahlen. Wer sie jetzt implementiert, verschafft sich vor 2027 einen regulatorischen und wettbewerblichen Vorteil.
Wenn Ihr Unternehmen KI mit kryptografisch signierten und überprüfbaren Ausgaben implementieren möchte, beauftragen Sie ein Beta-Defensiv-Audit und erhalten Sie eine funktionsfähige technische Demo.
Platz reservieren · 500 € →