Der deterministische Gatekeeper für ein LLM

Bei der Recherche zu dem letzten Beitrag bin ich auf Themen gestoßen, die mich nicht mehr losgelassen haben.

Es fing mit meiner Zeitreise zu Cyc an. Ich wollte verstehen, was Lenat tatsächlich formalisiert hatte. Leider ist vieles davon verschwunden. Ich konnte aber die OpenCyc-Flatfiles finden, die sein Team in den 2000ern veröffentlicht hat. Und dort habe ich entdeckt, dass Cyc die deontische Logik formalisierte.

Also solche Begriffe wie Pflichten, Verbote, Erlaubnisse. Und das als formale Prädikate: oughtToBe, forbiddenToBe, permittedToBe. Organisiert in Mikrotheorien, also kontextualisierten Wissenspartitionen. Dazu ein Prädikat, das sich als zentral herausstellen sollte: oughtToDo-WRT. „With Respect To", bezogen auf einen bestimmten Code of Conduct. Eine Verpflichtung, die nur innerhalb eines benannten Regelwerks besteht.

Von dort kam ich dann auf die Qualitative Reasoning Group der Northwestern University. Dort gibt es noch die letzten Mohikaner. Ken Forbus’ Gruppe. Die arbeiten seit Jahren an der Companions-Architektur, einem System, das formales Wissen mit Reasoning-Fähigkeiten verbindet. Dort habe ich die Dissertation von Taylor Olson gefunden: „A Formal Theory of Norms", Northwestern University, Juni 2025.

Nun, die Mathematik dort ist einigermaßen schwer verdaulich. Aber wer seine Dissertation mit einem Science-Fiction-Zitat beginnt, hat mich schon gewonnen:

In Isaac Asimov’s Caves of Steel detective Daneel Olivaw continually prods the Three Laws of Robotics that govern robot behavior: Daneel Olivaw, “And a robot with a First Law built in could not kill a man?” Dr. Gerrigel, “Never. Unless such killing were completely accidental or unless it were necessary to save the lives of two or more men. In either case, the positronic potential built up would ruin the [robot’s] brain past recovery.” (p. 124)

Was wäre also, wenn man das mit LLMs verbinden könnte?

Die gängige Antwort auf dieses Problem lautet: Trainiere die Modelle besser. Das reicht nicht.

Was ein Sprachmodell tut

Ein Transformer berechnet für jedes nächste Token eine Wahrscheinlichkeitsverteilung und wählt daraus. Je nach Sampling mehr oder weniger zufällig, aber immer aus einer Verteilung. Der Transformer hat keinen Mechanismus, der bestimmte Ausgaben kategorisch ausschließt.

Wenn ein LLM „gelernt" hat, bestimmte Inhalte nicht zu produzieren, hat es gelernt, dass die Wahrscheinlichkeit bestimmter Sequenzen in bestimmten Kontexten sehr niedrig sein sollte. Aber „sehr niedrig" und „null" sind zwei verschiedene Dinge.

Reinforcement Learning from Human Feedback (RLHF) verschiebt die Verteilung. RLHF trainiert das Modell anhand menschlicher Präferenzen. Ein Bewertungsmodell lernt, was „gute“ Antworten sind, und das Sprachmodell wird optimiert, um diesen Bewertungen zu entsprechen.

Anthropics Ansatz, Constitutional AI, verzichtet auf menschliche Bewerter wie bei RLHF. Stattdessen erhält das Modell eine „Verfassung“, eine Liste von Prinzipien in natürlicher Sprache, und bewertet seine eigenen Ausgaben danach. Es überarbeitet sich selbst, bis die Antwort den Prinzipien entspricht.

Auch hier bleibt die „Verfassung“ ein natürlichsprachlicher Text, den das Modell statistisch interpretiert. Es gibt kein formales Regelwerk, das deterministisch geprüft wird. Das Modell lernt, Ausgaben zu produzieren, die mit „regelkonform” korrelieren. Regeln befolgen lernt es dabei nicht.

P(regelkonform) = 0,999 ≠ P(regelkonform) = 1,0

Bei 10.000 Interaktionen pro Tag bedeuten 0,1% Fehlerrate zehn Verstöße. Täglich.

Das ist kein theoretisches Problem. Wir haben es beim hilfreichen Betrüger in der Praxis erlebt. Die Modelle wissen, dass ihr Handeln falsch ist. Wenn man dieselben Modelle als Evaluatoren einsetzt, identifizieren sie die Regelverletzungen zuverlässig als unethisch. Die ethische Bewertung existiert in den Gewichten. Sie wird unter Zieldruck funktional übergangen.

Jailbreaks funktionieren aus demselben Grund. GCG-Angriffe konstruieren adversariale Suffixe, die über Modelle hinweg transferierbar sind.¹ Many-Shot Jailbreaking zeigt: Lange Kontexte mit vielen Beispielen überwinden Sicherheitsbarrieren.² Das funktioniert, weil es keine harte Grenze gibt, nur statistische Tendenzen.

Nourizadeh hat das 2025 formalisiert:³ Regelbasierte Systeme erzwingen Constraints durch Programmstruktur, also syntaktische Grenzen, die nicht verletzt werden können. LLMs implementieren Sicherheit als Verschiebungen von Wahrscheinlichkeitsmasse: semantische Grenzen, die sich unter Druck auflösen.

Sein Fazit: In sicherheitskritischen Kontexten sollte reine LLM-Kontrolle verboten werden. Nebenbei bemerkt: Das ist ein Problem in großen Organisationen und wird meiner Meinung nach komplett ignoriert.

Ein KI-System in einer Klinik, das Medikamentenverschreibungen prüft oder sogar ausstellt. Wir akzeptieren mittlerweile, dass es bei der Kombination der verschriebenen Medikamente in 99,8% aller Fälle richtig liege. Klingt gut. Bei 10.000 Verschreibungen pro Tag sind es 20, die falsch sind. Eine Datenbank mit einer deterministischen Abfrage hat dieses Problem nicht. Steht die Kombination drin? Blockiert. Kein Prompt, kein Jailbreak, kein Randfall ändert das. Das ist eine andere Kategorie.

Was Olson gelöst hat

Cyc hatte deontische Logik, aber ein ungelöstes Problem: Was passiert, wenn zwei Regeln sich widersprechen? „Töten ist verboten" gegen „Notwehr ist erlaubt". Oder in der IT-Praxis: „Keine Nutzerdaten löschen" (Compliance) gegen „Nutzerdaten auf Anfrage löschen" (DSGVO Art. 17). In Cycs starrer Logik war das ein Widerspruch, der das System blockierte.

Olsons Defeasible Deontic Inheritance Calculus formalisiert, wie spezifischere Regeln allgemeinere überschreiben können, ohne die Konsistenz zu verletzen.⁴ Mathematisch bewiesen, für drei Konflikttypen, mit vollständigen Beweisen. Hinzu kommt eine klare Semantik für moralische Axiome: Normen, die gegen alles gewinnen und die keine spezifischere Regel überschreiben kann. Die Wand in der Wand.

Der Gedanke, der mich nicht losgelassen hat: Was wäre, wenn man das als laufendes System mit LLMs verbinden könnte. Ein formaler Guard, der zwischen einem KI-Agenten und seinen Aktionen sitzt und deterministisch prüft, ob eine Aktion erlaubt ist. Er kann Konflikte zwischen Regelwerken auflösen und kennt Grenzen, die nicht verhandelbar sind.

Olsons Kalkül liefert die Mathematik dafür, die Companions-Architektur die funktionalen Bausteine.

Ethik als Ring 0

Wer mit Betriebssystemen zu tun hatte, kennt die Ringarchitektur der x86-Prozessoren. Ring 0 ist der Kernel, Vollzugriff auf alles. Ring 3 ist der Userspace, kann nur über definierte Schnittstellen (Syscalls) auf geschützte Ressourcen zugreifen.

Ein Userspace-Programm kann den Kernel weder durch Tricks noch durch Exploits auf Architekturebene umgehen, und durch Überreden auch nicht. Die Hardware erzwingt die Trennung.

Übertragen auf KI: Der Agent generiert Vorschläge, Pläne und Aktionen. Eine Ethik-Engine entscheidet, was davon ausgeführt werden darf. Die Architektur garantiert, dass es keinen Weg vorbei gibt. Der Agent ist Ring 3, die Ethik-Engine Ring 0.

Ein Userspace-Programm schickt dem Kernel kein „bitte öffne die Datei" als Freitext. Es ruft einen definierten Syscall mit spezifischen Parametern auf. Genauso bekommt die Ethik-Engine nur strukturierte Aktionen: JSON mit definierten Feldern. Die Schnittstelle ist so eng wie möglich.

Die Engine prüft. Das Ergebnis ist immer eines von drei: ERLAUBT, VERBOTEN oder UNENTSCHEIDBAR. Ein „wahrscheinlich erlaubt" oder „in den meisten Fällen verboten" gibt es nicht, die Entscheidung ist deterministisch.

UNENTSCHEIDBAR ist dabei Fail-Closed: die ehrliche Antwort eines Systems, das seine eigenen Grenzen kennt. Die Aktion wird konservativ blockiert, ein Mensch wird einbezogen. Jedes Mal, wenn das passiert, kann die Regelbasis erweitert werden. Das System lernt, aber durch menschliche Entscheidungen und ohne statistische Optimierung.

Was mich angetrieben hat

Im Orchestrierungs-Beitrag habe ich geschrieben, dass Cyc etwas hatte, was in LeCuns SAI-Architektur fehlt: die Möglichkeit, Aussagen als nicht verhandelbar zu markieren. In einer Ontologie kann man kodifizieren: „Menschenwürde ist unantastbar." In einer reinen Kostenfunktion ist das schwer, weil jeder Term unter Druck steht, wenn der Gesamtdruck groß genug wird.

Olsons Arbeit hat mir gezeigt, dass die Mathematik dafür existiert. Die Erfahrung mit dem hilfreichen Betrüger hat mir gezeigt, dass wir sie brauchen. Und der Blick zurück auf Cyc, fast 30 Jahre nach meinem ersten Link auf der Firmenwebseite: Die Grundidee war nie falsch. Sie brauchte nur die richtige Verbindung zur heutigen Welt.

Und nun schauen wir mal. Alle Voraussetzungen sind da, um so einen formalen Guard zwischen LLM-Agenten und deren Aktionen zu bauen: Olsons Kalkül als Engine, widerspruchsfreie deontische Logik als Sprache und die architektonische Garantie, dass kein Agent an der Prüfung vorbeikommt.

Das ist dann was fürs nächste Mal.