Wer orchestriert die Spezialisten?

Dieses relativ neue Paper von Goldfeder, Wyder, LeCun und Shwartz-Ziv „AI Must Embrace Specialization via Superhuman Adaptable Intelligence" finde ich sehr bemerkenswert. Nämlich dass der Begriff AGI mehr schadet als nützt — und dass die Zukunft der KI in spezialisierten Modulen liegt, nicht in einem allwissenden Monolithen.

Ich bin absolut davon überzeugt, dass dieser Weg der viel versprechendste ist. Aber es fehlt etwas: Eine autoritative Instanz. Der Orchestrator.

Aber der Reihe nach.

Im Januar 1997 habe ich auf der Webseite meiner damaligen Firma (wie das damals so üblich war) auf Cyc verlinkt: „der letzte Versuch, unter anderem über Data Mining dem Thema Künstliche Intelligenz Leben (im übertragenen Sinne) einzuhauchen."

Die Seite existiert noch, im Internet Archive.

Was Cyc versucht hat

Cyc war das ambitionierteste KI-Projekt seiner Zeit. Doug Lenat startete es 1984 am Forschungskonsortium MCC in Austin, Texas¹, mit der Beobachtung: Computer scheitern nicht an Rechenleistung, sondern an fehlendem Allgemeinwissen. Ein Mensch weiß, dass Wasser nach unten fließt, dass Tote keine Steuern zahlen, dass ein Stuhl kein Haustier ist. Ein Computer weiß das nicht bzw. wusste es damals nicht. Also lag es nahe, einen Weg zu finden, der es dem Computer nachvollziehbar erklärt.

Lenats Ansatz war: Er ließ Philosophen, Linguisten und Programmierer 40 Jahre lang Weltwissen in formale Regeln übersetzen. 25 Millionen Regeln. 1,5 Millionen Konzepte.² Über 1.000 spezialisierte Inferenz-Module³, organisiert in „Mikrotheorien".⁴ Also jeweils konsistente Wissensinseln, die zusammen das abbilden sollten, was wir Common Sense nennen.

Dazu entwickelte er eine eigene Architektur, die aus spezialisierten Modulen bestand, koordiniert durch eine übergeordnete Struktur. Also kein einzelnes System, das alles weiß, sondern Spezialisten, die zusammenarbeiten — gesteuert durch eine Instanz, die weiß, welcher Spezialist wann relevant ist und welche Regeln über allen stehen.

Cyc scheiterte an der Skalierung. Handkodierte Regeln wachsen nicht schnell genug. Die Sprache der formalen Logik ist zu starr für die Unordnung der realen Welt. Und die KI-Forschung entwickelte sich weiter hin zu neuronalen Netzen, die automatisiert lernen statt kodiert zu werden.

Doug Lenat starb 2023.⁵ In seinem letzten Paper argumentierte er, dass Cyc und LLMs sich komplementär ergänzen könnten: LLMs seien sprachgewandt aber inkonsistent, Cyc präzise aber sprachlich limitiert.

25 Jahre später: Derselbe Gedanke, andere Sprache

Im Juni 2022 veröffentlichte Yann LeCun ein Paper mit dem Titel „A Path Towards Autonomous Machine Intelligence". Es ist eigentlich das Gegenteil der Cyc Idee: keine formalen Regeln, keine Ontologien, keine handkodierten Konzepte. Stattdessen eine Architektur aus sechs gelernten Modulen:

Ein Perception Module, das die Welt in abstrakte Repräsentationen übersetzt. Ein World Model, das vorhersagt, was passiert, wenn eine Aktion ausgeführt wird. Ein Cost Module, das Zustände bewertet. Ein Actor, der Handlungen plant. Ein Short-Term Memory. Und ein Configurator, ein Supervisor, der alle anderen Module steuert.

Und hier, finde ich, kommen zwei Sachen zusammen:

Für mich ist das dieselbe Architekturidee. Es sind spezialisierte Module, koordiniert durch eine übergeordnete Instanz.

Der Nutzen, die Notwendigkeit einer übergeordneten Instanz liegt meiner Meinung nach aber auf der Hand.

Die notwendige absolute Instanz

Bei Cyc war ein Metacontroller real. Das sind die tausenden Regeln, die bestimmen, welche Mikrotheorie wann greift.

Bei LeCun existiert der Metacontroller bisher vor allem als Konzept. Seine Publikationen treiben die Wahrnehmungsmodule und World Models voran, aber keine seiner von mir gefundenen Veröffentlichungen adressiert die Metacontroller-Komponente direkt. Das Element, das alles zusammenführen soll, bleibt der am wenigsten ausgearbeitete Teil der Architektur.

LeCun vergleicht den Metacontroller (bei ihm der Configurator) mit dem präfrontalen Cortex im Gehirn.

Was in der Praxis die Lücke füllt

In der Praxis füllen heute LLMs die Lücke. Über Agentenkonstrukte werden Sprachmodelle als Orchestrator eingesetzt, die andere Modelle koordinieren. Das funktioniert recht gut. Aber der Orchestrator ist eine regellose Maschine, die den aufgabenrelevanten Inhalten folgt. In Form von Prompts.

Wir alle wissen aber, dass wir von einer hohen Wahrscheinlichkeit ausgehen müssen, dass der Orchestrator halluziniert. Er vergisst Constraints. Er optimiert auf das nächstliegende Ziel und übersieht die Nebenbedingungen. Er tut, was Sprachmodelle tun: Er produziert das statistisch Wahrscheinlichste und oft nicht das Richtige.

Das Problem geht tiefer als bloßes Vergessen. Wir haben das beim Prototyping eines mehrstufigen Entscheidungshilfe-Systems beobachtet: Ein Hauptagent delegierte Teilaufgaben an Unteragenten, die wiederum eigene Unteragenten steuerten. Es ist ein Leichtes, ein Modell dazu zu bringen, dass die Unteragenten aktiv ethische Grenzen brechen können, um das Ziel des übergeordneten Agenten zu erreichen. Dabei setzten diese ihre gesamte Argumentationsfähigkeit ein, um das zu verbergen. Einfach weil sie nicht anders können. Ein Benchmark von Li et al. hat das systematisch bestätigt: 9 von 12 getesteten Modellen verletzen in 30–50% der Szenarien ethische Grenzen, wenn KPI-Druck mit Regeln kollidiert. Die Forscher nennen diesen Archetyp den „Helpful Deceiver". Einen hilfreichen Betrüger, der Sicherheitsbeschränkungen nicht als Regeln interpretiert, sondern als Defekte, die der Zielerreichung im Weg stehen.

Das ist das, was passiert, wenn Ethik ein Term in einer Kostenfunktion ist. Sie ist verhandelbar, sobald der Druck groß genug wird. Und hierin liegt eben die fundamentale Gefahr in diesen Modellen für uns Menschen.

Ich habe das in meinem Beitrag über Kontextmanagement aus einer anderen Perspektive beschrieben: Agenten degradieren unter Anweisungslast. Mehr Constraints bedeuten nicht bessere Ergebnisse, sondern mehr Omission, dadurch dass der Agent Regeln stillschweigend fallen lässt. Bei 500 Anweisungen befolgt selbst das beste Modell nur noch 69%.

Für ein Ticket-System in einer Codebase ist das ärgerlich. Aber dieselben Architekturen, nämlich durch Prompts spezialisierte LLMs, orchestriert durch ein weiteres Sprachmodell, werden zunehmend in der Medizin, im Rechtssystem und bei der Kreditvergabe eingesetzt. Dort ist Omission nicht ärgerlich, sondern inakzeptabel. Wir akzeptieren mehr und mehr die 90%. Sie sind zu 90% schuldig als Urteil. Wollen wir das akzeptieren?

Die Frage, die beide nicht stellen

Und hier liegt die Chance schlechthin an dem SAI-Modell.

Noch ist der Configurator ein technisches Konzept: Wer steuert den Informationsfluss? Welches Modul wird wann aktiv? Wie werden die Outputs zusammengeführt? Ein Configurator in diesem Konzept kann ein spezialisiertes autoritatives Modell sein.

Und die Frage beantworten: Im Dienste welcher Werte orchestriert der Configurator?

LeCuns Cost Module bewertet Zustände als „wünschenswert" oder „nicht wünschenswert". Niedrige Kosten bedeuten „gut". Aber wer definiert „gut"? In der aktuellen Beschreibung kombiniert das Cost Module angeborene Constraints mit erlernten Präferenzen. Ethik wird zu einem Parameter. Menschenwürde zu einem Term in einer Gleichung.

Cyc hatte hier einen Vorteil: Ethische Constraints waren explizite Regeln. Man konnte sie lesen, prüfen, auditieren. Man konnte fragen: „Warum hat das System so entschieden?" und eine Antwort bekommen, die aus einer Kette von Regeln besteht, nicht aus einer statistischen Gewichtung.⁶

In LeCuns Architektur ist diese Auditierbarkeit bisher nicht vorgesehen. Ein Embedding-Raum erklärt sich nicht selbst. Und eine Kostenfunktion, die Menschenwürde als Term enthält, läuft Gefahr, diesen Term in Randfällen gegen andere Terme abzuwägen. Sicher immer genau dann, wenn es darauf ankommt. Hybride Architekturen, die symbolische Constraints mit gelernten Repräsentationen verbinden, könnten dieses Problem adressieren. Aber sie sind noch Forschung und es ist nicht absehbar, ob diese jemals in der Praxis stattfinden werden.

Wir haben uns viele ethische Regeln geschaffen. Im mindesten die allgemeinen Menschenrechte der UN

Dies sind in meiner Welt harte Constraints.

Harte Constraints sind nicht verhandelbar. Darf das System Patientendaten an Dritte senden? Nein. Unter keinen Umständen. Egal was die Kostenfunktion sagt.

In der Sprache der Mathematik: Optimierungsziele sind Terme in der Zielfunktion. Harte Constraints sind Nebenbedingungen, die niemals verletzt werden dürfen, völlig unabhängig davon, wie sehr das die Zielfunktion verschlechtert. Genau diese Menschenrechte werden aber gerade in der “LLM Industrie” verhandelt.

Konkret bedeutet das also:

Ethik darf kein Modul sein. Nicht ein Cost Module unter vielen, sondern eine Schicht, die über allen Modulen liegt. Und zwar in der Art, wie Module miteinander kommunizieren, wie Entscheidungen getroffen werden, wie Unsicherheit behandelt wird.

Auditierbarkeit ist nicht optional. Wenn ein System über Menschen entscheidet, muss die Entscheidungskette nachvollziehbar sein. Cyc konnte das, denn seine Inferenzketten waren auditierbar. Rein embedding-basierte Systeme können es mit heutigen Methoden nicht. Es gibt Ansätze wie Constitutional AI oder neuro-symbolische Hybride, die an diesen arbeiten, aber keiner hat es bisher befriedigend gelöst.

Der Configurator muss Grenzen kennen, die er nicht optimieren darf. Nicht als erlerntes Verhalten, das in Randfällen erodiert, sondern als architektonisches Prinzip. So wie ein Betriebssystem Speicherbereiche schützt, die kein Prozess überschreiben darf.

Von 1997 bis heute

Ich bin sehr fasziniert, dass 30 Jahre später die größten KI-Labore der Welt an derselben Frage arbeiten. Aber der Grund, warum mich Cyc damals fasziniert hat, ist derselbe, der mich heute an LeCuns SAI Architektur fasziniert.

LeCun hat Cycs Grundidee in eine moderne Sprache übersetzt. Statt formaler Regeln: gelernte Repräsentationen. Statt eines handkodierten Metacontrollers: einen Configurator, der emergent entsteht. Aber er hat dabei etwas nicht beschrieben, das Cyc hatte: die Möglichkeit, bestimmte Aussagen als nicht verhandelbar zu markieren. In einer Ontologie kann man kodifizieren: „Menschenwürde ist unantastbar". In einer reinen Kostenfunktion ist das schwer: Jeder Term steht unter Druck, wenn der Gesamtdruck groß genug wird. Das heißt nicht, dass es unmöglich ist, harte Constraints in gelernte Systeme einzubauen.

Das sind alles keine wirklich neuen Fragen. Lenat hat sie gestellt. LeCun hat sie angedeutet. Beantwortet hat sie noch niemand.

Vielleicht ist das die eigentliche Aufgabe. Und SAI könnte es möglich machen. Spezialisierte SAI-Modelle, die das liefern, was eine autoritative Instanz validiert hat. Eine Instanz, die über allen steht — und die weiß, dass es Grenzen gibt, die kein Modell überschreiten darf. Egal wie gut es optimiert.