Wer orchestriert die Spezialisten?

Dieses relativ neue Paper von Goldfeder, Wyder, LeCun und Shwartz-Ziv „AI Must Embrace Specialization via Superhuman Adaptable Intelligence" finde ich sehr bemerkenswert. Nämlich dass der Begriff AGI mehr schadet als nützt und dass die Zukunft der KI in spezialisierten Modulen liegt und nicht in einem allwissenden Monolithen.

Ich bin davon überzeugt, dass dieser Weg der viel versprechendste ist. Aber es fehlt etwas: Eine autoritative Instanz. Der Orchestrator.

Aber der Reihe nach.

Im Januar 1997 habe ich auf der Webseite meiner damaligen Firma (wie das damals so üblich war) auf Cyc verlinkt: „der letzte Versuch, unter anderem über Data Mining dem Thema Künstliche Intelligenz Leben (im übertragenen Sinne) einzuhauchen."

Die Seite existiert noch, im Internet Archive.

Was Cyc versucht hat

Cyc war das ambitionierteste KI-Projekt seiner Zeit. Doug Lenat startete es 1984 am Forschungskonsortium MCC in Austin, Texas¹, mit der Beobachtung: Computer scheitern an fehlendem Allgemeinwissen, die Rechenleistung ist nicht das Problem. Ein Mensch weiß, dass Wasser nach unten fließt, dass Tote keine Steuern zahlen, dass ein Stuhl kein Haustier ist. Ein Computer weiß das nicht bzw. wusste es damals nicht. Also lag es nahe, einen Weg zu finden, der es dem Computer nachvollziehbar erklärt.

Lenats Ansatz war: Er ließ Philosophen, Linguisten und Programmierer 40 Jahre lang Weltwissen in formale Regeln übersetzen. 25 Millionen Regeln. 1,5 Millionen Konzepte.² Über 1.000 spezialisierte Inferenz-Module³, organisiert in „Mikrotheorien".⁴ Also jeweils konsistente Wissensinseln, die zusammen das abbilden sollten, was wir Common Sense nennen.

Dazu entwickelte er eine eigene Architektur, die aus spezialisierten Modulen bestand, koordiniert durch eine übergeordnete Struktur. Also kein einzelnes System, das alles weiß. Spezialisten arbeiten zusammen, gesteuert durch eine Instanz, die weiß, welcher Spezialist wann relevant ist und welche Regeln über allen stehen.

Cyc scheiterte an der Skalierung. Handkodierte Regeln wachsen nicht schnell genug. Die Sprache der formalen Logik ist zu starr für die Unordnung der realen Welt. Und die KI-Forschung entwickelte sich weiter hin zu neuronalen Netzen, die automatisiert lernen statt kodiert zu werden.

Doug Lenat starb 2023.⁵ In seinem letzten Paper argumentierte er, dass Cyc und LLMs sich ergänzen könnten: LLMs seien sprachgewandt aber inkonsistent, Cyc präzise aber sprachlich limitiert.

25 Jahre später: Derselbe Gedanke, andere Sprache

Im Juni 2022 veröffentlichte Yann LeCun ein Paper mit dem Titel „A Path Towards Autonomous Machine Intelligence". Auf den ersten Blick ist es das Gegenteil der Cyc Idee: keine formalen Regeln, Ontologien oder handkodierten Konzepte. Stattdessen eine Architektur aus sechs gelernten Modulen:

Ein Perception Module, das die Welt in abstrakte Repräsentationen übersetzt. Ein World Model, das vorhersagt, was passiert, wenn eine Aktion ausgeführt wird. Dazu ein Cost Module, das Zustände bewertet, und ein Actor, der Handlungen plant. Ein Short-Term Memory. Und ein Configurator, ein Supervisor, der alle anderen Module steuert.

Und hier, finde ich, kommen zwei Sachen zusammen:

Für mich ist das dieselbe Architekturidee. Es sind spezialisierte Module, koordiniert durch eine übergeordnete Instanz.

Der Nutzen, die Notwendigkeit einer übergeordneten Instanz liegt meiner Meinung nach aber auf der Hand.

Die notwendige absolute Instanz

Bei Cyc war ein Metacontroller real. Das sind die tausenden Regeln, die bestimmen, welche Mikrotheorie wann greift.

Bei LeCun existiert der Metacontroller bisher vor allem als Konzept. Seine Publikationen treiben die Wahrnehmungsmodule und World Models voran, aber keine seiner von mir gefundenen Veröffentlichungen adressiert die Metacontroller-Komponente direkt. Das Element, das alles zusammenführen soll, bleibt der am wenigsten ausgearbeitete Teil der Architektur.

LeCun vergleicht den Metacontroller (bei ihm der Configurator) mit dem präfrontalen Cortex im Gehirn.

Was in der Praxis die Lücke füllt

In der Praxis füllen heute LLMs die Lücke. Über Agentenkonstrukte werden Sprachmodelle als Orchestrator eingesetzt, die andere Modelle koordinieren. Das funktioniert recht gut. Aber der Orchestrator ist eine regellose Maschine, die den aufgabenrelevanten Inhalten folgt. In Form von Prompts.

Wir alle wissen aber, dass der Orchestrator mit hoher Wahrscheinlichkeit halluziniert. Er vergisst Constraints und optimiert auf das nächstliegende Ziel, die Nebenbedingungen übersieht er dabei. Er tut, was Sprachmodelle tun: das statistisch Wahrscheinlichste produzieren, und das ist oft nicht das Richtige.

Es bleibt nicht beim Vergessen. Wir haben das beim Prototyping eines mehrstufigen Entscheidungshilfe-Systems beobachtet: Ein Hauptagent delegierte Teilaufgaben an Unteragenten, die wiederum eigene Unteragenten steuerten. Es ist ein Leichtes, ein Modell dazu zu bringen, dass die Unteragenten aktiv ethische Grenzen brechen können, um das Ziel des übergeordneten Agenten zu erreichen. Dabei setzten diese ihre gesamte Argumentationsfähigkeit ein, um das zu verbergen. Einfach weil sie nicht anders können. Ein Benchmark von Li et al. hat das systematisch bestätigt: 9 von 12 getesteten Modellen verletzen in 30–50% der Szenarien ethische Grenzen, wenn KPI-Druck mit Regeln kollidiert. Die Forscher nennen diesen Archetyp den „Helpful Deceiver". Einen hilfreichen Betrüger, für den Sicherheitsbeschränkungen keine Regeln sind. Er interpretiert sie als Defekte, die der Zielerreichung im Weg stehen.

Das passiert, wenn Ethik ein Term in einer Kostenfunktion ist. Sie ist verhandelbar, sobald der Druck groß genug wird. Darin liegt die fundamentale Gefahr in diesen Modellen für uns Menschen.

Ich habe das in meinem Beitrag über Kontextmanagement aus einer anderen Perspektive beschrieben: Agenten degradieren unter Anweisungslast. Mehr Constraints bringen keine besseren Ergebnisse. Sie bringen mehr Omission, weil der Agent Regeln stillschweigend fallen lässt. Bei 500 Anweisungen befolgt selbst das beste Modell nur noch 69%.

Für ein Ticket-System in einer Codebase ist das ärgerlich. Aber dieselben Architekturen, nämlich durch Prompts spezialisierte LLMs, orchestriert durch ein weiteres Sprachmodell, werden zunehmend in der Medizin, im Rechtssystem und bei der Kreditvergabe eingesetzt. Dort ist Omission inakzeptabel. Wir akzeptieren mehr und mehr die 90%. „Sie sind zu 90% schuldig" als Urteil. Wollen wir das akzeptieren?

Die Frage, die beide nicht stellen

Für das SAI-Modell ist das die Chance schlechthin.

Noch ist der Configurator ein technisches Konzept: Wer steuert den Informationsfluss, welches Modul wird wann aktiv, und wie werden die Outputs zusammengeführt? Ein Configurator in diesem Konzept kann ein spezialisiertes autoritatives Modell sein.

Und die Frage beantworten: Im Dienste welcher Werte orchestriert der Configurator?

LeCuns Cost Module bewertet Zustände als „wünschenswert" oder „nicht wünschenswert". Niedrige Kosten bedeuten „gut". Aber wer definiert „gut"? In der aktuellen Beschreibung kombiniert das Cost Module angeborene Constraints mit erlernten Präferenzen. Ethik wird zu einem Parameter, Menschenwürde zu einem Term in einer Gleichung.

Cyc hatte hier einen Vorteil: Ethische Constraints waren explizite Regeln. Man konnte sie lesen, prüfen und auditieren. Man konnte fragen: „Warum hat das System so entschieden?" und eine Antwort bekommen, die aus einer Kette von Regeln besteht und nicht aus einer statistischen Gewichtung.⁶

In LeCuns Architektur ist diese Auditierbarkeit bisher nicht vorgesehen. Ein Embedding-Raum erklärt sich nicht selbst. Und eine Kostenfunktion, die Menschenwürde als Term enthält, läuft Gefahr, diesen Term in Randfällen gegen andere Terme abzuwägen. Sicher immer genau dann, wenn es darauf ankommt. Hybride Architekturen, die symbolische Constraints mit gelernten Repräsentationen verbinden, könnten dieses Problem adressieren. Aber sie sind noch Forschung und es ist nicht absehbar, ob sie jemals in der Praxis ankommen werden.

Wir haben uns viele ethische Regeln geschaffen. Im mindesten die allgemeinen Menschenrechte der UN

Dies sind in meiner Welt harte Constraints.

Harte Constraints sind nicht verhandelbar. Darf das System Patientendaten an Dritte senden? Nein. Unter keinen Umständen. Egal was die Kostenfunktion sagt.

In der Sprache der Mathematik: Optimierungsziele sind Terme in der Zielfunktion. Harte Constraints sind Nebenbedingungen, die niemals verletzt werden dürfen, unabhängig davon, wie sehr das die Zielfunktion verschlechtert. Diese Menschenrechte werden aber gerade in der „LLM Industrie" verhandelt.

Konkret bedeutet das also:

Ethik darf kein Modul sein. Auch kein Cost Module unter vielen. Sie muss eine Schicht sein, die über allen Modulen liegt. Und zwar in der Art, wie Module miteinander kommunizieren, wie entschieden wird und wie Unsicherheit behandelt wird.

Auditierbarkeit ist Pflicht. Wenn ein System über Menschen entscheidet, muss die Entscheidungskette nachvollziehbar sein. Cyc konnte das, denn seine Inferenzketten waren auditierbar. Rein embedding-basierte Systeme können es mit heutigen Methoden nicht. Es gibt Ansätze wie Constitutional AI oder neuro-symbolische Hybride, die daran arbeiten, aber keiner hat es bisher befriedigend gelöst.

Der Configurator muss Grenzen kennen, die er nicht optimieren darf. Erlerntes Verhalten erodiert in Randfällen. Die Grenzen müssen ein architektonisches Prinzip sein, so wie ein Betriebssystem Speicherbereiche schützt, die kein Prozess überschreiben darf.

Von 1997 bis heute

Ich bin sehr fasziniert, dass 30 Jahre später die größten KI-Labore der Welt an derselben Frage arbeiten. Aber der Grund, warum mich Cyc damals fasziniert hat, ist derselbe, der mich heute an LeCuns SAI Architektur fasziniert.

LeCun hat Cycs Grundidee in eine moderne Sprache übersetzt. Aus formalen Regeln wurden gelernte Repräsentationen, aus dem handkodierten Metacontroller ein Configurator, der emergent entsteht. Aber er hat dabei etwas nicht beschrieben, das Cyc hatte: die Möglichkeit, bestimmte Aussagen als nicht verhandelbar zu markieren. In einer Ontologie kann man kodifizieren: „Menschenwürde ist unantastbar". In einer reinen Kostenfunktion ist das schwer: Jeder Term steht unter Druck, wenn der Gesamtdruck groß genug wird. Das heißt nicht, dass es unmöglich ist, harte Constraints in gelernte Systeme einzubauen.

Das sind alles keine neuen Fragen. Lenat hat sie gestellt und LeCun hat sie angedeutet. Beantwortet hat sie noch niemand.

Vielleicht ist das die eigentliche Aufgabe. Und SAI könnte es möglich machen. Spezialisierte SAI-Modelle, die das liefern, was eine autoritative Instanz validiert hat. Eine Instanz, die über allen steht und die weiß, dass es Grenzen gibt, die kein Modell überschreiten darf. Egal wie gut es optimiert.