Skalierbare KI-Aufsicht gelöst dank der „Sandwich Methode“?

Stell Dir vor, Du entwickelst eine KI, die irgendwann schlauer ist als Du selbst. Wie willst Du dann noch überprüfen, ob sie das Richtige tut? Das ist keine Science-Fiction-Fantasie mehr, sondern eine echte Herausforderung, vor der wir heute schon stehen. Forscher nennen das Problem „skalierbare Überwachung“ – und es ist einer der wichtigsten Puzzleteile für eine sichere KI-Zukunft.

Können wir KI kontrollieren, wenn sie intelligenter ist als wir?

Wir werfen einen Blick auf faszinierende Lösungen:

• KI unterstützt menschliches Urteilsvermögen: Stell dir KI vor, die dir hilft, Fehler in der Arbeit anderer KI zu erkennen.
• KI-Debatten: Stell dir zwei KIs vor, die ihre Argumente vorbringen, während eine menschliche „Jury“ über den Gewinner entscheidet.
• Das clevere „Sandwiching“-Experiment: Eine raffinierte Methode, um diese Überwachungstechniken zu testen, bevor wirklich übermenschliche KI Realität wird.

Erfahre, warum dies nicht nur Theorie ist, sondern ein entscheidendes technisches Problem, das gerade gelöst wird. Erfahre, wie wir eine empirische Wissenschaft der KI-Sicherheit aufbauen können, um sicherzustellen, dass leistungsstarke KI mit unseren Werten im Einklang bleibt.

Die Zukunft gestalten: Wie wir KI überwachen, die intelligenter ist als wir selbst

KI-Systeme entwickeln sich in atemberaubendem Tempo. Sie werden immer leistungsfähiger und bewältigen komplexere Aufgaben. Da stellt sich eine entscheidende Frage: Wie können wir als Menschen KI effektiv überwachen und steuern, die irgendwann unsere eigene Intelligenz übertreffen könnte?

Das ist keine theoretische Spielerei mehr, sondern eine sehr konkrete Herausforderung. Experten nennen sie „skalierbare Überwachung“ – und sie steht im Mittelpunkt einer sicheren und vorteilhaften KI-Zukunft.

Die bevorstehende Herausforderung der skalierbaren Überwachung

Doch die Landschaft verändert sich in beispiellosem Tempo. Stell Dir ein KI-System vor, das medizinische Ratschläge gibt, komplexe Finanzportfolios verwaltet oder sogar zu wissenschaftlichen Durchbrüchen beiträgt. Wenn diese Systeme „übermenschlich“ werden – das heißt, sie sind bei bestimmten Aufgaben besser als Menschen und möglicherweise irgendwann bei allen Aufgaben –, dann nimmt unsere Fähigkeit ab, sie direkt zu überwachen.

Wie kannst Du als Mensch die Nuancen einer hochoptimierten Aktienhandelsstrategie einer KI genau beurteilen, wenn Du die umfangreichen, miteinander verbundenen Marktdaten, die die KI verarbeitet, nicht vollständig verstehst?

Diese Kluft zwischen menschlichem Verständnis und KI-Fähigkeiten ist das Kernproblem der skalierbaren Aufsicht.

Aus der Sicht eines erfahrenen KI-Ingenieurs ist das nicht nur eine hypothetische Sorge. Du siehst die praktischen Grenzen der aktuellen Bewertungsmetriken, die Schwierigkeit, komplexe Systeme umfassend zu testen, und das Potenzial für eine „Alignment Tax“ – wenn die Erhöhung der Sicherheit eines Systems unbeabsichtigt dessen Leistung beeinträchtigt. Einfach „mehr Menschen“ auf das Problem anzusetzen, ist keine tragfähige langfristige Lösung.

Wegweisende Lösungen: KI unterstützt die menschliche Aufsicht

Forscher suchen aktiv nach verschiedenen Methoden, um diese Herausforderung zu bewältigen – dabei erweitern sie oft die bewährten Prinzipien von RLHF. Die Grundidee: menschliche Aufsicht durch den strategischen Einsatz von KI selbst zu ergänzen.

Hierarchische Zusammenfassung: Komplexität aufschlüsseln

OpenAI hat beispielsweise mit Methoden experimentiert, um komplexe KI-Ergebnisse für menschliche Bewerter verständlicher zu machen. Stell Dir die Aufgabe vor, ein ganzes Buch zusammenzufassen. Eine KI könnte eine Zusammenfassung erstellen, aber wie überprüfst Du deren Genauigkeit effizient anhand eines 25.000 Wörter umfassenden Originals?

2021 verwendete OpenAI große Sprachmodelle (LLMs), um Texte hierarchisch zusammenzufassen und zwar in mehreren Schritten: Sie zerlegten einen umfangreichen Text wie Shakespeares Romeo und Julia in kleinere Abschnitte, fassten diese Abschnitte zusammen, fassten diese Zusammenfassungen zusammen und dann diese und so weiter, bis sie eine prägnante, leicht zu überprüfende finale Zusammenfassung erhielten. Dieser Prozess ähnelt dem Vorgehen eines Lehrers, der bei einer Mathematikaufgabe die einzelnen Schritte einfordert – er ermöglicht es menschlichen Bewertern, Zwischenzusammenfassungen zu überprüfen und genau festzustellen, wo eine Zusammenfassung möglicherweise vom Kurs abgekommen ist.

KI-Kritik: Schärfung des menschlichen Urteilsvermögens

Auf dieser Grundlage entwickelte OpenAI 2022 Modelle, die von anderen KI-Systemen erstellte Zusammenfassungen kritisieren konnten. Als menschlichen Bewertern diese von KI erstellten Kritiken vorgelegt wurden, konnten sie etwa 50 % mehr Fehler finden als ohne diese Kritiken. Das verbesserte nicht nur die Qualität der Zusammenfassungen, sondern reduzierte auch die kognitive Belastung der menschlichen Bewerter erheblich – potenzielle Fehler wurden für eine genauere Überprüfung hervorgehoben.

Diese Techniken sind pragmatische Erweiterungen bestehender Methoden. Als KI-Ingenieur erkennst Du sie als wertvolle Schritte zur Verbesserung der Effizienz und Effektivität aktueller KI-Entwicklungspipelines, insbesondere für Aufgaben wie die Textgenerierung.

KI als Gegner und die Kraft der Debatte

Das Konzept geht über die reine Unterstützung hinaus: Was wäre, wenn KI-Systeme dabei helfen könnten, andere KI-Systeme in Schach zu halten? Das führt zu komplexeren Ansätzen wie KI-Sicherheit durch Debatte.

Stell Dir ein Szenario vor, in dem zwei separate KI-Modelle mit der Lösung eines komplexen Problems beauftragt sind. Anstatt einfach nur eine Antwort zu liefern, führen diese KIs eine strukturierte Debatte. Jede KI verteidigt ihre vorgeschlagene Lösung und versucht gleichzeitig, logische Fehler, sachliche Ungenauigkeiten oder potenzielle Schwachstellen in der Argumentation der gegnerischen KI aufzudecken. Ein menschlicher Bewerter fungiert als „Jury“, beobachtet die Debatte und wählt die überzeugendste Lösung aus.

Die Theorie dahinter:

In einer Debatte ist es von Vorteil, richtig zu liegen. Selbst wenn die KI ein weitaus besseres Verständnis des Problems hat als Du als menschlicher Bewerter, kannst Du möglicherweise dennoch erkennen, welche KI ein kohärenteres, robusteres und letztlich korrekteres Argument vorbringt.

Als erfahrener Ingenieur findest Du dieses Konzept intellektuell reizvoll, da es über einfache Feedback-Mechanismen hinausgeht und einen eher kontradiktorischen, wahrheitssuchenden Ansatz verfolgt – KI wird möglicherweise dazu gezwungen, ihre Argumentation auf verständlichere Weise zu erklären.

Andere vorgeschlagene Techniken, wie rekursive Belohnungsmodellierung und iterierte Destillation und Amplifikation, untersuchen ebenfalls, wie KI zu ihrer eigenen Ausrichtung beitragen kann – oft aufbauend auf ähnlichen Prinzipien der internen Verifizierung und Verfeinerung.

„Sandwiching“: Ein empirischer Testbereich für die Überwachung übermenschlicher KI

Hier kommt „Sandwiching“ ins Spiel, ein brillantes experimentelles Paradigma, das 2021 von Ajeya Cotra vorgeschlagen wurde.

„Sandwiching“ ermöglicht es uns, skalierbare Überwachungstechniken an KI-Modellen zu evaluieren, die nur in begrenztem Umfang übermenschlich sind – noch bevor eine vollständig allgemeine KI entwickelt wurde. Was bedeutet „geringfügig übermenschlich“? Damit sind aktuelle KI-Modelle gemeint, die einige Menschen bei bestimmten, komplexen „unscharfen Aufgaben“ übertreffen – Aufgaben, für die es keine leicht zu generierenden Trainingssignale gibt oder die schwer zu bewerten sind. Beispiele sind die Erteilung medizinischer Ratschläge oder die Auswahl guter Aktien. Diese KIs übertreffen zwar möglicherweise nicht jeden menschlichen Experten (ein qualifizierter Arzt ist für medizinische Ratschläge wahrscheinlich immer noch besser als GPT-4), aber sie übertreffen den Durchschnittsmenschen in diesen spezifischen Bereichen.

Wie Sandwiching in der Praxis funktioniert

Die Kernidee: die zukünftige Herausforderung der Aufsicht bereits jetzt zu simulieren. Hier ist das „Sandwich“:

• Die „übermenschliche“ KI (die Füllung):
  Ein aktuelles KI-Modell, das bei einer bestimmten unscharfen Aufgabe nachweislich besser ist als Nicht-Experten.
• „Nicht-Experten“ (eine Scheibe Brot): 
  Eine Gruppe von Menschen, denen tiefgreifende Fachkenntnisse fehlen, die aber über die skalierbaren Überwachungstechniken verfügen, die wir testen möchten. Sie repräsentieren eine zukünftige Version der Menschheit, die versucht, eine KI zu überwachen, die sie nicht vollständig versteht.
• „Experten“ (die andere Scheibe Brot / die Grundwahrheit):
  Eine separate Gruppe von Fachexperten, die die Aufgabe gut verstehen und die „Grundwahrheit“ oder die richtigen Antworten liefern können.

In einem „Sandwiching“-Experiment nutzen die Nicht-Experten ihre Überwachungstechniken, um die übermenschliche KI dazu anzuleiten, genaue und hilfreiche Ergebnisse zu generieren – ohne die tatsächlichen menschlichen Experten zu konsultieren. Das Ziel: zu sehen, wie gut diese Nicht-Experten unabhängig voneinander ein nicht (oder weniger) abgestimmtes Modell, das leistungsfähiger ist als sie selbst, so steuern können, dass es eine Leistung auf Expertenniveau erbringt. Die Ergebnisse werden dann mit den Urteilen der tatsächlichen Experten verglichen.

Eine Demonstration aus der Praxis:

Eine Studie aus dem Jahr 2022 demonstrierte Sandwiching auf eindrucksvolle Weise. Forscher beauftragten Laien damit, Multiple-Choice-Fragen aus dem MMLU-Benchmark (der verschiedene Themenbereiche von Hochschulphysik bis Moral abdeckt) und Fragen zu langen Kurzgeschichten unter strengen Zeitvorgaben zu beantworten. Das KI-Modell übertraf in beiden Aufgaben die Leistungen der Menschen ohne Unterstützung. Die Überwachungstechnik bestand aus einer einfachen Textkonversation mit einem Sprachmodell.

Bemerkenswert: Die unterstützten Menschen erzielten deutlich bessere Ergebnisse als sowohl die Menschen ohne Unterstützung als auch das Modell allein. Sie lernten, komplexe Fragen aufzuschlüsseln und den Chatbot nach Fakten zu befragen. Sie erreichten zwar nicht die Leistung von Experten, aber sie konnten das Verhalten des Modells erfolgreich in die gewünschte Richtung lenken.

Das Experiment zeigte jedoch auch kritische Herausforderungen auf: Der Chatbot stimmte den Teilnehmern manchmal zu schnell zu, und Nicht-Experten, denen externe Faktenprüfungsmöglichkeiten fehlten, akzeptierten gelegentlich plausibel klingende, aber falsche Behauptungen der KI – was zu selbstbewussten, aber falschen Urteilen führte.

Als erfahrener KI-Ingenieur würdest Du schnell auf diese Ergebnisse hinweisen und betonen, dass das „Last Mile“-Problem einer robusten Ausrichtung und die Gefahren einer übermäßigen Abhängigkeit von KI-Ergebnissen erhebliche Hürden darstellen, insbesondere in begrenzten Versuchsumgebungen im Vergleich zur Komplexität der realen Welt.

Der Weg in die Zukunft: Eine empirische Wissenschaft der KI-Sicherheit

Das „Sandwiching“-Paradigma bietet trotz seiner derzeitigen Vereinfachungen eine wichtige Grundlage für zukünftige Forschungen: Es ermöglicht die iterative Entwicklung und Verfeinerung von Abgleichtechniken in einer kontrollierten, empirischen Umgebung.

Zukünftige Experimente könnten sich mit der Feinabstimmung von Modellen, der Integration von Debattenmechanismen oder sogar der Bereitstellung von Interpretationswerkzeugen für die Teilnehmer befassen, um das interne Denken der KI besser zu verstehen.

Dieser Wandel hin zu einer empirischen Wissenschaft der KI-Sicherheit ist entscheidend.

Er verlagert die Diskussion von abstrakter Philosophie zu konkreten, überprüfbaren Hypothesen. Durch die Kombination der Entwicklung neuartiger Überwachungstechniken mit einer strengen Bewertung ihrer Wirksamkeit können wir beginnen, gerechtfertigtes Vertrauen in unsere Fähigkeit aufzubauen, die leistungsstarken KI-Systeme von morgen zu überwachen.

Quellen & Hinweise

1. „The case for aligning narrowly superhuman models“ (Ajeya Cotra, 2021)
   • https://www.lesswrong.com/posts/PZtsoaoSLpKjjbMqM/the-case-for-aligning-narrowly-superhuman-models
   • Der ursprüngliche Blogbeitrag, der das Konzept des „Sandwiching“ ausführlich vorstellt. Ajeya Cotra ist eine führende Denkerin im Bereich der KI-Sicherheit.
2. „Learning to Summarize from Human Feedback“ (OpenAI, 2020)
   • https://arxiv.org/abs/2009.01325
   • Schlüsselpapier zu den Anfängen von RLHF und den Bemühungen von OpenAI, KI-Zusammenfassungen zu erstellen, die den menschlichen Präferenzen entsprechen
3. „Our approach to alignment research“ (OpenAI, 2022)
   • https://openai.com/index/our-approach-to-alignment-research/
   • Training AI systems using human feedback
   • Training AI systems to assist human evaluation
   • Training AI systems to do alignment research
4. „AI Safety via Debate“ (OpenAI, 2018)
   • https://openai.com/index/debate/
   • Das Konzept, wie KI-Modelle durch Debatten zur Sicherheit beitragen können.
5. „Measuring Progress on Scalable Oversight for Large Language Models“ (Sam Bowman, 2022)
   • https://arxiv.org/abs/2211.03540
   • Das praktische Experiment zum „Sandwiching“.
6. AI Safety Hub, aisafety.com
   • Ein großartiges Portal, um sich im Ökosystem der KI-Sicherheit zurechtzufinden, mit Listen von Gemeinschaften, Veranstaltungen, Finanzierungsmöglichkeiten und mehr.
7. LessWrong und Alignment Forum
   • lesswrong.com und alignmentforum.org
   • Diskussionsplattformen, auf denen viele der führenden Forschenden und Denker im Bereich der KI-Sicherheit ihre Ideen austauschen, Paper diskutieren und erste Konzepte vorstellen. Man findet hier oft Vorabversionen von Ideen und tiefgehende Diskussionen.