„Levels of AGI: Operationalizing Progress on the Path to AGI“

Der Artikel „Levels of AGI: Operationalizing Progress on the Path to AGI“, verfasst von Meredith Ringel Morris, Jascha Sohl-Dickstein, Noah Fiedel, Tris Warkentin, Allan Dafoe, Aleksandra Faust, Clement Farabet und Shane Legg​, beschäftigt sich mit der Klassifizierung und Bewertung von Künstlicher Allgemeiner Intelligenz (AGI) und deren Vorläufern.

Der Artikel beschäftigt sich mit der Klassifizierung der Fähigkeiten und Verhaltensweisen von Modellen der Künstlichen Allgemeinen Intelligenz (AGI) und deren Vorläufern. Die Autoren schlagen ein Rahmenwerk vor, das verschiedene Ebenen der AGI-Leistungsfähigkeit, Allgemeinheit und Autonomie definiert. Sie diskutieren die schnelle Entwicklung von Maschinenlernmodellen und wie das Konzept der AGI von einer philosophischen Debatte zu einem Thema mit praktischer Relevanz geworden ist. Ziel des Rahmenwerks ist es, eine gemeinsame Sprache zur Modellvergleichung, Risikobewertung und Fortschrittsmessung auf dem Weg zur AGI zu bieten

Der Artikel adressiert dabei Fragen wie:

1. Was bedeutet AGI in der aktuellen Forschung?
2. Wie kann der Fortschritt in Richtung AGI gemessen und bewertet werden?
3. Wie passen aktuelle Systeme in das Konzept der AGI?

In ihrem Ansatz definieren die Autoren sechs grundlegende Prinzipien für eine operationale AGI-Definition, die sich auf Fähigkeiten, Allgemeinheit, kognitive und metakognitive Aufgaben sowie den Entwicklungsweg zur AGI konzentrieren. Sie führen die „Levels of AGI“-Ontologie ein, die verschiedene Leistungsstufen (von „Emerging“ bis „Superhuman“) in Verbindung mit dem Allgemeinheitsgrad (entweder „Narrow“ oder „General“) berücksichtigt.

Der Artikel hebt hervor, dass AGI nicht unbedingt mit Autonomie gleichzusetzen ist, und diskutiert, wie der Fortschritt in den AGI-Ebenen neue Autonomieebenen freischaltet, diese aber nicht festlegt. Dies ermöglicht differenziertere Einblicke in die Risiken, die mit fortschrittlichen KI-Systemen verbunden sind, und betont die Bedeutung von Forschung und Entwicklung in der Mensch-KI-Interaktion.

Die sechs Prinzipien, die im Artikel „Levels of AGI: Operationalizing Progress on the Path to AGI“ zur Definition und Bewertung von Künstlicher Allgemeiner Intelligenz (AGI) vorgeschlagen werden, sind:

1. Fokussierung auf Fähigkeiten, nicht Prozesse: Dieses Prinzip betont, dass die Bewertung von AGI auf den Fähigkeiten und Ergebnissen, die ein AGI-System erzielen kann, basieren sollte, anstatt auf den spezifischen Mechanismen oder Prozessen, die es nutzt.
2. Betonung von Allgemeinheit und Leistung: AGI sollte sowohl in Bezug auf seine Allgemeinheit (d.h. die Fähigkeit, eine breite Palette von Aufgaben zu bewältigen) als auch hinsichtlich seiner Leistung (d.h. wie gut es diese Aufgaben ausführt) bewertet werden.
3. Fokus auf kognitive und metakognitive Aufgaben: Der Schwerpunkt sollte auf Aufgaben liegen, die kognitive und metakognitive Fähigkeiten erfordern, wie Problemlösung und Lernen, anstatt auf physischen Aufgaben.
4. Fokus auf Potenzial statt Einsatz: Die Beurteilung von AGI sollte sich darauf konzentrieren, was das System potenziell erreichen könnte, anstatt sich ausschließlich auf seine aktuellen Einsatzbereiche zu beschränken.
5. Ökologische Validität für Benchmarking-Aufgaben: Die Aufgaben und Benchmarks zur Bewertung von AGI sollten ökologisch valide sein, das heißt, sie sollten realistische, praxisnahe Szenarien widerspiegeln, um die Anwendbarkeit der AGI in realen Kontexten zu testen.
6. Fokus auf den Weg zur AGI statt auf einen einzelnen Endpunkt: Anstatt sich auf die Erreichung eines endgültigen AGI-Status zu konzentrieren, sollte der Schwerpunkt auf den verschiedenen Entwicklungsstadien und Fortschritten auf dem Weg zur Erreichung von AGI liegen.

Diese Prinzipien dienen als Grundlage für ein differenzierteres Verständnis und eine präzisere Bewertung von AGI, indem sie eine breitere Perspektive auf die Fähigkeiten und das Potenzial von AGI-Systemen bieten.

Innerhalb des Artikel stellen die Autoren auch eine Differenzierung der verschiedenen KI-Level dar:

• Level 0: Keine KI – Hierzu gehören nicht-kognitive Tools wie Taschenrechner-Software oder Compiler.
• Level 1: Emerging – Einfache regelbasierte Systeme oder frühe KI-Modelle, die in spezifischen Bereichen besser als ungeschulte Menschen sind.
• Level 2: Competent – KI-Systeme, die mindestens so kompetent sind wie die durchschnittlichen fähigen Erwachsenen, zum Beispiel Toxizitätsdetektoren oder digitale Assistenten wie Siri oder Alexa.
• Level 3: Expert – KI, die in mindestens 90% der Fälle so leistungsstark ist wie ein Experte, beispielsweise Grammatikprüfer oder spezifische generative Bildmodelle.
• Level 4: Virtuoso – KI-Systeme, die in den meisten Fällen besser als Experten sind, wie beispielsweise Deep Blue im Schach.
• Level 5: Superhuman – KI, die in jeder Hinsicht menschliche Leistung übertrifft, wie AlphaFold bei der Proteinstrukturbestimmung.

Interessant an dem Artikel ist auch die Einschätzung in der Tabelle auf Seite 6. Die Tabelle verdeutlicht , dass bestimmte AGI-Level in der „General“-Kategorie, wie Competent AGI, Expert AGI und Virtuoso AGI, zum Zeitpunkt der Veröffentlichung noch nicht erreicht wurden, und dass die ultimative Stufe der AGI, Artificial Superintelligence (ASI), ebenfalls noch nicht verwirklicht ist.

Der Text ist unter folgender Quellenangabe verfügbar:

Morris, M. R., Sohl-Dickstein, J., Fiedel, N., Warkentin, T., Dafoe, A., Faust, A., Farabet, C., & Legg, S. (2023). Levels of AGI: Operationalizing Progress on the Path to AGI. [PDF]. Verfügbar unter https://arxiv.org/pdf/2311.02462.pdf