Wenn von neuen oder verbesserten LLMs (Large Language Models) berichtet wird, wie in letzter Zeit bei OpenChat oder Mistral, oder auch wenn es nur um die Leistungsfähigkeit von ChatGPT geht, werden immer wieder Benchmarkwerte angezeigt und ins Spiel gebracht.
Die Benchmarks sollen dabei zum einen die Leistungsfähigkeit der LLMs darstellen und zum anderen eine Vergleichbarkeit zwischen den Systemen ermöglichen. Diese Benchmarks sind aber meistens nur dem wirklich fachkundigen Publikum inhaltlich ein Begriff.
In diesem Beitrag werden daher einige der Methoden und Benchmarks zur Bewertung generativer KI-Modelle vorgestellt. Diese Werkzeuge sind entscheidend für die objektive Leistungsbewertung, da diese standardisierte und vergleichbare Testszenarien bieten.
Die Vielfalt der Aufgaben der Testmethoden gewährleistet, dass Modelle in verschiedenen realen Anwendungsbereichen effektiv sind, von Sprachverständnis bis hin zur Bilderkennung. Ihre Nutzung fördert Transparenz und Vertrauen in KI-Systeme und erleichtert die interdisziplinäre Zusammenarbeit. Die Methoden sind unverzichtbar für die Entwicklung, Bewertung und Verbesserung von KI-Modellen, sie ermöglichen es, Fortschritte zu messen und die Grenzen der KI-Technologie kontinuierlich zu erweitern.
1. MMLU (Massive Multitask Language Understanding)
Erklärung: MMLU ist ein umfangreicher Benchmark, der darauf abzielt, das allgemeine Sprachverständnis von KI-Systemen zu bewerten. Er umfasst eine breite Palette von Themen, von Geschichte über Naturwissenschaften bis hin zu Kunst und Literatur, in Form von Multiple-Choice-Fragen.
Anwendungsbereich: MMLU ist ein umfassender Benchmark für sprachliches Verständnis, der eine Vielzahl von Themen abdeckt.
Aktuelle Nutzung: MMLU wird häufig verwendet, um die Fähigkeit von KI-Modellen zu bewerten, komplexe Textinhalte über ein breites Themenspektrum hinweg zu verstehen.
Beispiele:
- Frage: „Wer schrieb ‚Krieg und Frieden‘?“
Optionen:
A) Leo Tolstoi
B) Fjodor Dostojewski
C) Anton Tschechow
D) Ivan Turgenew
Antwort: A) Leo Tolstoi - Frage: „Bei welcher Temperatur gefriert Wasser?“
Optionen:
A) 0 Grad Celsius
B) 100 Grad Celsius
C) 32 Grad Fahrenheit
D) 212 Grad Fahrenheit
Antwort: A) 0 Grad Celsius
2. HellaSwag
Erklärung: HellaSwag ist ein Benchmark, der die Fähigkeit von KI-Modellen testet, plausible Fortsetzungen für unvollständige Szenarien zu generieren, basierend auf Common-Sense-Verständnis.
Anwendungsbereich: Testet das Verständnis von Common-Sense-Szenarien und Vorhersagefähigkeiten.
Aktuelle Nutzung: Wird verwendet, um zu bewerten, wie gut Modelle plausible Szenarien aus einer Reihe von Möglichkeiten auswählen können.
Beispiele:
- Aussage: „Ein Kind baut einen Sandburg.“
Fortsetzungen:
A) „Es fügt Wasser hinzu.“
B) „Es beginnt zu regnen.“
C) „Das Kind isst den Sand.“
D) „Das Kind geht schlafen.“
Antwort: A) „Es fügt Wasser hinzu.“ - Aussage: „Jemand zündet eine Kerze an.“
Fortsetzungen:
A) „Die Flamme erlischt.“
B) „Die Kerze beginnt zu schmelzen.“
C) „Die Kerze verwandelt sich in eine Blume.“
D) „Die Kerze fliegt weg.“
Antwort: B) „Die Kerze beginnt zu schmelzen.“
3. ARC Challenge (AI2 Reasoning Challenge)
Erklärung: Die ARC Challenge besteht aus naturwissenschaftlichen Fragen, die ein tiefgehendes Verständnis und komplexe Schlussfolgerungsfähigkeiten erfordern. Der Fokus liegt auf der Bewertung des analytischen Denkvermögens der KI.
Anwendungsbereich: Fokussiert auf wissenschaftliches Verständnis und logisches Denken.
Aktuelle Nutzung: Einsatz zur Bewertung der Fähigkeit von Modellen, komplexe, wissenschaftsbasierte Fragen zu beantworten.
Beispiele:
- Frage: „Was ist in der Regel notwendig, um einen Nagel in Holz zu treiben?“
Optionen:
A) Schraubenzieher
B) Hammer
C) Bohrer
D) Zange
Antwort: B) Hammer - Frage: „Welcher Planet ist als ‚Roter Planet‘ bekannt?“
Optionen:
A) Venus
B) Mars
C) Jupiter
D) Saturn
Antwort: B) Mars
4. WinoGrande
Erklärung: WinoGrande ist ein Test für das Verständnis von Winograd-Schema-Sätzen und basiert auf Common-Sense-Logik. Er fordert von KI-Modellen, Ambiguitäten in Sätzen zu erkennen und aufzulösen.
Anwendungsbereich: Test für das Verständnis von Winograd-Schema-Sätzen, die auf Common-Sense-Logik basieren.
Aktuelle Nutzung: Wird verwendet, um die Fähigkeit von KI-Modellen zu testen, subtile sprachliche Nuancen und implizite Beziehungen zu verstehen.
Beispiele:
- Satz: „Die Stadt konnte die Brücke nicht bauen, weil sie zu groß war.“
Frage: Auf was bezieht sich „sie“?
Antwort: Die Brücke - Satz: „Der Jäger zielte auf den Bären, weil er gefährlich war.“
Frage: Auf wen bezieht sich „er“?
Antwort: Der Bär
5. MBPP (MassiveBank of Python Problems)
Erklärung: MBPP ist ein Benchmark zur Bewertung der Fähigkeit von KI-Modellen, Programmieraufgaben in Python zu lösen. Er umfasst eine Vielzahl von praktischen Programmierproblemen.
Anwendungsbereich: Bewertet KI-Modelle im Bereich der Programmierung.
Aktuelle Nutzung: Wird verwendet, um zu testen, wie gut Modelle in der Lage sind, Programmieraufgaben zu verstehen und zu lösen.
Beispiele:
- Schreibe eine Funktion in Python, die prüft, ob eine Zahl gerade ist.
def is_even(num):
return num % 2 == 0- Schreibe eine Funktion in Python, die eine Liste von Strings entgegennimmt und den längsten String zurückgibt.
def longest_string(strings):
return max(strings, key=len)6. GSM-8K (Grade School Math 8k)
Erklärung: GSM-8K ist ein Benchmark zur Überprüfung der Fähigkeit von KI-Modellen, mathematische Probleme auf Grundschulniveau zu lösen.
Anwendungsbereich: Bewertet die Fähigkeit von KI-Modellen, mathematische Probleme zu lösen.
Aktuelle Nutzung: Nützlich für die Bewertung von KI in Bezug auf mathematisches Verständnis und Problemlösungsfähigkeiten.
Beispiele:
- Problembeschreibung:
„Jerome hatte 4 Freunde, die ihn an einem bestimmten Tag besuchten. Der erste Freund drückte 20 Mal auf die Türklingel, bevor Jerome öffnete, der zweite Freund drückte 1/4 Mal mehr auf die Türklingel als Jeromes erster Freund. Der dritte Freund drückte 10 Mal mehr auf die Türklingel als der vierte Freund. Wenn der vierte Freund 60 Mal auf die Türklingel drückte, wie viele Klingelzeichen gab die Türklingel insgesamt von sich?“
Antwort mit Lösungsweg:
„Der zweite Freund drückte 1/4 Mal mehr auf die Türklingel als Jeromes erster Freund, insgesamt 1/4*20=5 Mal. Der zweite Freund von Jerome drückte also 20+5=25 Mal auf die Türklingel. Die ersten beiden Freunde drückten insgesamt 25+20=45 Mal auf die Türklingel, bevor Jerome öffnen konnte. Der dritte Freund von Jerome drückte 60+10=70 Mal auf die Türklingel, bevor Jerome öffnen konnte. Insgesamt drückten Jeromes dritter und vierter Freund 70+60=130 Mal auf die Türklingel, bevor Jerome öffnen konnte. Die Anzahl der Klingelzeichen, die Jeromes Freunde machten, bevor Jerome öffnen konnte, beträgt 130+45=175 Mal.“ - Problembeschreibung:
„Cody isst dreimal so viele Kekse wie Amir. Wenn Amir 5 Kekse isst, wie viele Kekse essen beide zusammen?“
Antwort mit Lösungsweg:
„Cody isst 5*3 = 15 Kekse. Cody und Amir essen zusammen 15+5 = 20 Kekse.“
7. MT Bench (Machine Translation Benchmark)
Erklärung: MT Bench bewertet die Fähigkeit von KI-Modellen zur maschinellen Übersetzung zwischen verschiedenen Sprachen.
Anwendungsbereich: Misst die Fähigkeit von KI-Modellen zur maschinellen Übersetzung.
Aktuelle Nutzung: Wichtig für die Beurteilung der Qualität von Übersetzungsmodellen.
Beispiele:
- Englisch: „Life is what happens when you’re busy making other plans.“
Deutsche Übersetzung: „Das Leben ist das, was passiert, während du beschäftigt bist, andere Pläne zu machen.“ - Englisch: „To be or not to be, that is the question.“
Deutsche Übersetzung: „Sein oder Nichtsein, das ist hier die Frage.“
8. GLUE und SuperGLUE
Erklärung: GLUE und SuperGLUE sind Sammlungen von Benchmark-Methoden, die darauf abzielen, das Verständnis natürlicher Sprache und komplexe Textverarbeitungsfähigkeiten zu testen.
Anwendungsbereich: Eine Reihe von Tests zur Bewertung des allgemeinen Sprachverständnisses.
Aktuelle Nutzung: Dienen als Standardbenchmarks in der KI-Forschung, um die Sprachverarbeitungsfähigkeiten von Modellen zu messen.
Beispiele für die in GLUE und SuperGLUE inkludierten Benchmarks und Methoden
- CoLA (Corpus of Linguistic Acceptability) aus GLUE
- Aufgabe: Beurteilen, ob ein gegebener Satz grammatisch ist. Hier bezieht sich der Begriff „grammatisch“ auf die Korrektheit eines Satzes gemäß den Regeln der jeweiligen Sprache, in diesem Fall des Deutschen. CoLA ist ein Datensatz, der aus Sätzen besteht, die entweder als grammatisch korrekt oder unkorrekt klassifiziert werden.
- Beispiel 1:
- Satz: „Die Katzen schlafen.“
- Bewertung: Grammatisch
- Beispiel 2:
- Satz: „Die Katzen schläft.“
- Bewertung: Ungrammatisch
- SST-2 (Stanford Sentiment Treebank) aus GLUE
- Aufgabe: Bestimmen des Sentiments (positiv/negativ) eines Satzes.
- Beispiel:
- Satz: „Dieser Film war ein visuelles Meisterwerk.“
- Bewertung: Positiv
- MNLI (Multi-Genre Natural Language Inference) aus GLUE
- Aufgabe: Entscheiden, ob eine Hypothese aus einer Prämisse folgt, ihr widerspricht oder weder noch.
- Beispiel:
- Prämisse: „Ein Hund schläft auf dem Sofa.“
- Hypothese: „Das Tier ist müde.“
- Bewertung: Folgt
- QNLI (Question Natural Language Inference) aus GLUE
- Aufgabe: Bestimmen, ob die Antwort auf eine Frage im gegebenen Text enthalten ist.
- Beispiel:
- Frage: „Wo leben Koalas?“
- Text: „Koalas sind ein Symbol für Australien und leben in den Eukalyptuswäldern.“
- Bewertung: Ja
- RTE (Recognizing Textual Entailment) aus GLUE
- Aufgabe: Entscheiden, ob eine Textpassage eine andere impliziert.
- Beispiel:
- Text: „Die NASA hat einen neuen Satelliten gestartet.“
- Hypothese: „Ein Satellit wurde ins All geschickt.“
- Bewertung: Wahr
- BoolQ (Boolean Questions) aus SuperGLUE
- Aufgabe: Beantwortung von Ja/Nein-Fragen basierend auf einem Absatz.
- Beispiel:
- Absatz: „Pandas leben hauptsächlich in China.“
- Frage: „Leben Pandas in Afrika?“
- Antwort: Nein
- CB (CommitmentBank) aus SuperGLUE
- Aufgabe: Bestimmen, ob eine Hypothese aus einer gegebenen Aussage folgt, ihr widerspricht oder ob es unentscheidbar ist.
- Beispiel:
- Aussage: „Tom hat gesagt, er kommt zur Party.“
- Hypothese: „Tom wird bei der Party sein.“
- Bewertung: Folgt
- WiC (Words in Context) aus SuperGLUE
- Aufgabe: Bestimmen, ob ein Wort in zwei Sätzen dieselbe Bedeutung hat.
- Beispiel:
- Satz 1: „Er zog seinen Hut tief ins Gesicht.“
- Satz 2: „Sie gewann einen Preis im Lotto.“
- Wort: „zog“
- Bewertung: Unterschiedlich
9. SQuAD (Stanford Question Answering Dataset)
Erklärung: SQuAD ist ein Benchmark für maschinelles Textverständnis, bei dem Fragen basierend auf einem vorgegebenen Textabschnitt beantwortet werden müssen.
Beispiele:
- Text: „Albert Einstein wurde 1879 in Ulm geboren.“ Frage: „Wo wurde Albert Einstein geboren?“ Antwort: „In Ulm“
- Text: „Die Erde dreht sich um die Sonne.“ Frage: „Um was dreht sich die Erde?“ Antwort: „Die Sonne“
10. COCO (Common Objects in Context)
Erklärung: COCO konzentriert sich auf Bilderkennung und -beschreibung. Es beinhaltet Aufgaben zur Objekterkennung, Segmentierung und Generierung von Bildbeschreibungen.
Beispiele:
- Bild: Ein Bild von einem Hund, der einen Frisbee fängt. Beschreibung: „Ein Hund springt, um einen Frisbee zu fangen.“
- Bild: Eine Aufnahme einer belebten Straßenkreuzung. Beschreibung: „Menschen und Fahrzeuge an einer belebten Kreuzung.“
Wie ist die Bedeutung der einzelnen KI-Prüfungsmethoden?
MMLU und HellaSwag: Hoch bewertet für das Testen von allgemeinem Sprachverständnis und Common-Sense-Logik. Diese Benchmarks sind besonders wertvoll für die Bewertung von KI-Modellen, die in der Lage sein müssen, komplexe Textinhalte zu verstehen und plausible Szenarien in verschiedenen Kontexten zu generieren.
ARC Challenge und WinoGrande: Wesentlich für das Überprüfen von analytischem Denken und Problemlösungsfähigkeiten. Diese Tests sind entscheidend für Modelle, die in Bereichen wie Bildung, Forschung und in Situationen, die ein tiefes Verständnis von Sprachnuancen erfordern, eingesetzt werden.
MBPP und GSM-8K: Sehr relevant für das Testen spezifischer Fähigkeiten wie Programmierung und mathematisches Verständnis. Diese Benchmarks sind unerlässlich für die Bewertung von KI-Modellen, die in technischen und bildungsbezogenen Anwendungen eingesetzt werden, wo präzise und korrekte Lösungen von hoher Bedeutung sind.
MT Bench: Wichtig für das Beurteilen von Fähigkeiten in maschineller Übersetzung. Dieser Benchmark ist zentral für die Bewertung von KI-Modellen, die in der Lage sein müssen, Texte präzise und kohärent in verschiedene Sprachen zu übersetzen, eine Schlüsselkomponente in der globalisierten Welt.
GLUE/SuperGLUE und SQuAD: Zentral für die Bewertung des umfassenden Sprachverständnisses und der Fähigkeit, auf spezifische Fragen präzise Antworten zu liefern. Diese Benchmarks sind entscheidend für die Bewertung von KI-Modellen, die in einer Vielzahl von Anwendungen eingesetzt werden, von automatisierten Kundendienstsystemen bis hin zu Assistenten, die komplexe, sprachbasierte Aufgaben bewältigen.
COCO: Von hoher Bedeutung für das Testen von Fähigkeiten in der Bilderkennung und -beschreibung. Dieser Benchmark ist entscheidend für KI-Modelle im Bereich der Computer Vision, einem wesentlichen Feld in der modernen KI, das von autonomen Fahrzeugen bis hin zur medizinischen Bildanalyse reicht.
Allgemeiner Hinweis:
Dieser Text wurde durch die Zuhilfenahme von ChatGPT mitgeneriert, bzw. Fachbegriffe wurden durch einen GPT erklärt.