KI Glossar - Infos zu KI

Backpropagation Phase	In der Backpropagation-Phase eines neuronalen Netzwerks wird der Fehler zwischen dem erzeugten Ausgabewert und dem erwarteten Wert berechnet. Dieser Fehler wird rückwärts durch das Netzwerk geleitet, um die Gewichte anzupassen. Diese Anpassung erfolgt mit dem Ziel, den Fehler zu minimieren und die Genauigkeit des Modells zu verbessern.
BERT (Bidirectional Encoder Representations from Transformers)	Ein von Google entwickeltes Sprachmodell, das 2018 eingeführt wurde und in der Natural Language Processing (NLP) Technologie eingesetzt wird. BERT unterscheidet sich von früheren Modellen durch seine bidirektionale Kontexterfassung von Wörtern in Texten. Es gibt zwei Hauptversionen: BERTBASE mit 110 Millionen und BERTLARGE mit 340 Millionen Parametern, beide vortrainiert auf umfangreichen Textsammlungen, einschließlich des Toronto BookCorpus und der englischen Wikipedia. BERT verwendet eine Encoder-only-Architektur und das WordPiece-Tokenisierungssystem. Es wird vortrainiert in zwei Hauptaufgaben: die Vorhersage zufällig maskierter Wörter und die Vorhersage des nächsten Satzes. Diese Methodik ermöglicht es BERT, tiefergehende Kontextinformationen zu erfassen. Trotz seiner beeindruckenden Leistung in verschiedenen NLP-Aufgaben hat BERT Einschränkungen, wie die Unfähigkeit zur Textgenerierung. Die Technologie wurde schnell in Anwendungen wie Google Search integriert und hat die Entwicklung weiterer fortschrittlicher Sprachmodelle beeinflusst. Weitere Informationen
Diffusionsmodell	Diffusionsmodelle sind generative KI-Modelle zur Bildgenerierung, die auf Forward und Reverse Diffusion basieren. Zuerst wird einem klaren Bild Rauschen hinzugefügt, dann wird dieses Rauschen entfernt, um ein detailliertes Bild zu erzeugen. Sie nutzen fortschrittliche Algorithmen und maschinelles Lernen und sind bekannt für die Erstellung qualitativ hochwertiger, kreativer Bilder. Ihre Stärke liegt in der Fähigkeit, aus zufälligem Rauschen einzigartige Bilder zu schaffen.
DL (Deep Learning)	DL, ein Teilbereich des maschinellen Lernens, verwendet Algorithmen, die von der Struktur und Funktion des Gehirns inspiriert sind und als künstliche neuronale Netze bezeichnet werden. Deep Learning erkennt Muster und trifft Vorhersagen aus großen Datensätzen und wird in NLP, Computer Vision und Spracherkennung eingesetzt.
Feed Forward Neural Networks	Feed Forward Neural Networks sind eine Art von künstlichen neuronalen Netzen, bei denen die Informationen nur in eine Richtung fließen: von den Eingabe- zu den Ausgabeschichten, ohne Rückkopplungsschleifen. Sie bestehen aus Schichten von Neuronen, wobei jede Schicht vollständig mit der nächsten verbunden ist.
Feed forward Phase	Die Feedforward-Phase ist der Teil eines neuronalen Netzwerks, in dem Informationen von der Eingabeschicht durch die verborgenen Schichten bis zur Ausgabeschicht fließen. Jedes Neuron in der Schicht verarbeitet die Eingaben, führt Berechnungen durch und leitet das Ergebnis an die nächste Schicht weiter.
GPT (Generative Pretrained Transformer)	GPT ist ein Modell zur Verarbeitung natürlicher Sprache, das mit einer großen Menge an Text trainiert wurde, um neuen Text zu erzeugen. Es wird verwendet, um Text zu Themen, Sprachen oder Genres zu generieren und für Anwendungen wie Fragenbeantwortung, Zusammenfassungen und Dialogsysteme.
Forward Diffusion	Forward Diffusion ist ein Schritt in Diffusionsmodellen, bei dem ein klares Bild schrittweise mit Rauschen überlagert wird. In diesem Prozess verliert das Bild an Klarheit und Struktur, ähnelt zunehmend zufälligem Rauschen. Die ursprünglichen Pixel werden durch zufällige Pixel ersetzt, was zu einem verschwommenen Abbild führt. Dieser Schritt bereitet die Umkehrung im Prozess, die Reverse Diffusion, vor.
Foundation Model	Ein Foundation Model ist ein großes maschinelles Lernmodell, das auf einer riesigen Menge an Daten trainiert wird. Es kann für eine Vielzahl von Aufgaben angepasst werden und hat die Art und Weise, wie KI-Systeme gebaut werden, maßgeblich verändert. Beispiele sind Googles BERT oder OpenAIs GPT-Serie. Diese Modelle werden oft selbstüberwacht oder semi-überwacht trainiert und finden Anwendung in Bereichen wie Sprachverarbeitung, Bilderkennung und multimodale Aufgaben.
Interference	In der KI bezieht sich „Interference“ (Inferenz) auf den Prozess, bei dem ein trainiertes Modell neue Daten verarbeitet und darauf basierend Vorhersagen oder Entscheidungen trifft. Diese Phase ist entscheidend für die Anwendung des Modells in realen Szenarien.
KI (Künstliche Intelligenz)	KI ist ein Teilgebiet der Informatik, das sich mit der Simulation intelligenten Verhaltens in Computern befasst. Sie untersucht Algorithmen für Aufgaben, die menschliche Intelligenz erfordern, wie Problemlösung, Entscheidungsfindung und Verarbeitung natürlicher Sprache. KI-Technologien werden in Suchmaschinen, Robotik, Finanzen, Gesundheitswesen und digitalem Marketing eingesetzt.
KI-Upscaler	Ein KI-Upscaler verwendet maschinelles Lernen, um Bilder in höherer Auflösung zu erzeugen. Er analysiert das Ausgangsbild, erkennt Muster und Texturen und rekonstruiert diese in einer höheren Auflösung. Dabei fügt er Details hinzu, die im Originalbild nicht sichtbar sind, um ein schärferes, detaillierteres Bild zu schaffen. Diese Technik wird oft verwendet, um ältere oder niedrig aufgelöste Bilder zu verbessern.
LLM (Large Language Model – Großes Sprachmodell)	LLM ist ein maschinelles Lernmodell, das typischerweise auf neuronalen Netzen basiert und auf großen Mengen von Textdaten trainiert wird, um menschenähnlichen Text zu verstehen und zu generieren. Diese Modelle führen NLP-Aufgaben wie Übersetzung, Zusammenfassung und Sentimentanalyse durch und erfassen komplexe Sprachmuster.
ML (Maschinelles Lernen)	ML, eine Art der KI, befasst sich mit der Entwicklung von Algorithmen, die aus Daten lernen und Vorhersagen treffen können. Es wird verwendet, um Muster in großen Datensätzen zu erkennen und Vorhersagen zu treffen, mit Anwendungen in NLP, Computerbild und Spracherkennung.
MMLU (Massive Multi-task Language Understanding)	Der MMLU Benchmark umfasst 15.908 Multiple-Choice-Fragen, die aus verschiedenen frei zugänglichen Online-Quellen stammen und manuell von Studenten gesammelt wurden. Diese Fragen decken 57 verschiedene Fachgebiete ab, darunter sowohl MINT-Bereiche als auch Geistes- und Sozialwissenschaften. Die Fragen variieren im Schwierigkeitsgrad von einfachem Grundwissen bis hin zu fortgeschrittenem Expertenwissen. Der Test ist in drei Teile gegliedert: einen Few-Shot-Entwicklungsdatensatz, einen Validierungsdatensatz und einen Prüfungsdatensatz, wobei der Prüfungsdatensatz allein 14.079 Fragen enthält. MMLU wurde entwickelt, um eine umfassende Bewertung der Verstehens- und Problemlösungsfähigkeiten von Sprachmodellen zu ermöglichen, und stellt eine wesentliche Herausforderung dar, die über einfache Grundkenntnisse hinausgeht. Weitere Informatione n
NLP (Natural Language Processing – Verarbeitung natürlicher Sprache)	NLP, ein Teilgebiet der KI, konzentriert sich auf das Verständnis und die Interaktion mit menschlicher Sprache. Seine Techniken werden in automatischer Textzusammenfassung, Stimmungsanalyse, maschineller Übersetzung, Dialogsystemen und Frage-Antwort-Systemen eingesetzt und stützen sich auf maschinelles Lernen, Deep Learning und natürliches Sprachverständnis.
Reverse Diffusion	Reverse Diffusion ist der Prozess in Diffusionsmodellen, bei dem das Rauschen aus einem verrauschten Bild entfernt wird, um ein klares Bild zurückzugewinnen. Dieser Schritt verwendet Algorithmen und maschinelles Lernen, um das Bild schrittweise zu entwirren und zu klären. Reverse Diffusion ist entscheidend für die Erzeugung detaillierter Bilder aus chaotischem Rauschen und zeigt die kreative Kraft von Diffusionsmodellen.
Toronto BookCorpus	Der Toronto BookCorpus ist eine Sammlung digitaler Bücher, die für das Training von Natural Language Processing (NLP) Modellen verwendet wird. Es wurde von der University of Toronto zusammengestellt und umfasst eine breite Palette von Genres und Themen. Diese Diversität macht es zu einer nützlichen Ressource für das Training von Sprachmodellen wie BERT. Beispiele für im Corpus enthaltene Bücher reichen von Romanen und Sachbüchern bis hin zu Fachliteratur, wodurch Modelle ein vielseitiges Sprachverständnis entwickeln.