Glossar

Attention Mechanism: Ein Mechanismus in der Transformer-Architektur, der es dem Modell ermöglicht, seine Aufmerksamkeit auf bestimmte Teile des Eingabetextes zu richten, die für die jeweilige Aufgabe relevant sind. Er wird verwendet, um den Kontext beim Generieren von Wörtern zu nutzen.

Chain-of-Thought Prompting: Eine Methode, bei der das Modell durch eine Schritt-für-Schritt-Anleitung dazu gebracht wird, logischer zu denken und Fehler zu vermeiden. Es kann als interner Dialog des Modells mit sich selbst betrachtet werden.

Daten-getrieben: Ein Ansatz, bei dem eine KI große Mengen an Daten benötigt, um Muster zu erkennen und Parameter zu berechnen, im Gegensatz zu regelbasierten Systemen.

Diffusions-Modelle: KI-Modelle, die anhand großer Mengen von Bildern lernen, Muster zu erkennen und eigene Bilder zu generieren.

Embedding: Die Umwandlung eines Satzes in eine Zahlenreihe, um die Berechnung des wahrscheinlich nächsten Wortes zu ermöglichen.

Generative KI: Eine Art von KI, die neue Inhalte wie Texte oder Bilder erstellen kann, indem sie Muster aus den Trainingsdaten lernt und diese neu kombiniert.

Große Sprachmodelle (Large Language Models, LLM): Modelle, die darauf trainiert sind, menschliche Sprache zu verarbeiten und zu generieren, indem sie das nächste Wort in einem Satz berechnen. Sie sind ein Teilbereich der Künstlichen Intelligenz. Beispiele sind ChatGPT, Claude, Llama oder DeepSeek.

Halluzinationen: Der Begriff für falsche oder ungenaue Antworten, die von generativer KI erzeugt werden, oft aufgrund von mangelnder oder schlechter Datengrundlage.

KI-Systeme: Software-Systeme, die eine Vielzahl an Funktionen in sich vereinen, wie z.B. ChatGPT oder Claude. Sie integrieren häufig Zusatzfunktionen, um die Schwächen von großen Sprachmodellen zu minimieren.

Kontextfenster: Der begrenzte Umfang an Informationen, den ein großes Sprachmodell bei der Verarbeitung von Texten berücksichtigen kann. Es umfasst den gesamten Chatverlauf plus den jeweils neu zu generierenden Text.

Künstliche Intelligenz (KI): Ein Sammelbegriff für Aktivitäten, die ein Computer übernehmen kann, für die zuvor ein Mensch benötigt wurde. Es gibt keine technisch exakte Definition.

Maschinelles Lernen: Ein Verfahren, bei dem Computer aus Daten lernen, ohne explizit programmiert zu werden. Es gibt verschiedene Arten, wie z.B. überwachtes, unüberwachtes und verstärkendes Lernen.

Parameter: Die in Form von Zahlen abgespeicherten Muster, die ein KI-Modell aus Trainingsdaten gelernt hat und die es nutzt, um neue Inhalte zu erstellen.

Prompting: Die Kunst, Anfragen so zu formulieren, dass sie von einem großen Sprachmodell optimal verstanden und beantwortet werden. Je mehr Kontext das Modell erhält, desto besser kann es das gewünschte Ergebnis liefern.

Reasoning-Modelle: Spezielle Modelle, die für schrittweises Denken optimiert sind und versuchen, logische Schlussfolgerungen zu ziehen, um genauere Antworten zu generieren.

Reinforcement Learning from Human Feedback (RLHF): Eine Methode des verstärkenden Lernens, bei der Menschen einer generativen KI Feedback dazu geben, wie gut oder wie schlecht ein generierter Text ist.

Retrieval Augmented Generation (RAG): Eine Methode, bei der dem Modell ergänzende Daten zur Verfügung gestellt werden, die es bei jeder Antwort nutzen kann. Es ist ein Vorgehen, um Fehler von großen Sprachmodellen zu reduzieren.

Token: Eine Einheit, in die Text zerlegt wird, bevor er von einem großen Sprachmodell verarbeitet wird. Ein Token kann ein Wort, ein Teil eines Wortes oder mehrere Wörter sein.

Transformer-Architektur: Eine spezielle Architektur, die von großen Sprachmodellen genutzt wird, um Texte zu verarbeiten und zu generieren, indem sie Sätze in Zahlenreihen umwandelt und die Aufmerksamkeit auf relevante Teile des Textes lenkt. Sie ermöglicht es dem Modell, auch lange Texte effizient zu verarbeiten.

Turing-Test: Ein Test, der von Alan Turing vorgeschlagen wurde, um zu beurteilen, ob eine Maschine "denken" kann. Eine Maschine besteht den Test, wenn ihre Antworten nicht mehr von menschlichen Antworten unterschieden werden können.

Unüberwachtes Lernen: Eine Form des maschinellen Lernens, bei der der Computer selbstständig Muster in ungelabelten Daten findet, um z.B. Cluster zu bilden oder die Dimensionalität zu reduzieren.

Überwachtes Lernen: Eine Form des maschinellen Lernens, bei der das Modell mit gelabelten Daten trainiert wird, um die Beziehung zwischen Eingaben und Ausgaben zu lernen.

Verstärkendes Lernen: Eine Form des maschinellen Lernens, bei der der Computer durch Interaktion mit einer Umgebung lernt und für seine Aktionen Belohnungen oder Strafen erhält.

Zero-Shot Prompting: Ein einmaliges Prompten ohne Zugabe von Kontext-Informationen.