Glossar

Kurze Definitionen wichtiger Begriffe in alphabetischer Reihenfolge. Jeder Eintrag verweist auf die Seite, auf der der Begriff ausführlich erklärt wird.

Attention

Ein Mechanismus, der jede Ausgabe als gewichteten Mittelwert von Values berechnet, wobei die Gewichte von der Ähnlichkeit zwischen Queries und Keys abhängen; der Kern des Transformers. → Transformer

AUC

Fläche unter der ROC-Kurve; die Wahrscheinlichkeit, dass ein zufälliger positiver Fall einen höheren Score erhält als ein zufälliger negativer. 0,5 bedeutet Zufall, 1 perfekte Trennung. → Modellbewertung

Backpropagation

Ein effizientes Verfahren, um den Gradienten eines Verlusts nach allen Gewichten eines neuronalen Netzes zu berechnen, indem die Kettenregel rückwärts durch die Schichten angewandt wird. → Neuronale Netze

Bias-Varianz-Zielkonflikt

Das Spannungsverhältnis zwischen dem systematischen Fehler zu einfacher Modelle und der Empfindlichkeit zu flexibler Modelle gegenüber den Trainingsdaten. → ML-Grundlagen

Boosting

Ein Ensemble-Verfahren, das Modelle nacheinander hinzufügt, wobei jedes die Fehler des bisherigen Ensembles korrigiert. → Überwachtes Lernen

Diffusionsmodell

Ein generatives Modell, das lernt, einen schrittweisen Verrauschungsprozess umzukehren, und Daten durch schrittweises Entrauschen erzeugt. → Neuere Entwicklungen

Embedding

Eine gelernte Vektordarstellung eines Objekts, etwa eines Tokens, in der ähnliche Objekte nahe beieinander liegen. → Transformer

Entscheidungsbaum

Ein Modell, das durch eine Hierarchie von Ja/Nein-Aufteilungen der Merkmale vorhersagt. → Überwachtes Lernen

Fehler 1. und 2. Art

Das Verwerfen einer wahren Nullhypothese (1. Art, falsch positiv) bzw. das Nichtverwerfen einer falschen (2. Art, falsch negativ). → Hypothesentests

Fine-Tuning

Das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz. → Sprachmodelle

Gradientenabstieg

Ein iteratives Optimierungsverfahren, das die Parameter in Richtung des negativen Gradienten des Verlusts verschiebt. → Neuronale Netze

Halluzination

Flüssige, aber falsche oder unbelegte Ausgabe eines Sprachmodells. → Sprachmodelle

Hauptkomponentenanalyse (PCA)

Ein lineares Verfahren, das unkorrelierte Richtungen maximaler Varianz findet; wird zur Dimensionsreduktion verwendet. → Unüberwachtes Lernen

k-Means

Ein Clusterverfahren, das Daten in \(k\) Gruppen aufteilt, indem es die quadrierten Abstände zu den Gruppenmittelwerten minimiert. → Unüberwachtes Lernen

Kleinste-Quadrate-Schätzung (OLS)

Die Schätzung von Regressionskoeffizienten durch Minimierung der Summe der quadrierten Residuen. → Lineare Regression

Konfidenzintervall

Ein aus den Daten berechnetes Intervall, dessen Konstruktionsverfahren bei wiederholter Stichprobenziehung den wahren Parameter mit einer angegebenen Wahrscheinlichkeit enthält. → Schätzen

Kreuzentropie

Eine Verlustfunktion für probabilistische Klassifikatoren; gleich der negativen Log-Likelihood der beobachteten Labels. → Logistische Regression

Kreuzvalidierung

Die wiederholte Aufteilung der Daten in Trainings- und Validierungsteile, um abzuschätzen, wie gut ein Modell generalisiert. → Modellbewertung

Logit

Der Logarithmus der Chance (Odds), \(\log\frac{\pi}{1-\pi}\); die Umkehrfunktion der Sigmoid-Funktion. → Logistische Regression

Maximum-Likelihood

Ein Schätzprinzip, das jene Parameterwerte wählt, unter denen die beobachteten Daten am wahrscheinlichsten sind. → Schätzen

Odds Ratio

Der Faktor, mit dem die Chance eines Ergebnisses multipliziert wird, wenn ein Prädiktor um eine Einheit steigt; in der logistischen Regression \(e^{\beta}\). → Logistische Regression

p-Wert

Die Wahrscheinlichkeit, unter Gültigkeit der Nullhypothese eine Teststatistik zu erhalten, die mindestens so extrem ist wie die beobachtete. → Hypothesentests

Perzeptron

Ein frühes Modell eines künstlichen Neurons, das 1 ausgibt, wenn eine gewichtete Summe seiner Eingaben einen Schwellenwert überschreitet. → Neuronale Netze

Random Forest

Ein Ensemble von Entscheidungsbäumen, die auf Bootstrap-Stichproben mit zufälligen Merkmalsteilmengen aufgebaut und deren Vorhersagen gemittelt werden. → Überwachtes Lernen

Regularisierung

Das Hinzufügen eines Strafterms für die Modellkomplexität, etwa für die Größe der Koeffizienten, um Überanpassung zu verringern. → Modellbewertung

Retrieval-Augmented Generation (RAG)

Ein Sprachmodell erhält Abschnitte aus einer Dokumentensammlung, um seine Antworten darauf zu stützen. → Neuere Entwicklungen

RLHF

Reinforcement Learning from Human Feedback; die Optimierung eines Modells anhand eines Belohnungsmodells, das auf menschlichen Präferenzurteilen trainiert wurde. → Sprachmodelle

Sigmoid

Die logistische Funktion \(\sigma(z) = 1/(1+e^{-z})\), die jede reelle Zahl auf das Intervall \((0,1)\) abbildet. → Logistische Regression

Transformer

Eine auf Attention beruhende Architektur für neuronale Netze, 2017 vorgestellt; die Grundlage moderner Sprachmodelle. → Transformer

Überanpassung (Overfitting)

Eine so enge Anpassung an die Trainingsdaten, dass Rauschen wie Signal gelernt wird, was zu schlechter Leistung auf neuen Daten führt. → ML-Grundlagen

Zentraler Grenzwertsatz

Das Resultat, dass das standardisierte Mittel vieler u.i.v. Zufallsvariablen mit endlicher Varianz annähernd standardnormalverteilt ist. → Grundlagen