Sprachmodelle¶
Ein Sprachmodell ordnet Folgen von Tokens Wahrscheinlichkeiten zu. Die meisten modernen Modelle sind autoregressiv: Mithilfe der Kettenregel der Wahrscheinlichkeitsrechnung zerlegen sie die Wahrscheinlichkeit einer Folge in ein Produkt von Vorhersagen des jeweils nächsten Tokens,
Große Sprachmodelle (Large Language Models, LLMs) setzen dies mit Transformern um, die Milliarden von Parametern haben und auf sehr großen Textkorpora trainiert werden.
BERT und GPT¶
Zwei 2018 vorgestellte Modellfamilien prägten das Gebiet (GPT: technischer Bericht von OpenAI, Juni 2018; BERT: arXiv-Preprint, Oktober 2018, veröffentlicht auf der NAACL 2019):
| BERT (Devlin et al., Google) | GPT (Radford et al., OpenAI) | |
|---|---|---|
| Architektur | Transformer-Encoder | Transformer-Decoder |
| Pretraining-Aufgabe | zufällig maskierte Tokens vorhersagen (Masked Language Modeling) | das nächste Token vorhersagen |
| Kontext | bidirektional | von links nach rechts (kausal) |
| Typische Verwendung | Verstehensaufgaben: Klassifikation, Suche, Erkennung von Entitäten | Textgenerierung, Dialog |
BERT wurde zum Standard-Ausgangspunkt für Aufgaben des Sprachverstehens. Die GPT-Linie wuchs über GPT-2 (2019) und GPT-3 (2020). GPT-3 mit 175 Milliarden Parametern zeigte, dass hinreichend große Modelle neue Aufgaben anhand weniger Beispiele im Prompt lösen können, ohne dass ihre Gewichte verändert werden (Brown et al., 2020). Diese Fähigkeit heißt In-Context Learning oder Few-Shot Prompting.
Pretraining¶
Beim Pretraining (Vortraining) lernt ein Modell aus großen Mengen ungelabelten Texts wie Webseiten, Büchern und Quellcode. Das ist selbstüberwachtes Lernen: Das Ziel an jeder Position ist einfach das tatsächlich folgende Token. Das Modell minimiert die Kreuzentropie
also die negative Log-Likelihood; das Pretraining ist somit eine Form der Maximum-Likelihood-Schätzung. Um Text gut vorherzusagen, muss sich das Modell Grammatik, Wissen über die Welt und Muster des Schlussfolgerns aneignen. Empirisch sinkt der Verlust gleichmäßig und vorhersagbar, wenn Modellgröße, Datenmenge und Rechenaufwand steigen; diese Regelmäßigkeiten heißen Skalierungsgesetze (Kaplan et al., 2020; Hoffmann et al., 2022).
Das Ergebnis ist ein Basismodell. Es setzt Text flüssig fort, folgt aber nicht zuverlässig Anweisungen und verhält sich nicht wie ein Assistent.
Fine-Tuning¶
Beim Fine-Tuning (Feinabstimmung) wird ein vortrainiertes Modell auf einem kleineren, aufgabenspezifischen Datensatz weitertrainiert:
- Aufgabenspezifisches Fine-Tuning, etwa die Anpassung von BERT an Sentiment-Klassifikation, ist klassisches Transfer Learning.
- Instruction Tuning, auch Supervised Fine-Tuning (SFT) genannt, trainiert ein Modell mit Beispielen aus Anweisungen und guten Antworten, damit es sich wie ein hilfreicher Assistent verhält.
- Parametereffiziente Verfahren wie LoRA (Hu et al., 2021) trainieren nur eine kleine Zahl zusätzlicher Parameter und senken so Speicher- und Rechenbedarf erheblich.
Reinforcement Learning from Human Feedback¶
Reinforcement Learning from Human Feedback (RLHF, bestärkendes Lernen aus menschlichem Feedback) richtet das Verhalten eines Modells an menschlichen Präferenzen aus. Christiano et al. (2017) zeigten, dass Agenten des tiefen bestärkenden Lernens aus menschlichen Präferenzvergleichen trainiert werden können; Ouyang et al. (2022) übertrugen das Verfahren mit InstructGPT auf große Sprachmodelle. ChatGPT (November 2022) wurde auf dieselbe Weise trainiert und von OpenAI als Schwestermodell von InstructGPT beschrieben. Ein typischer Ablauf:
- Das Modell erzeugt zu jedem Prompt mehrere Antworten.
- Menschliche Annotatorinnen und Annotatoren reihen die Antworten nach Qualität.
- Ein Belohnungsmodell (Reward Model) wird trainiert, diese Reihungen vorherzusagen.
- Das Sprachmodell wird mit bestärkendem Lernen optimiert, etwa mit Proximal Policy Optimization (PPO), um hohe Belohnungen zu erzielen, während ein Strafterm es nahe am Ausgangsmodell hält.
Direct Preference Optimization (DPO; Rafailov et al., 2023) ist eine einfachere Alternative, die direkt aus Präferenzpaaren lernt, ohne ein separates Belohnungsmodell zu trainieren.
Wieder die logistische Regression
Belohnungsmodelle werden meist mit dem Bradley-Terry-Modell trainiert: Die Wahrscheinlichkeit, dass Antwort A gegenüber Antwort B bevorzugt wird, ist \(\sigma(r_A - r_B)\), wobei \(r_A\) und \(r_B\) die vorhergesagten Belohnungen sind. Das ist eine logistische Regression auf die Differenz der Belohnungen.
Grenzen¶
Halluzinationen
Sprachmodelle können flüssigen, selbstsicher klingenden Text erzeugen, der falsch ist, einschließlich erfundener Fakten, Quellen und Zitate. Sie modellieren, welcher Text wahrscheinlich ist, nicht, welcher wahr ist. Wichtige Aussagen sollten überprüft werden; Techniken wie Retrieval-Augmented Generation können das Problem verringern.
Weitere Grenzen sind ein fester Wissensstand (Knowledge Cutoff), die Empfindlichkeit gegenüber der genauen Formulierung des Prompts und systematische Fehler, die aus Mustern in den Trainingsdaten übernommen werden.