Neuere Entwicklungen¶

Die AI-Forschung entwickelt sich rasch, und konkrete Modelle und Produkte ändern sich von Monat zu Monat. Diese Seite konzentriert sich auf die Ideen hinter wichtigen aktuellen Trends, die meist beständiger sind als einzelne Systeme.

Zu dieser Seite

Diese Seite beschreibt Konzepte, keine Produkte oder Ranglisten. Sie wird aktualisiert, wenn sich das Gebiet weiterentwickelt.

Multimodale Modelle¶

Multimodale Modelle verarbeiten, und erzeugen teilweise, mehr als eine Datenart, etwa Text, Bilder, Audio und Video. Eine verbreitete Technik, die mit dem Vision Transformer (Dosovitskiy et al., 2020) eingeführt wurde, besteht darin, ein Bild in kleine Ausschnitte (Patches) zu zerlegen und jeden Ausschnitt wie ein Token zu behandeln. CLIP (Radford et al., 2021) lernte durch Training auf Bild-Bildunterschrift-Paaren einen gemeinsamen Embedding-Raum für Bilder und Text, in dem zusammengehörige Bilder und Beschreibungen nahe beieinander liegen.

Anwendungen sind etwa Bildbeschreibungen, Fragen zu Diagrammen und Dokumenten sowie Sprachassistenten, die direkt auf gesprochene Sprache reagieren.

Retrieval-Augmented Generation¶

Retrieval-Augmented Generation (RAG; Lewis et al., 2020) verbindet ein Sprachmodell mit einer externen Wissensquelle. Ein typisches System funktioniert so:

Dokumente werden in Abschnitte zerlegt, jeder Abschnitt wird in einen Embedding-Vektor umgewandelt und in einem Index gespeichert.
Zu einer Nutzerfrage werden jene Abschnitte abgerufen, deren Embeddings dem Embedding der Frage am ähnlichsten sind.
Die abgerufenen Abschnitte werden dem Sprachmodell zusammen mit der Frage als Kontext übergeben.

Die Ähnlichkeit wird oft mit der Kosinus-Ähnlichkeit gemessen:

\[ \cos(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a}^\top\mathbf{b}}{\lVert \mathbf{a} \rVert\, \lVert \mathbf{b} \rVert} . \]

RAG gibt einem Modell Zugang zu aktuellen oder internen Informationen, ohne es neu zu trainieren, ermöglicht Quellenangaben und kann Halluzinationen verringern. Die Qualität hängt stark vom Abrufschritt ab: Wird der relevante Abschnitt nicht gefunden, kann das Modell ihn auch nicht nutzen.

Agenten¶

Ein AI-Agent ist ein System, in dem ein Sprachmodell mehr tut, als einen einzelnen Prompt zu beantworten. Es plant mehrstufige Aufgaben und nutzt Werkzeuge wie Websuche, Codeausführung, Datenbanken oder andere Software-Schnittstellen, beobachtet die Ergebnisse und entscheidet über den nächsten Schritt. Das Grundmuster ist eine Schleife aus Überlegen, Handeln und Beobachten.

Risiken der Autonomie

Je mehr Aktionen ein Agent selbstständig ausführen kann, etwa Nachrichten senden oder Zahlungen auslösen, desto wichtiger wird es, seine Berechtigungen zu begrenzen und für folgenreiche Schritte eine menschliche Freigabe zu verlangen. Eine besondere Gefahr ist Prompt Injection: Text aus einer nicht vertrauenswürdigen Quelle, etwa einer Webseite oder E-Mail, kann Anweisungen enthalten, die den Agenten kapern sollen.

Reasoning-Modelle¶

Sprachmodelle lösen mehrstufige Probleme oft besser, wenn sie vor der Antwort Zwischenschritte ausformulieren. Wei et al. (2022) zeigten dies mit Chain-of-Thought-Prompting, bei dem der Prompt durchgerechnete Beispiele enthält. Reasoning-Modelle, die ab 2024 aufkamen, werden – vor allem mit bestärkendem Lernen an Aufgaben mit überprüfbaren Lösungen wie Mathematik und Programmieren – darauf trainiert, selbstständig lange Gedankenketten zu erzeugen.

Dadurch ist Test-Time Compute zu einer zweiten Achse der Skalierung geworden: Die Leistung lässt sich nicht nur durch das Training größerer Modelle verbessern, sondern auch dadurch, dass ein Modell pro Frage mehr Rechenaufwand betreiben darf, etwa indem es länger überlegt oder mehrere Lösungen erzeugt und unter ihnen auswählt. Der Preis sind höhere Kosten und Wartezeiten pro Antwort.

Diffusionsmodelle¶

Diffusionsmodelle sind das führende Verfahren zur Erzeugung von Bildern und zunehmend auch von Video und Audio. Sie beruhen auf zwei Prozessen:

einem festen Vorwärtsprozess, der einem Bild schrittweise Rauschen hinzufügt, bis nur noch Rauschen übrig ist, und
einem gelernten Rückwärtsprozess, in dem ein neuronales Netz das Rauschen Schritt für Schritt entfernt.

Um ein neues Bild zu erzeugen, beginnt das Modell mit reinem Zufallsrauschen und wendet den Rückwärtsprozess an, meist gesteuert durch einen Text-Prompt. Der Ansatz geht auf Sohl-Dickstein et al. (2015) zurück und wurde mit Denoising Diffusion Probabilistic Models (Ho et al., 2020) praxistauglich. Latent Diffusion (Rombach et al., arXiv 2021, CVPR 2022) führt den Prozess in einem komprimierten latenten Raum statt auf Pixeln aus, was ihn wesentlich effizienter macht.

Weitere Trends¶

Kleinere, effiziente Modelle, die auf Laptops und Smartphones laufen, ermöglicht durch Techniken wie Quantisierung und Wissensdestillation.
Mixture-of-Experts-Architekturen, bei denen pro Token nur ein Teil der Parameter aktiv ist.
Open-Weight-Modelle, deren trainierte Parameter öffentlich freigegeben sind, zusätzlich zu Modellen, die nur über eine API verfügbar sind.
Längere Kontextfenster, mit denen Modelle ganze Bücher oder Codebasen auf einmal verarbeiten können.

Wie es weitergeht¶

Diese Seite schließt den Lernpfad ab. Das Glossar fasst die wichtigsten Begriffe aus allen drei Teilen zusammen.

Zum Glossar