Zum Inhalt springen
LLM Engineering Course
Deutsch
Esc
↑↓navigieren↵öffnen⌘Jvorschau

Glossar

Kursstart · Lernleitfaden

Die Beispiele und Herleitungen stehen in den verlinkten Lektionen. Diese Seite hilft beim Nachschlagen.

Begriff Bedeutung
Terminal / Terminal Ein Fenster, in das du Befehle tippst und ihre Ausgabe liest: Terminal unter macOS/Linux, PowerShell unter Windows (Einrichtung).
Virtual environment (venv) / Virtuelle Umgebung (venv) Der Ordner .venv mit eigenem Python und den Kursbibliotheken, getrennt vom Rest des Computers; in jedem neuen Terminal aktivieren (Einrichtung).
JSON / JSON Ein Klartextformat für strukturierte Daten: benannte Werte in {…}, Listen in […]. Die Berichte im Kurs sind JSON-Dateien.
Backend / Backend Der Prozessor, der rechnet: cpu, mps (eine Apple-GPU) oder cuda (eine NVIDIA-GPU) (Einheit 0).
Corpus / Korpus Die Textsammlung, aus der ein Modell lernt oder an der es gemessen wird.
Argmax / Argmax Die Position des größten Werts in einer Liste; bei einer Zeile Scores das wahrscheinlichste nächste Token.
Checkpoint / Checkpoint Eine gespeicherte Datei mit den Zahlen eines Modells (beim Training auch dem Zustand des Optimizers), damit du das Modell neu laden oder den Lauf fortsetzen kannst.
Token / Token Eine diskrete Texteinheit: Zeichen, Byte oder gelerntes Teilstück; die ID ist ihre Ganzzahlkennung.
Vocabulary / Vokabular Alle Token-IDs, die das Modell vorhersagen kann; V ist ihre Anzahl.
Scalar, vector, matrix, tensor / Skalar, Vektor, Matrix, Tensor Eine Zahl; eine Zahlenliste; eine Tabelle; ein Zahlenarray mit beliebig vielen Achsen.
Shape, B/T/D/H/V / Shape, B/T/D/H/V Achsenlängen: Beispiele im Batch, Tokenpositionen, versteckte Breite, Attention-Heads und Vokabular.
Parameter / Parameter Eine gespeicherte trainierbare Zahl, z. B. ein Gewicht. Das Training verändert sie.
Activation / Aktivierung Ein Zwischenwert für eine bestimmte Eingabe; etwas anderes als ein gespeichertes Gewicht.
Embedding / Embedding Eine Tabelle, die eine Token- oder Positions-ID in einen gelernten Vektor übersetzt.
Logit, softmax / Logit, Softmax Ein unbeschränkter Score; die Operation, die eine Scorezeile in positive Wahrscheinlichkeiten mit Summe eins verwandelt.
Loss, NLL, cross-entropy / Loss, NLL, Kreuzentropie Vorhersagestrafe. Für ein wahres nächstes Token ist die negative Log-Likelihood -ln(zugewiesene Wahrscheinlichkeit).
Perplexity / Perplexität exp(mittlere NLL). Gleichverteilte Wahl unter vier Tokens hat NLL ln(4) und Perplexität 4; nur bei gleichem Tokenizer und gleichen Daten vergleichen.
Derivative / Ableitung Wie schnell sich eine Zahl ändert, wenn du eine andere anstupst: die Änderung des Loss geteilt durch eine winzige Änderung eines Parameters. Das Vorzeichen zeigt, welche Richtung den Loss senkt (F04).
Chain rule / Kettenregel Läuft ein Stups durch mehrere Schritte, multipliziere die Raten der Schritte (F04).
Gradient, backpropagation / Gradient, Backpropagation Empfindlichkeiten des Loss gegenüber Parametern; der Kettenregel-Algorithmus berechnet sie rückwärts durch den Graphen.
Optimizer, learning rate / Optimizer, Lernrate Die Regel zum Aktualisieren der Parameter anhand von Gradienten; die Steuerung ihrer Schrittweite.
SGD / SGD Stochastic Gradient Descent: Lernrate × Gradient abziehen, wobei der Gradient auf einem zufälligen Batch statt auf allen Daten gemessen wird (F06).
Central difference / Zentrale Differenz Eine Schätzung der Ableitung ohne Regeln: (f(x+h) - f(x-h)) / 2h für ein winziges h; sie prüft von Hand hergeleitete Gradienten (F05).
MLP / MLP Multilayer Perceptron: Schichten von Neuronen, dazwischen eine biegende Funktion wie tanh (F05).
tanh / tanh Eine S-förmige Funktion, die jede Zahl in den Bereich −1 bis 1 drückt; tanh(0)=0 (F05).
One-hot / One-Hot Eine Zeile aus Nullen mit einer einzigen 1 an der Position der richtigen Klasse (F05).
Batch, microbatch, accumulation / Batch, Microbatch, Accumulation Gemeinsam verarbeitete Beispiele; ein kleinerer Teil; Gradienten mehrerer Teile vor einem Update sammeln.
Epoch, step / Epoche, Schritt Ein Durchlauf des Datensatzes; ein Optimizer-Update. Mehrere Microbatches können einen Schritt bilden.
Causal mask / Kausale Maske Eine Karte erlaubter Positionen, die Zukunftsinformation für eine Vorhersage sperrt.
Padding, loss mask / Padding, Lossmaske Füll-Tokens für gleich lange Sequenzen; eine Auswahl der Ziele, die zum Loss zählen.
Residual, normalization, FFN / Residual, Normalisierung, FFN Blockeingabe wieder zum Ergebnis addieren; Featurewerte umskalieren; ein Feed-forward-Netz pro Position.
Pretraining / Pretraining Lernen der nächsten Tokens aus Text. Das allein lehrt keine zuverlässige Instruktionsbefolgung.
Train / validation / test Daten für Updates / Konfigurationswahl / finale Evaluation nach Festlegung aller Entscheidungen.
Overfitting / Überanpassung Training wird besser, Qualität unbekannter Daten stagniert oder sinkt; Tiny-Batch-Overfit dient absichtlich als Mechanikprüfung.
Baseline, ablation / Baseline, Ablation Das unveränderte Referenzexperiment; ein kontrollierter Vergleich mit Änderung einer Komponente.
Seed, resume / Seed, Resume Startwert eines Zufallsgenerators; Fortsetzen eines Laufs aus seinem Checkpoint.
Leakage, memorization / Leakage, Memorierung Zurückgehaltene Information gelangt ins Training/die Auswahl; Gesehenes wiedergeben statt zu generalisieren.
Paired seeds, uncertainty / Gepaarte Seeds, Unsicherheit Baseline und Änderung mit passenden Seeds ausführen; Streuung zeigt mögliche Unsicherheit der Differenz.
FLOP, throughput, memory / FLOP, Durchsatz, Speicher Eine Gleitkommaoperation; verarbeitete Tokens pro Sekunde; Bytes für Parameter, Gradienten, Optimizer und Aktivierungen.
Mixed precision / Gemischte Präzision Einige Operationen nutzen kleinere Zahlenformate, um Aufwand zu senken; im Kurs gibt es einen Float32-Fallback.
Temperature / Temperatur Divisor der Logits vor dem Softmax; unter 1 schärft die Verteilung, über 1 flacht sie ab, 0 bedeutet greedy. Die Reihenfolge ändert sich nie (I01).
Greedy decoding / Greedy Decoding Immer das wahrscheinlichste nächste Token nehmen; deterministisch bei festem Prompt; genau das bedeuten do_sample=False und temperature=0 (I01).
Top-k / top-p (nucleus) sampling / Top-k-/Top-p-Sampling Nur unter den k wahrscheinlichsten Tokens / der kleinsten Menge mit kumulierter Wahrscheinlichkeit p ziehen, neu normiert (I01).
EOS token / EOS-Token End-of-sequence-Markierung; ein Decoder stoppt, sobald er sie erzeugt, sonst bei max_new_tokens oder der Kontextgrenze (I01).
KV cache / KV-Cache Keys und Values aller bisherigen Positionen, pro Block gespeichert, damit jedes neue Token einmal projiziert wird und die Attention über den Cache läuft (I01).
Streaming / Streaming Jedes erzeugte Token senden, sobald sein Schritt fertig ist, statt auf die ganze Antwort zu warten (I01).
AdamW / AdamW Optimizer mit geglättetem Gradienten m und quadriertem Gradienten v pro Parameter; der entkoppelte Weight Decay wird getrennt vom adaptiven Schritt angewendet (E01).
Warmup / Warmup Die ersten Schritte eines Zeitplans nutzen eine kleinere Lernrate; der Cosine Decay senkt sie danach gleichmäßig auf ein Minimum (E01).
Gradient clipping / Gradient Clipping Überschreitet die Norm des gesamten Gradientenvektors eine Schwelle, wird er einmal pro Update vor dem Optimizer-Schritt auf diese Norm skaliert (E01).
Held-out data / Held-out-Daten Daten ohne Parameter-Updates; Validierungsdaten dienen der Wahl von Einstellungen, ein Testset nur der finalen Messung (E03).
Contamination / Kontamination Evaluationsinhalt, der auch in Trainings- oder Auswahldaten vorkommt; der Score misst dann keine Generalisierung mehr (E02, C03).
Data card / Data Card Kurzer Datensatzsteckbrief: Quelle, Generator, Lizenz, Splits, Anzahlen, Hashes und Ausschlüsse (E02).
Model card / Model Card Kurzer Modellsteckbrief: Basis, Daten, Konfiguration, gemessene Ergebnisse, Grenzen und wofür das Modell nicht freigegeben ist (T01, C03).
Quantization / Quantisierung Gewichte mit weniger Bits speichern (z. B. 4-Bit NF4), um Speicher zu sparen; QLoRA trainiert höher aufgelöste Adapter über einer eingefrorenen quantisierten Basis (A02).
RAG, SFT, LoRA / RAG, SFT, LoRA Externe Texte zur Anfragezeit abrufen (R01); überwachtes Finetuning auf Prompt/Antwort-Paaren mit Loss nur auf Antwort-Tokens; Anpassung durch kleine trainierbare Matrizen niedrigen Rangs neben einer eingefrorenen Basis (A01).
DPO / DPO Direct Preference Optimization: Die Policy wird so trainiert, dass die Log-Wahrscheinlichkeit der bevorzugten Antwort relativ zur abgelehnten steigt, gemessen an einer eingefrorenen Referenz und skaliert mit Beta (A03).
Reward model / Reward-Modell Ein auf Chosen/Rejected-Paaren trainiertes Modell, das Antworten bewertet; es ist ein Stellvertreter für die wahre Aufgabenqualität und kann ausgenutzt werden (A04).
KL divergence / KL-Divergenz Wie weit sich eine Wahrscheinlichkeitsverteilung von einer anderen entfernt hat; als Strafe genutzt, um eine trainierte Policy nahe an ihrer Referenz zu halten (A04).
PPO / PPO Proximal Policy Optimization: ein Policy-Gradient-Update, dessen Wahrscheinlichkeitsverhältnis geclippt wird, damit ein Schritt die Policy nicht zu weit bewegt (A03, A04).
RLHF / RLHF Reinforcement Learning from Human Feedback: ein Reward-Modell auf Präferenzen anpassen, dann die Policy unter einer KL-Strafe dagegen optimieren (A04).

F01 · F02 · F03 · F04 · F05 · F06

War diese Seite hilfreich?