---
title: "Glossar"
sidebar:
  label: "Glossar"
---

<span id="glossar" />


[Kursstart](/de/) · [Lernleitfaden](/de/learning-guide)

Die Beispiele und Herleitungen stehen in den verlinkten Lektionen. Diese Seite hilft beim Nachschlagen.

| Begriff | Bedeutung |
| --- | --- |
| Terminal / Terminal | Ein Fenster, in das du Befehle tippst und ihre Ausgabe liest: Terminal unter macOS/Linux, PowerShell unter Windows ([Einrichtung](/de/setup)). |
| Virtual environment (venv) / Virtuelle Umgebung (venv) | Der Ordner `.venv` mit eigenem Python und den Kursbibliotheken, getrennt vom Rest des Computers; in jedem neuen Terminal aktivieren ([Einrichtung](/de/setup)). |
| JSON / JSON | Ein Klartextformat für strukturierte Daten: benannte Werte in `{…}`, Listen in `[…]`. Die Berichte im Kurs sind JSON-Dateien. |
| Backend / Backend | Der Prozessor, der rechnet: `cpu`, `mps` (eine Apple-GPU) oder `cuda` (eine NVIDIA-GPU) ([Einheit 0](/de/unit-00)). |
| Corpus / Korpus | Die Textsammlung, aus der ein Modell lernt oder an der es gemessen wird. |
| Argmax / Argmax | Die Position des größten Werts in einer Liste; bei einer Zeile Scores das wahrscheinlichste nächste Token. |
| Checkpoint / Checkpoint | Eine gespeicherte Datei mit den Zahlen eines Modells (beim Training auch dem Zustand des Optimizers), damit du das Modell neu laden oder den Lauf fortsetzen kannst. |
| Token / Token | Eine diskrete Texteinheit: Zeichen, Byte oder gelerntes Teilstück; die ID ist ihre Ganzzahlkennung. |
| Vocabulary / Vokabular | Alle Token-IDs, die das Modell vorhersagen kann; V ist ihre Anzahl. |
| Scalar, vector, matrix, tensor / Skalar, Vektor, Matrix, Tensor | Eine Zahl; eine Zahlenliste; eine Tabelle; ein Zahlenarray mit beliebig vielen Achsen. |
| Shape, B/T/D/H/V / Shape, B/T/D/H/V | Achsenlängen: Beispiele im Batch, Tokenpositionen, versteckte Breite, Attention-Heads und Vokabular. |
| Parameter / Parameter | Eine gespeicherte trainierbare Zahl, z. B. ein Gewicht. Das Training verändert sie. |
| Activation / Aktivierung | Ein Zwischenwert für eine bestimmte Eingabe; etwas anderes als ein gespeichertes Gewicht. |
| Embedding / Embedding | Eine Tabelle, die eine Token- oder Positions-ID in einen gelernten Vektor übersetzt. |
| Logit, softmax / Logit, Softmax | Ein unbeschränkter Score; die Operation, die eine Scorezeile in positive Wahrscheinlichkeiten mit Summe eins verwandelt. |
| Loss, NLL, cross-entropy / Loss, NLL, Kreuzentropie | Vorhersagestrafe. Für ein wahres nächstes Token ist die negative Log-Likelihood -ln(zugewiesene Wahrscheinlichkeit). |
| Perplexity / Perplexität | exp(mittlere NLL). Gleichverteilte Wahl unter vier Tokens hat NLL ln(4) und Perplexität 4; nur bei gleichem Tokenizer und gleichen Daten vergleichen. |
| Derivative / Ableitung | Wie schnell sich eine Zahl ändert, wenn du eine andere anstupst: die Änderung des Loss geteilt durch eine winzige Änderung eines Parameters. Das Vorzeichen zeigt, welche Richtung den Loss senkt ([F04](/de/foundations-04-neuron)). |
| Chain rule / Kettenregel | Läuft ein Stups durch mehrere Schritte, multipliziere die Raten der Schritte ([F04](/de/foundations-04-neuron)). |
| Gradient, backpropagation / Gradient, Backpropagation | Empfindlichkeiten des Loss gegenüber Parametern; der Kettenregel-Algorithmus berechnet sie rückwärts durch den Graphen. |
| Optimizer, learning rate / Optimizer, Lernrate | Die Regel zum Aktualisieren der Parameter anhand von Gradienten; die Steuerung ihrer Schrittweite. |
| SGD / SGD | Stochastic Gradient Descent: Lernrate × Gradient abziehen, wobei der Gradient auf einem zufälligen Batch statt auf allen Daten gemessen wird ([F06](/de/foundations-06-pytorch-checkpoint)). |
| Central difference / Zentrale Differenz | Eine Schätzung der Ableitung ohne Regeln: `(f(x+h) - f(x-h)) / 2h` für ein winziges `h`; sie prüft von Hand hergeleitete Gradienten ([F05](/de/foundations-05-mlp-autograd)). |
| MLP / MLP | Multilayer Perceptron: Schichten von Neuronen, dazwischen eine biegende Funktion wie tanh ([F05](/de/foundations-05-mlp-autograd)). |
| tanh / tanh | Eine S-förmige Funktion, die jede Zahl in den Bereich −1 bis 1 drückt; `tanh(0)=0` ([F05](/de/foundations-05-mlp-autograd)). |
| One-hot / One-Hot | Eine Zeile aus Nullen mit einer einzigen 1 an der Position der richtigen Klasse ([F05](/de/foundations-05-mlp-autograd)). |
| Batch, microbatch, accumulation / Batch, Microbatch, Accumulation | Gemeinsam verarbeitete Beispiele; ein kleinerer Teil; Gradienten mehrerer Teile vor einem Update sammeln. |
| Epoch, step / Epoche, Schritt | Ein Durchlauf des Datensatzes; ein Optimizer-Update. Mehrere Microbatches können einen Schritt bilden. |
| Causal mask / Kausale Maske | Eine Karte erlaubter Positionen, die Zukunftsinformation für eine Vorhersage sperrt. |
| Padding, loss mask / Padding, Lossmaske | Füll-Tokens für gleich lange Sequenzen; eine Auswahl der Ziele, die zum Loss zählen. |
| Residual, normalization, FFN / Residual, Normalisierung, FFN | Blockeingabe wieder zum Ergebnis addieren; Featurewerte umskalieren; ein Feed-forward-Netz pro Position. |
| Pretraining / Pretraining | Lernen der nächsten Tokens aus Text. Das allein lehrt keine zuverlässige Instruktionsbefolgung. |
| Train / validation / test | Daten für Updates / Konfigurationswahl / finale Evaluation nach Festlegung aller Entscheidungen. |
| Overfitting / Überanpassung | Training wird besser, Qualität unbekannter Daten stagniert oder sinkt; Tiny-Batch-Overfit dient absichtlich als Mechanikprüfung. |
| Baseline, ablation / Baseline, Ablation | Das unveränderte Referenzexperiment; ein kontrollierter Vergleich mit Änderung einer Komponente. |
| Seed, resume / Seed, Resume | Startwert eines Zufallsgenerators; Fortsetzen eines Laufs aus seinem Checkpoint. |
| Leakage, memorization / Leakage, Memorierung | Zurückgehaltene Information gelangt ins Training/die Auswahl; Gesehenes wiedergeben statt zu generalisieren. |
| Paired seeds, uncertainty / Gepaarte Seeds, Unsicherheit | Baseline und Änderung mit passenden Seeds ausführen; Streuung zeigt mögliche Unsicherheit der Differenz. |
| FLOP, throughput, memory / FLOP, Durchsatz, Speicher | Eine Gleitkommaoperation; verarbeitete Tokens pro Sekunde; Bytes für Parameter, Gradienten, Optimizer und Aktivierungen. |
| Mixed precision / Gemischte Präzision | Einige Operationen nutzen kleinere Zahlenformate, um Aufwand zu senken; im Kurs gibt es einen Float32-Fallback. |
| Temperature / Temperatur | Divisor der Logits vor dem Softmax; unter 1 schärft die Verteilung, über 1 flacht sie ab, 0 bedeutet greedy. Die Reihenfolge ändert sich nie ([I01](/de/inference-decoding)). |
| Greedy decoding / Greedy Decoding | Immer das wahrscheinlichste nächste Token nehmen; deterministisch bei festem Prompt; genau das bedeuten `do_sample=False` und `temperature=0` ([I01](/de/inference-decoding)). |
| Top-k / top-p (nucleus) sampling / Top-k-/Top-p-Sampling | Nur unter den k wahrscheinlichsten Tokens / der kleinsten Menge mit kumulierter Wahrscheinlichkeit p ziehen, neu normiert ([I01](/de/inference-decoding)). |
| EOS token / EOS-Token | End-of-sequence-Markierung; ein Decoder stoppt, sobald er sie erzeugt, sonst bei `max_new_tokens` oder der Kontextgrenze ([I01](/de/inference-decoding)). |
| KV cache / KV-Cache | Keys und Values aller bisherigen Positionen, pro Block gespeichert, damit jedes neue Token einmal projiziert wird und die Attention über den Cache läuft ([I01](/de/inference-decoding)). |
| Streaming / Streaming | Jedes erzeugte Token senden, sobald sein Schritt fertig ist, statt auf die ganze Antwort zu warten ([I01](/de/inference-decoding)). |
| AdamW / AdamW | Optimizer mit geglättetem Gradienten `m` und quadriertem Gradienten `v` pro Parameter; der entkoppelte Weight Decay wird getrennt vom adaptiven Schritt angewendet ([E01](/de/pretraining)). |
| Warmup / Warmup | Die ersten Schritte eines Zeitplans nutzen eine kleinere Lernrate; der Cosine Decay senkt sie danach gleichmäßig auf ein Minimum ([E01](/de/pretraining)). |
| Gradient clipping / Gradient Clipping | Überschreitet die Norm des gesamten Gradientenvektors eine Schwelle, wird er einmal pro Update vor dem Optimizer-Schritt auf diese Norm skaliert ([E01](/de/pretraining)). |
| Held-out data / Held-out-Daten | Daten ohne Parameter-Updates; Validierungsdaten dienen der Wahl von Einstellungen, ein Testset nur der finalen Messung ([E03](/de/evaluation)). |
| Contamination / Kontamination | Evaluationsinhalt, der auch in Trainings- oder Auswahldaten vorkommt; der Score misst dann keine Generalisierung mehr ([E02](/de/data-quality), [C03](/de/company-evaluation)). |
| Data card / Data Card | Kurzer Datensatzsteckbrief: Quelle, Generator, Lizenz, Splits, Anzahlen, Hashes und Ausschlüsse ([E02](/de/data-quality)). |
| Model card / Model Card | Kurzer Modellsteckbrief: Basis, Daten, Konfiguration, gemessene Ergebnisse, Grenzen und wofür das Modell nicht freigegeben ist ([T01](/de/bigram-baseline), [C03](/de/company-evaluation)). |
| Quantization / Quantisierung | Gewichte mit weniger Bits speichern (z. B. 4-Bit NF4), um Speicher zu sparen; QLoRA trainiert höher aufgelöste Adapter über einer eingefrorenen quantisierten Basis ([A02](/de/adaptation-comparison)). |
| RAG, SFT, LoRA / RAG, SFT, LoRA | Externe Texte zur Anfragezeit abrufen ([R01](/de/rag-build)); überwachtes Finetuning auf Prompt/Antwort-Paaren mit Loss nur auf Antwort-Tokens; Anpassung durch kleine trainierbare Matrizen niedrigen Rangs neben einer eingefrorenen Basis ([A01](/de/sft-lora)). |
| DPO / DPO | Direct Preference Optimization: Die Policy wird so trainiert, dass die Log-Wahrscheinlichkeit der bevorzugten Antwort relativ zur abgelehnten steigt, gemessen an einer eingefrorenen Referenz und skaliert mit Beta ([A03](/de/dpo)). |
| Reward model / Reward-Modell | Ein auf Chosen/Rejected-Paaren trainiertes Modell, das Antworten bewertet; es ist ein Stellvertreter für die wahre Aufgabenqualität und kann ausgenutzt werden ([A04](/de/rlhf-bridge)). |
| KL divergence / KL-Divergenz | Wie weit sich eine Wahrscheinlichkeitsverteilung von einer anderen entfernt hat; als Strafe genutzt, um eine trainierte Policy nahe an ihrer Referenz zu halten ([A04](/de/rlhf-bridge)). |
| PPO / PPO | Proximal Policy Optimization: ein Policy-Gradient-Update, dessen Wahrscheinlichkeitsverhältnis geclippt wird, damit ein Schritt die Policy nicht zu weit bewegt ([A03](/de/dpo), [A04](/de/rlhf-bridge)). |
| RLHF / RLHF | Reinforcement Learning from Human Feedback: ein Reward-Modell auf Präferenzen anpassen, dann die Policy unter einer KL-Strafe dagegen optimieren ([A04](/de/rlhf-bridge)). |

[F01](/de/foundations-01-python-numpy) · [F02](/de/foundations-02-shapes) · [F03](/de/foundations-03-probability) · [F04](/de/foundations-04-neuron) · [F05](/de/foundations-05-mlp-autograd) · [F06](/de/foundations-06-pytorch-checkpoint)
