---
title: "LLM-Engineering-Kurs"
sidebar:
  label: "Start"
---

<span id="llm-engineering-kurs" />


Verstehe Sprachmodelle, indem du ihre wichtigen Bestandteile selbst baust.
Später verwendest du sie für einen realistischen Firmenfall.

Beginne mit der [Einrichtung](/de/setup) und dem [Lernleitfaden](/de/learning-guide).
Er nennt Voraussetzungen und Checkpoints. Das [Glossar](/de/glossary) erklärt
unbekannte Begriffe. Vorkenntnisse in Machine Learning sind nicht erforderlich.

Zuletzt aktualisiert am 30.09.2026 — siehe [Neu im Kurs](/de/changelog).

## Was du danach kannst [#was-du-danach-kannst]

Jede Fähigkeit unten wird durch eine Einheit belegt, die du auf der CPU ausführen
kannst — nicht durch eine Leseliste.

- **Erklären, wie aus Text eine Vorhersage wird** — Byte-Level-Tokenisierung,
  Embeddings, Self-Attention und ein Decoder, selbst gebaut in
  [T02](/de/bpe-tokenizer), [T03](/de/data-pipeline), [T04](/de/attention) und
  [T05](/de/mini-gpt).
- **Ein kleines GPT trainieren und fortsetzen** — eine Trainingsschleife, die du
  unterbrechen und reproduzieren kannst, in [T05](/de/mini-gpt),
  [T06](/de/mini-gpt-gate) und [E01](/de/pretraining).
- **Die Textgenerierung steuern** — Temperatur, Top-k/Top-p, Stoppregeln und der
  KV-Cache, in [I01](/de/inference-decoding).
- **Echte Verbesserung von Rauschen unterscheiden** — Held-out-Evaluation über
  mehrere Seeds, mit Unsicherheit und Kontaminationsprüfung, in
  [E02](/de/data-quality) und [E03](/de/evaluation).
- **Im Budget arbeiten** — Parameterzahl, Speicher und Zeit abschätzen, bevor du
  sie ausgibst, in [E04](/de/profiling) und den
  [Hardware-Leitplanken](/de/hardware).
- **Ein Modell anpassen statt neu trainieren** — SFT, LoRA, DPO und Continued
  Pretraining, belegbar verglichen, in [A01–A04](/de/sft-lora) und
  [C04](/de/continued-pretraining).
- **Ein Retrieval-System über eigene Dokumente bauen** — Chunking, Satz-Embeddings,
  ein Vector Store und Antworten mit Quellenangabe, in [R01](/de/rag-build).
- **Ein System ehrlich halten** — ablehnen, wenn die Antwort nicht in den Quellen
  steht, Zitate erzwingen, Prompt Injection erkennen und die Ablehnungsrate messen,
  in [R02](/de/rag-quality).
- **Eine Agentenschleife bauen, in der nichts versteckt ist** — ein Klartext-
  Tool-Protokoll, das du selbst parst, ein Schrittbudget und ein Trace, der
  zeigt, was das Modell tatsächlich gesehen hat, in [AG01](/de/agent-loop).
- **Denselben Agenten auf eine native Tool-Use-API setzen und sagen, was die API übernommen hat** — Schemas, strukturierte Aufrufe, Aufruf-IDs — und was nicht, gemessen an derselben Frage auf drei Wegen, in [AG02](/de/agent-native).
- **Messen, was eine Abwehr gegen Prompt Injection Stufe für Stufe tatsächlich
  bringt** — eine kumulative Verteidigungsleiter gegen R02s Retrieval-Pipeline und
  AG02s Agenten, nur mit lokalen Modellen, in [AG03](/de/agent-injection).
- **Entscheiden, ob überhaupt trainiert wird** — aus einer Anforderung eine
  gemessene Baseline-Lücke und eine umkehrbare Entscheidung machen, in
  [C01](/de/company-strategy) und im [Capstone](/de/company-capstone).

Der Angewandt-Track geht über Retrieval hinaus. Diese Einheiten sind geplant und
noch nicht geschrieben:

- **Ein eigener MCP-Server** *(in Kürze)* — den Agenten mit dem MCP-Server des Kurses verbinden, dann selbst einen bauen und ausliefern.
- **Prompt Engineering** *(in Kürze)* — Prompt-Varianten gegen ein Evaluationsset
  messen, statt Mustern zu vertrauen.
- **Guardrails als eigene Einheit** *(in Kürze)* — Eingangs- und Ausgangsprüfungen
  für jedes LLM-System, nicht nur für Retrieval.
- **Conversational AI** *(in Kürze)* — mehrstufige Antworten, Memory und das
  Kontextbudget.
- **Vector Databases** *(in Kürze)* — exakte gegen approximative Suche und der
  Punkt, an dem du wechselst.

## Zwei Einstiegspfade [#zwei-einstiegspfade]

- **Standalone:** Python, Mathematik, neuronale Netze und PyTorch sind enthalten.
- **Godot-RL-Brücke:** Eine Diagnose erkennt bereits belegte Fähigkeiten aus dem
  Godot-RL-Kurs an und vermeidet unnötige Wiederholung (ein eigener Kurs; hast du
  ihn nicht gemacht, nimm den Standalone-Weg).

Beide Wege beginnen mit [Einheit 0](/de/unit-00) und der
[Diagnose](/de/diagnostic). Neueinsteiger bearbeiten [F01–F06](/de/foundations-01-python-numpy);
Godot-RL-Absolventen nutzen die [kompakte Brücke](/de/foundations-godot-rl-bridge).
Jede übersprungene Grundlage behält einen Rücksprunglink. Alle Wege führen über
das gemeinsame F06-Gate zum selben Kernkurs.

Danach folgen [T01 Bigramm-Baseline](/de/bigram-baseline), [T02 Byte-Level-BPE](/de/bpe-tokenizer),
[T03 Datenpipeline und Embeddings](/de/data-pipeline), [T04 Self-Attention](/de/attention),
[T05 Mini-GPT](/de/mini-gpt), das [T06 Kerngate](/de/mini-gpt-gate) und
[I01 Decoding, Sampling und KV-Cache](/de/inference-decoding). E01–E04 ergänzen
[reproduzierbares Training](/de/pretraining), [Datenqualität](/de/data-quality),
[Evaluation](/de/evaluation) und [Profiling](/de/profiling). Die Firmenstrecke
[C01–C04](/de/company-strategy) führt von der Anforderung zur Modellentscheidung,
zu prüfbaren Daten, geschützter Evaluation und Continued Pretraining; die
Adaptationsstrecke [A01–A04](/de/sft-lora) behandelt SFT/LoRA, den
Adaptationsvergleich, DPO und die RLHF-Brücke; der [Capstone](/de/company-capstone)
verbindet alles zu einer umkehrbaren Firmenmodell-Entscheidung. Der Track
[„Angewandt: RAG“](/de/rag-build) (R01–R02) ist ein
eigenständiger Einstieg, der nur Python und einen LLM-Aufruf braucht.

Alle Pflichtziele haben einen CPU-Pfad. Prüfe vor größeren Experimenten die
[Hardware- und Kostenleitplanken](/de/hardware).

## Was du im gesamten Kurs bauen wirst [#was-du-im-gesamten-kurs-bauen-wirst]

- eine Bigramm-Sprachmodellbaseline;
- einen BPE-Tokenizer;
- Self-Attention und einen Decoder-Transformer;
- ein kleines GPT-Modell mit Training und Evaluation;
- Instruktions- und Präferenz-Finetuning;
- eine synthetische Datenpipeline mit Qualitätsprüfungen;
- ein Retrieval-System über das Kursmaterial, mit eigenem Evaluationsset,
  Guardrails und einer ausgelieferten API;
- eine Agentenschleife mit zwei Tools über deine eigenen Berichte und den Kurstext;
- einen reproduzierbaren Firmenmodell-Capstone.

<aside className="course-note" aria-label="Entwicklungsstand">
<strong>Entwicklungsstand</strong>

Jede auf dieser Seite verlinkte Lektion ist geschrieben und läuft auf einer
CPU, auf Englisch und Deutsch; die mit „(in Kürze)“ markierten Einheiten sind
noch nicht geschrieben.

</aside>
