Zum Inhalt springen
LLM Engineering Course
Deutsch
Esc
↑↓navigieren↵öffnen⌘Jvorschau
Auf dieser Seite

LLM-Engineering-Kurs

Verstehe Sprachmodelle, indem du ihre wichtigen Bestandteile selbst baust. Später verwendest du sie für einen realistischen Firmenfall.

Beginne mit der Einrichtung und dem Lernleitfaden. Er nennt Voraussetzungen und Checkpoints. Das Glossar erklärt unbekannte Begriffe. Vorkenntnisse in Machine Learning sind nicht erforderlich.

Zuletzt aktualisiert am 30.09.2026 — siehe Neu im Kurs.

Was du danach kannst

Jede Fähigkeit unten wird durch eine Einheit belegt, die du auf der CPU ausführen kannst — nicht durch eine Leseliste.

  • Erklären, wie aus Text eine Vorhersage wird — Byte-Level-Tokenisierung, Embeddings, Self-Attention und ein Decoder, selbst gebaut in T02, T03, T04 und T05.
  • Ein kleines GPT trainieren und fortsetzen — eine Trainingsschleife, die du unterbrechen und reproduzieren kannst, in T05, T06 und E01.
  • Die Textgenerierung steuern — Temperatur, Top-k/Top-p, Stoppregeln und der KV-Cache, in I01.
  • Echte Verbesserung von Rauschen unterscheiden — Held-out-Evaluation über mehrere Seeds, mit Unsicherheit und Kontaminationsprüfung, in E02 und E03.
  • Im Budget arbeiten — Parameterzahl, Speicher und Zeit abschätzen, bevor du sie ausgibst, in E04 und den Hardware-Leitplanken.
  • Ein Modell anpassen statt neu trainieren — SFT, LoRA, DPO und Continued Pretraining, belegbar verglichen, in A01–A04 und C04.
  • Ein Retrieval-System über eigene Dokumente bauen — Chunking, Satz-Embeddings, ein Vector Store und Antworten mit Quellenangabe, in R01.
  • Ein System ehrlich halten — ablehnen, wenn die Antwort nicht in den Quellen steht, Zitate erzwingen, Prompt Injection erkennen und die Ablehnungsrate messen, in R02.
  • Eine Agentenschleife bauen, in der nichts versteckt ist — ein Klartext- Tool-Protokoll, das du selbst parst, ein Schrittbudget und ein Trace, der zeigt, was das Modell tatsächlich gesehen hat, in AG01.
  • Denselben Agenten auf eine native Tool-Use-API setzen und sagen, was die API übernommen hat — Schemas, strukturierte Aufrufe, Aufruf-IDs — und was nicht, gemessen an derselben Frage auf drei Wegen, in AG02.
  • Messen, was eine Abwehr gegen Prompt Injection Stufe für Stufe tatsächlich bringt — eine kumulative Verteidigungsleiter gegen R02s Retrieval-Pipeline und AG02s Agenten, nur mit lokalen Modellen, in AG03.
  • Entscheiden, ob überhaupt trainiert wird — aus einer Anforderung eine gemessene Baseline-Lücke und eine umkehrbare Entscheidung machen, in C01 und im Capstone.

Der Angewandt-Track geht über Retrieval hinaus. Diese Einheiten sind geplant und noch nicht geschrieben:

  • Ein eigener MCP-Server (in Kürze) — den Agenten mit dem MCP-Server des Kurses verbinden, dann selbst einen bauen und ausliefern.
  • Prompt Engineering (in Kürze) — Prompt-Varianten gegen ein Evaluationsset messen, statt Mustern zu vertrauen.
  • Guardrails als eigene Einheit (in Kürze) — Eingangs- und Ausgangsprüfungen für jedes LLM-System, nicht nur für Retrieval.
  • Conversational AI (in Kürze) — mehrstufige Antworten, Memory und das Kontextbudget.
  • Vector Databases (in Kürze) — exakte gegen approximative Suche und der Punkt, an dem du wechselst.

Zwei Einstiegspfade

  • Standalone: Python, Mathematik, neuronale Netze und PyTorch sind enthalten.
  • Godot-RL-Brücke: Eine Diagnose erkennt bereits belegte Fähigkeiten aus dem Godot-RL-Kurs an und vermeidet unnötige Wiederholung (ein eigener Kurs; hast du ihn nicht gemacht, nimm den Standalone-Weg).

Beide Wege beginnen mit Einheit 0 und der Diagnose. Neueinsteiger bearbeiten F01–F06; Godot-RL-Absolventen nutzen die kompakte Brücke. Jede übersprungene Grundlage behält einen Rücksprunglink. Alle Wege führen über das gemeinsame F06-Gate zum selben Kernkurs.

Danach folgen T01 Bigramm-Baseline, T02 Byte-Level-BPE, T03 Datenpipeline und Embeddings, T04 Self-Attention, T05 Mini-GPT, das T06 Kerngate und I01 Decoding, Sampling und KV-Cache. E01–E04 ergänzen reproduzierbares Training, Datenqualität, Evaluation und Profiling. Die Firmenstrecke C01–C04 führt von der Anforderung zur Modellentscheidung, zu prüfbaren Daten, geschützter Evaluation und Continued Pretraining; die Adaptationsstrecke A01–A04 behandelt SFT/LoRA, den Adaptationsvergleich, DPO und die RLHF-Brücke; der Capstone verbindet alles zu einer umkehrbaren Firmenmodell-Entscheidung. Der Track „Angewandt: RAG“ (R01–R02) ist ein eigenständiger Einstieg, der nur Python und einen LLM-Aufruf braucht.

Alle Pflichtziele haben einen CPU-Pfad. Prüfe vor größeren Experimenten die Hardware- und Kostenleitplanken.

Was du im gesamten Kurs bauen wirst

  • eine Bigramm-Sprachmodellbaseline;
  • einen BPE-Tokenizer;
  • Self-Attention und einen Decoder-Transformer;
  • ein kleines GPT-Modell mit Training und Evaluation;
  • Instruktions- und Präferenz-Finetuning;
  • eine synthetische Datenpipeline mit Qualitätsprüfungen;
  • ein Retrieval-System über das Kursmaterial, mit eigenem Evaluationsset, Guardrails und einer ausgelieferten API;
  • eine Agentenschleife mit zwei Tools über deine eigenen Berichte und den Kurstext;
  • einen reproduzierbaren Firmenmodell-Capstone.

War diese Seite hilfreich?