Zum Inhalt springen
LLM Engineering Course
Deutsch
Esc
↑↓navigieren↵öffnen⌘Jvorschau
Auf dieser Seite

Dein Weg durch den Kurs

← Einrichtung · Kursstart · Glossar

Du brauchst keine Vorkenntnisse in Machine Learning, Analysis oder PyTorch: F04 bringt dir die Ableitungsregeln Schritt für Schritt bei, und du prüfst jede, indem du eine Zahl anstupst. Du brauchst einen Computer, auf dem du Python installieren kannst, und Zeit für kleine eigene Programme. Einheit 0 braucht kein Python-Wissen; mach sie zuerst, dann den Python-Einstieg in F01 in deinem Tempo. Einheit 0 ist ein geführter erster Erfolg; das gesamte Trainingssystem musst du dort noch nicht verstehen.

Wähle deinen Einstieg

Ausgangspunkt Lernweg
Neu in Programmierung und ML Einrichtung → Einheit 0 → Diagnose → F01–F06 → T01–T06 → I01 → E01–E04 → C01–C04 → A01–A04 → Capstone
Python-Erfahrung, neu in ML Derselbe Weg; belege F01-Fähigkeiten vor dem Überspringen in der Diagnose.
Erfahrung aus dem Godot-RL-Kurs Einheit 0 → Diagnose → B01-Brücke → fehlende Grundlagen → gemeinsames F06-Gate → T01–T06 → I01 → E01–E04 → C01–C04 → A01–A04 → Capstone.
Python und ein LLM-Aufruf, will zuerst Retrieval Einrichtung → R01 → R02, danach der Kernweg oben.
Einheit 0 gemacht, will als Nächstes einen Agenten bauen Einrichtung → Einheit 0 → AG01 → AG02 → AG03, danach der Kernweg oben.

Zeit, geschätzt aus den Angaben der Seiten: Einrichtung, Einheit 0 und Diagnose dauern etwa 2–3 Stunden, T01–T06 etwa 8–10 Stunden, E01–E04 etwa 4–5 Stunden und AG01–AG03 etwa 3,5–5 Stunden. Die meisten übrigen Lektionen nennen noch keine Dauer, deshalb gibt es keine ehrliche Gesamtzahl.

Die Diagnose ist keine Hürde. Eine unbeantwortete Frage bedeutet „Das lernst du als Nächstes“. Du kannst jederzeit die ganze Lektion wählen.

Was jede Stufe ergänzt

Diese Tabelle ist eine Landkarte; du musst sie noch nicht verstehen.

Stufe Frage, die du danach beantworten kannst Prüfung vor dem Weitergehen
Einheit 0 Was ändert sich, wenn ich einen Score für das nächste Zeichen erhöhe? Eigene Änderung vorhersagen, ausführen und erklären; JSON-Bericht aufbewahren. Bei fehlgeschlagenen Checks: Fehlerbehebung.
Diagnose Welche Grundlagen darf ich sicher überspringen, und wo steige ich wieder ein? Gemeinsames Gate: eine Batch-Shape, ein stabiler Kreuzentropiewert, ein Backward/Update-Zyklus, Gradient-Löschen erklärt, Reproduktion mit Seed.
B01-Brücke Welche Godot-RL-Fähigkeiten übertragen sich direkt auf Sprachmodelle? Transferaufgaben abschließen, dann den gemeinsamen F06-Checkpoint nehmen.
F01–F06 Wie berechnet ein Programm Fehler und verbessert seine Zahlen? F06-Rubrik: eigene checkpoint.py, Gradientencheck unter 1e-6, Diagnose des falschen Vorzeichens, zwei CPU-Läufe innerhalb von 1e-7.
T01 Bigramm Kann das letzte Token das nächste vorhersagen? Die Schleife Daten → Loss → Update → Validation → Sampling nachbauen und einen Baselinevergleich erklären.
T02 Tokenizer Wie wird Text verlustfrei zu Ganzzahlen? Roundtrip- und Randfalltests bestehen; den Kompromiss Vokabular/Sequenzlänge/OOV erklären.
T03 Pipeline Wie werden Dokumente zu Batches mit Ziel-Tokens? Die Kette Text → Batch → Embeddings nachzeichnen und jeden Tensor, jede Grenze und Maske erklären.
T04 Attention Welche früheren Positionen tragen zur Vorhersage bei? Handrechnung einer Attention-Zeile, Heatmap und Kausalitätstest im Bericht.
T05 Mini-GPT Wie wird aus diesen Teilen ein trainierbarer Decoder? Tiny-Batch überfitten, identisch laden; jede Shape verfolgen und Attention-Maske von Lossmaske trennen.
T06 Kerngate Kann ich einen Decoder eigenständig implementieren, diagnostizieren und erklären? Mindestens 8/10 inklusive aller Coding- und Defektpunkte, Tiny-Batch-NLL unter 0,1 und exakter Reload.
I01 Decoding Wie wird aus einer Logit-Zeile ein Token, wann stoppt die Generierung, und was behält der Cache? Temperaturspalten und Masken von Hand; Stoppregel nennen und was der KV-Cache pro Block speichert.
E01 Training Kann ich einen Lauf unterbrechen und dasselbe Experiment fortsetzen? CPU-Parameter mit ununterbrochenem Lauf vergleichen, Accumulation-Gewichte herleiten und die Position des Clippings erklären.
E02 Datenqualität Kommt die Verbesserung nur von kontaminierten Daten? Absichtlich undichte Evaluation prüfen, reparieren und messen; eine Data Card schreiben.
E03 Evaluation Verbessert eine Änderung unbekannte Vorhersagen über mehrere Seeds? Gepaarter Vergleich mit Unsicherheit; die unveränderte Kontrolle zurückweisen; einen blinden Fleck der Smoke-Checks nennen.
E04 Profiling Was passt in mein Zeit- und Speicherbudget? Parameterzahl herleiten, Schätzung mit gemessenem CPU-Lauf vergleichen und den Speicherumfang benennen.
C01 Strategie Ist Training der richtige nächste Schritt für dieses Firmenproblem? Jede gewählte Komponente auf Anforderung, gemessene Baselinelücke und Abnahmetest zurückführen.
C02 Firmendaten Wie wird ein Quellen-Snapshot zu prüfbaren Trainingsdaten? Snapshot, Trainingsdatensatz, Entwicklungsfall und geschützten Gold-Fall unterscheiden.
C03 Geschützte Evaluation Warum ist ein Entwicklungs-Score kein Gold-Nachweis? Kontaminationsbericht ohne Überschneidungen; Iteration und versiegelten Nachweis unterscheiden.
C04 Continued Pretraining Hilft Domänentext, ohne die allgemeine Baseline zu verlieren? Promotionsschwelle nennen, Rollback-Artefakt benennen, erklären, warum DAPT eine Instruktionsevaluation braucht.
A01 SFT & LoRA Wie bringe ich eine Antwort bei und bewahre die Basis? Loss-Ausrichtung ohne Trainer; LoRA-Delta anfangs null, eingefrorene Basis, sicherer Reload und Merge; ein gescheitertes Gate ehrlich berichten.
A02 Adaptationsvergleich Welche Adaptation rechtfertigen die Belege? Faire gepaarte Scorecard lesen; Speicherersparnis von Spitzenspeicher trennen; einen Adapter ablehnen, der ein Gate verfehlt.
A03 DPO Wie verändert ein Präferenzpaar eine Policy? Eine Log-Wahrscheinlichkeitssumme, das geclippte PPO-Verhältnis, Proxy-Reward gegenüber Aufgabenerfolg.
A04 RLHF-Brücke Wie wird ein Reward-Modell ausgenutzt, und was löst einen Rollback aus? Einen Rollback-Monitor und die unveränderliche Referenz zu seiner Reproduktion beschreiben.
Capstone Kann eine andere Person meine Firmenmodell-Entscheidung reproduzieren? Entscheidungsrecord: CPU-Rezepte aus frischem Checkout, Baseline-Hashes, zwei verworfene Alternativen, der Rollback-Schritt.
R01 RAG bauen Wie wird aus einem Dokument eine belegte Antwort ohne Training? Eine Evaluationsfrage in einer eigenen Datei schreiben und ihren Recall@5 für beide Presets berichten.
R02 RAG-Qualität Verweigert und belegt mein Retrieval-System korrekt? Mit Zahlen aus dem eigenen Lauf sagen, welches Preset besser abruft, wie oft jedes verweigert und was der Judge nicht sieht.
AG01 Agentenschleife Warum hält die Schleife an, und was sieht das Modell, nachdem ein Tool gelaufen ist? Referenz-Trace mit beiden Tools; die fünf Berichte aus „Brechen“; die Tabelle der fünf Läufe; ein eigenes drittes Tool.
AG02 Native Tool-Use Was hat die API übernommen, und was bleibt meine Sache? Drei Referenzberichte zu einer Frage; die vier Berichte aus „Brechen“; die Tabelle der fünf Läufe mit Kosten; ein Tool mit Schema.
AG03 Prompt-Injection Was bringt jede Stufe der Leiter tatsächlich, und warum wirkt das Entfernen einer Fähigkeit, wo das Filtern von Text nicht reicht? Predict-Reihenfolge neben den eigenen drei Tabellen; ein Satz zur größten Überraschung; die Ausgabe von check_defenses.py; die zwei Berichte aus „Brechen“; Trefferquote und Falsch-Positiv-Rate des Klassifikators.

Die Labs liefern Nachweise für die Kursrubriken, aber kein automatisch ausgestelltes Zertifikat und keine Freigabe des öffentlichen Kurses.

So bearbeitest du eine Lektion

  1. Predict: Notiere eine erwartete Zahl, Form oder Richtung vor der Ausführung.
  2. Trace: Verfolge ein Beispiel durch den Code. Benenne jede Achse.
  3. Build: Implementiere die kleine Aufgabe selbst in artifacts/my-work/.
  4. Break: Ändere die vorgeschlagene Annahme und bewahre den Fehler als Beleg auf.
  5. Measure: Vergleiche mit unveränderter Baseline auf denselben Daten und Seeds.
  6. Explain: Erkläre die Ursache; „Der Test besteht“ erklärt keinen Mechanismus.

Beginne mit dem CPU-Befehl. Lies JSON-Berichte als Baum benannter Messungen: validation.loss meint das Feld loss innerhalb von validation. Laufzeiten können schwanken, auch wenn gelernte Parameter gleich sind. Notiere Befehle, Konfiguration, Versionen und Ergebnisse. Erzeugte Berichte und Gewichte bleiben in artifacts/.

Wenn du feststeckst

Schwierigkeit Zurück zu
def, Klammern, Schleifen oder Exceptions sind unklar F01
Du kannst [B,T,D] nicht erklären F02
Scores, Wahrscheinlichkeiten und Loss wirken austauschbar F03
Die Richtung eines Updates ist unklar F04
Rückwärtslauf oder Gradientencheck bleiben rätselhaft F05
Optimizer oder Seeds wirken wie Magie F06
Du kannst nicht sagen, welche Positionen eine Attention-Zeile liest T04
Temperatur, Top-k/Top-p oder der KV-Cache sind unklar I01
Ein gepaarter Vergleich, Seed oder Held-out-Anspruch ist unklar E03
Ein neues Kürzel stört beim Lesen Glossar

Versuche die Aufgabe vor dem Öffnen von Hinweis oder Lösung. Bleibt die Lösung unklar, reduziere sie auf eine Zeile und eine Zahl. Wiederhole nur den fehlenden Checkpoint, nicht den ganzen Kurs. Der echte Anfängerpilot bleibt notwendig, um Tempo und Verständnis mit Lernenden zu überprüfen.

War diese Seite hilfreich?