C04 — Continued Pretraining ohne Verlust der Baseline
← C03 — Geschützte Evaluation · A01 — SFT & LoRA → · Glossar
Voraussetzungen: C02, E01. Eine Sitzung.
Der Code steht in src/llm_course/continued_pretraining.py; lies
document_batches, adaptation_decision und run_continued_pretraining neben dieser Seite.
Was DAPT ändert und was nicht
Continued Pretraining (DAPT) setzt das Sprachmodellziel auf freigegebenem
Fachtext fort. Es lernt Wortschatz und Stil, aber keinen JSON-Antwortvertrag.
document_batches kodiert jedes Dokument mit einem Byte-Tokenizer ohne Merges
(Vokabular 260, also nichts an Holdout-Text angepasst) und schneidet es in Fenster
von 48 Next-Byte-Zielen, die nie eine Dokumentgrenze überschreiten. Das Modell ist
T05s MiniGPT mit einer Schicht, Breite 32 und vier Köpfen: 30.816 Parameter,
die 123.264 Bytes Float32-Speicher, die der Bericht als parameter_bytes führt.
Das Beispiel trennt ganze Dokumente, bevor ein Fenster geschnitten wird: jeder
vierte tiny_lm-Satz ist allgemeine Kontrolle (12 Training, 4 Holdout), jeder
vierte company_documents()-Eintrag mit anderem Versatz ist Fach-Holdout
(9 Training, 3 Holdout: access-secret-v1, escalation-v1 und
support-format-v1). Instruktions- und Goldfälle werden nie gelesen.
run_continued_pretraining normalisiert beide Trainingskorpora gegen beide
Holdouts und wirft bei jeder Überschneidung ValueError.
Die Entscheidungsschwelle nachrechnen
adaptation_decision liest vier NLLs und zwei vorregistrierte Schwellen: der
Gewinn = domain_before − domain_after muss minimum_gain = 0,1 Nats erreichen,
die Regression = general_after − general_before darf maximum_regression = 0,15
nicht überschreiten. Beide Tore müssen passieren; eine niedrigere Domain-NLL kann
Vergessen nicht verdecken. Für Seed 7 fällt das Fach-Holdout von 3,7068 auf
3,2961, Gewinn 0,4107; die allgemeine Kontrolle steigt von 2,5574 auf 2,6662,
Regression 0,1087. Beide Tore passieren, die Entscheidung lautet
keep_for_further_review mit dem Scope raw-text validation gates only; no instruction or production-quality claim. C01s
choose_strategy wendet dieselben zwei Schwellen an, wenn es diese Evidenz erhält.
| Seed | Domain-NLL vorher → nachher | Gewinn | Allgemeine NLL vorher → nachher | Regression |
|---|---|---|---|---|
| 7 | 3,7068 → 3,2961 | 0,4107 | 2,5574 → 2,6662 | 0,1087 |
| 19 | 3,6247 → 3,2551 | 0,3696 | 2,4640 → 2,5500 | 0,0860 |
| 43 | 3,5880 → 3,2296 | 0,3584 | 2,5191 → 2,5515 | 0,0323 |
Ausführen, fortsetzen, zurückrollen
Der Lauf nutzt den Firmensnapshot, Byte-Fallback-Tokenisierung, getrennte Fach-Holdouts und zwei allgemeine Kontrollen. Ein unveränderliches Basismodell, unterbrochene Fortsetzung und Rollback werden geprüft.
.venv/bin/python examples/run_continued_pretraining.py --seeds 7 19 43Die Messungen verbessern Domain-NLL um 0,359–0,411 Nats, verschlechtern die allgemeine Kontroll-NLL aber um 0,032–0,109 Nats. Deshalb bleibt der Kandidat in Prüfung. Exakte Fortsetzung und Rollback sind Engineering-Nachweise, kein Qualitätsbeweis.
Jeder Seed schreibt artifacts/continued-pretraining/<seed>/report.json nach 80
Basisschritten und 40 Adaptionsschritten bei Lernrate 0,002, 2.940
Adaptionstokens. Die Fortsetzungsprüfung trainiert eine zweite Kopie 20 Schritte,
speichert interrupted.pt, lädt sie in einen frischen Trainer und beendet die
restlichen 20: parameter_max_difference ist 0.0 und optimizer_exact ist
true für jeden Seed. Die Rollback-Prüfung lädt general-reference.pt neu und
vergleicht Logits auf einem Holdout-Batch: logits_exact ist true. Weil die
Entscheidung „behalten” lautet, zeigt selected_checkpoint auf
adapted-model.pt; bei rollback zeigte es auf die Referenz. Ein Budget von 60
Sekunden pro Seed stoppt an einer Optimizer-Grenze und speichert budget-stop.pt.
Vorhersagen → Nachvollziehen → Bauen → Beschädigen → Messen → Erklären
- Vorhersagen: Welche Kombination rollt
adaptation_decisionzurück: Gewinn 0,05 mit Regression 0,02 oder Gewinn 0,5 mit Regression 0,2? Beide? Notieren. - Nachvollziehen: Führe den Befehl aus und lies
decision,resumeundrollbackfür Seed 7 inartifacts/continued-pretraining/7/report.json. - Bauen: Rufe
adaptation_decision(3.7068, 3.2961, 2.5574, 2.6662)auf und reproduziere die Seed-7-Zeile; übergib dannmaximum_regression=0.1und liesreasons. - Beschädigen: Hänge in einer Kopie des Beispiels ein
domain_eval-Dokument andomain_trainund beobachte denValueError, bevor ein Schritt läuft. - Messen: Führe
--seeds 7 --adapt-steps 80aus, notiere Gewinn und Regression neben der 40-Schritt-Zeile und benenne das Tor, das sich bewegt. - Erklären: Warum befördert ein bestandenes Tor den Checkpoint trotzdem nicht? Nenne die Evaluation, die als Nächstes laufen muss.
Eigenständige Aufgabe
Warum werden Domaingewinn und allgemeine Regression getrennt berichtet? Was macht den Versuch ungültig: einen allgemeinen Testsatz in den Trainingstext aufnehmen oder nur den Lernraten-Seed ändern?
Hinweis
Sieh nach, was run_continued_pretraining vor dem Training prüft und was der
Bericht pro Seed festhält. Eine Änderung fängt der Code; die andere fängt nur
die Person, die das Protokoll führt.
Referenzantwort
Getrennte Werte zeigen Vergessen. Testsatztext im Training ist Kontamination; ein geänderter Seed ist ein neuer, zu dokumentierender Lauf.
Checkpoint: Lege eine Freigabeschwelle fest, benenne das Rollback-Artefakt und begründe die anschließende Instruktions-Evaluation.
← C03 — Geschützte Evaluation · A01 — SFT & LoRA → · Glossar