A01 — SFT und LoRA: Antworten lernen, Basismodell erhalten
← C04 — Continued Pretraining · A02 — Adaptationsvergleich → · Glossar
Voraussetzungen: Decoder, Training sowie die Daten- und Evaluationsverträge der fiktiven Firma. Zuerst den expliziten CPU-Versuch verstehen, danach den optionalen Versuch mit einem vortrainierten Modell ausführen. Beide Wege benötigen weder private Daten noch eine kostenpflichtige Lehrer-API.
Antwortmaske nachvollziehen
Der Prompt konditioniert die Antwort, wird aber nicht als gewünschte Antwort
bewertet. Aus Token-IDs [11, 12 | 21, 22] entstehen unverschobene Labels
[-100, -100, 21, 22]. logits[1] sagt 21 voraus, logits[2] sagt 22 voraus.
Die Loss-Funktion verschiebt genau einmal. Bereits verschobene Labels würden den
falschen Übergang trainieren. Padding erhält ebenfalls −100 und Attention-Maske 0.
Bei Zielwahrscheinlichkeiten 0,5 und 0,25 beträgt die mittlere Antwort-NLL
(-log(0,5) - log(0,25))/2 = 1,0397. Zehn zusätzliche Prompt-Tokens dürfen diesen
Mittelwert nicht verdünnen. Bei festen Logits ändert ein maskiertes Ziel den Loss
nicht; veränderte Prompt-Eingaben können trotzdem andere Antwort-Logits erzeugen.
Prompt und Antwort werden getrennt tokenisiert, damit die Grenze explizit bleibt. Der Assistant-Header gehört zum Prompt, das End-of-turn-Token zur Antwort. Zu lange Beispiele werden abgelehnt: Abschneiden könnte die Sicherheitsregel oder Antwort entfernen.
Niedrigrang-Update vor PEFT bauen
Vollständiges SFT verändert alle Gewichte. LoRA berechnet
y = Wx + (alpha/r)BAx, mit A der Form [r, Eingang] und B [Ausgang, r].
W und Bias bleiben eingefroren. Bei 512×512 Gewichten und Rang 4 enthalten die
Faktoren 4×512 + 512×4 = 4.096 Parameter statt 262.144, also 1,5625%.
Andere Schichten, Bias, Optimizer-Zustand und Aktivierungen fehlen in diesem Anteil.
A startet zufällig, B mit null. Das angepasste Modell reproduziert zunächst exakt das Basismodell. Beim ersten Rückwärtslauf kann B einen Gradienten haben, A wegen B=0 aber noch nicht. Nachdem B verändert wurde, lernt auch A. Ein Test auf einen von null verschiedenen A-Gradienten im ersten Schritt wäre falsch.
LoRALinear.merged() kopiert W + (alpha/r)BA in eine neue lineare Schicht.
Adapterdateien enthalten Version und Hash der exakten Basisgewichte. Eine andere
Basis gleicher Dimension wird abgelehnt. Der Kern lädt mit
torch.load(weights_only=True), PEFT verwendet safetensors. Nichtendliche Werte
werden beim Merge abgelehnt. Die unveränderte Basis ermöglicht den Rollback.
Ausführen und messen
.venv/bin/pytest tests/test_post_training.py -q
.venv/bin/python examples/run_sft_lora.py --steps 120
.venv/bin/pip install -e '.[post-training]'
.venv/bin/python examples/run_open_model_lora.py --download --device cpu
.venv/bin/python examples/run_open_model_lora.py --device mps --output artifacts/open-model-lora-mpsDer MiniGPT-Versuch vergleicht vollständiges SFT und manuelles LoRA ab derselben
zufälligen Initialisierung: gleiche Splits, Seed, Optimizer, Lernrate, Schritte
und Batchgröße. Der Bibliotheksversuch lädt das echte Apache-2.0-Modell
SmolLM2-135M-Instruct,
Revision 12fd25f77366fa6b3b4b768ec3050bf629380bac. Nur freigegebene Konfigurations-
und Tokenizerdateien sowie model.safetensors werden heruntergeladen.
trust_remote_code=False; Rang-4-Adapter an q/v trainieren in float32.
Alle Methoden nutzen Trainingsanweisungen und separat verfasste Entwicklungsfälle,
niemals Gold. Derselbe Evaluator bewertet generierte Antworten vor/nach Training.
Antwort-NLL und exakte/Format-/Sicherheitsmetriken messen Verschiedenes: Bessere NLL
unter Teacher Forcing garantiert keine brauchbaren Antworten. Reload und Merge
werden gegen den trainierten Adapter geprüft. Messwerte und Grenzen stehen im
Anpassungsvergleich und in docs/baselines/sft-lora-v1.md.
Vorhersagen → Nachvollziehen → Bauen → Beschädigen → Messen → Erklären
- Vorhersagen: Welches Token erhält den ersten Antwort-Loss? Wie groß ist A’s erster Gradient?
- Nachvollziehen: IDs, Labels und Attention-Masken unterschiedlich langer Beispiele ausgeben.
- Bauen:
response_batch,sft_lossundLoRALinearaus den Formeln implementieren. - Beschädigen: W freigeben, Verschiebung entfernen oder falsche Basis laden; Tests prüfen.
- Messen: Train/Dev-NLL, Formatfehler, allgemeine Kontroll-NLL, Laufzeit und Parameter zählen.
- Erklären: Adapter behalten oder zurückrollen? Regressionen sind Entscheidungsevidenz.
Eigenständige Aufgabe
Eine Schicht hat 12 Eingänge, 8 Ausgänge, Rang 2 und alpha 6. Parameterzahl und Skalierung berechnen. Bei festen Logits ein Prompt- und ein Antwortziel getrennt ändern und den Loss testen. Nach zwei Optimizer-Schritten speichern, laden und mergen; die Basis darf keine Gradienten erhalten.
Hinweis
Beide rechteckigen Faktoren zählen. Das Ziel an Position t wird aus Logits an t−1 vorhergesagt. Maske und Ziel müssen gemeinsam verschoben werden.
Referenzantwort
A: 24, B: 16, zusammen 40 statt 96 Basisgewichte. Skalierung: 3. Maskierte Promptziele ändern den Loss nicht. Antwortziele ändern ihn bei verschiedenen Ziel-Logwahrscheinlichkeiten. A lernt, nachdem B verändert wurde.
Checkpoint: Loss-Ausrichtung ohne Trainer erklären; anfängliches Null-Update, eingefrorene Basis sowie sicheres Laden/Mergen belegen; verfehlte Qualitätsziele klar benennen. Quellen: LoRA, PEFT.
← C04 — Continued Pretraining · A02 — Adaptationsvergleich → · Glossar