E03 — Evaluation: Aussagen mit überprüfbarer Evidenz
← E02 — Datenqualität · E04 — Profiling & Budgets → · Glossar
Voraussetzungen: die Einheiten Decoder und Training. Du solltest Logits, verschobene Zielwerte und einen Optimierungsschritt erklären können. Plane etwa 50 Minuten ein. Alle Experimente laufen offline auf der CPU.
Danach kannst du zurückgehaltenen Loss richtig gewichten, gepaarte Läufe vergleichen, unbegründete Verbesserungsbehauptungen zurückweisen und die Grenzen kleiner Verhaltenstests benennen.
1. Das Experiment vor dem Ergebnis festlegen
Zurückgehaltene Daten beeinflussen keine Parameteraktualisierung. Validierungsdaten dienen zusätzlich zur Auswahl von Einstellungen. Ein Testdatensatz bleibt bis zur abschließenden Bewertung unangetastet. Sobald du nach jedem Testergebnis Einstellungen anpasst, verwendest du ihn zur Validierung.
Hier stehen beide Lernraten vorher fest: 0,001 und 0,003. Alle anderen Einstellungen bleiben gleich: 30 Optimierungsschritte, Architektur, Trainingsreihenfolge, Daten, Generierung und die Initialisierungs-Seeds 7, 19 und 43. Ein Seed legt den Startzustand eines Pseudozufallszahlengenerators fest. Gepaart bedeutet: Beide Einstellungen mit Seed 7 werden miteinander verglichen, ebenso 19 und 43.
Das Hauptexperiment verwendet den synthetischen Unit-0-Kurskorpus und den
Zeichen-Encoder. Die Aufteilung mit Seed 7 enthält zwölf Trainingsdokumente, zwei
Validierungsdokumente und zwei Testdokumente. Die Trainingsbatchgröße ist vier.
Jedes Dokument wird auf 25 codierte Tokens gekürzt: höchstens 24 nächste Zieltokens.
Die zwei Testdokumente liefern insgesamt 48 bewertete Ziele. Die Validierung bleibt
unbenutzt, weil die Einstellungen vorher festgelegt wurden. Das Modell verwendet
Breite 32, zwei Decoderblöcke, vier Attention-Köpfe und Kontextlänge 24.
Herkunft und CC0-1.0-Freigabe stehen in datasets/unit0/manifest.json sowie
docs/data-cards/unit0-synthetic-v1.md. Das sind keine allgemeinen Sprachbenchmarks.
Zusätzlich enthält der Bericht unter symbol_task ein separat trainiertes Modell
für sieben Symbole. Seine Dokumente sind neunstellige Rotationen der Regel
0,1,2,3,4,5,6,0,.... Startwerte 0–3 bilden das Training mit 32 Zieltokens;
Startwerte 4–6 bilden den Test mit 24 Zieltokens. Die Dokumente sind verschieden,
ihre Übergänge kommen aber auch im Training vor. Das misst Regelfortsetzung.
Vergleiche seinen NLL niemals direkt mit dem des Zeichenmodells.
Die JSON-Datenkarte dokumentiert Quelle, Lizenz, Generator, Aufteilung, Anzahlen, Fingerabdrücke und Grenzen. Ein Fingerabdruck ist hier ein SHA-256-Wert der serialisierten Tensoren und des Prüfprotokolls. Er zeigt, ob wirklich dieselben Evaluationsdaten und Einstellungen verwendet wurden. Die Symboldaten entstehen nur im Arbeitsspeicher; es werden keine Korpora oder Gewichte eingecheckt.
2. Tokens zählen, nicht Batches
Die negative Log-Likelihood (NLL) lautet -log(p(richtiges nächstes Token)).
Der natürliche Logarithmus gibt die Einheit Nat vor. Kleiner ist besser. Hat
das richtige Token Wahrscheinlichkeit 0,5, beträgt sein NLL ungefähr 0,693.
Perplexität ist exp(mittlerer NLL). Sie überträgt den logarithmischen Loss auf
eine multiplikative Skala und ist keine Prozentzahl richtiger Antworten. Vergleiche
sie nur bei gleichem Tokenizer, Vokabular, Zielwerten und Prüfprotokoll.
Ein Batch enthält ein gültiges Token mit NLL 1, ein zweiter drei gültige Tokens
mit mittlerem NLL 3. Zusammen ergibt das (1*1 + 3*3)/(1+3) = 2,5 und Perplexität
exp(2,5) ≈ 12,1825. Der einfache Mittelwert 2 gewichtet das einzelne Token zu stark.
Padding-Zielwerte -100 dürfen weder zum Loss noch zur Tokenanzahl beitragen.
evaluate summiert Kreuzentropie mit reduction="sum" und dividiert erst am Ende
durch alle gültigen Ziele. Eingaben haben Form [B,T], Logits [B,T,V], Labels
[B,T]. Die Labels sind bereits auf das nächste Token verschoben. Noch einmal
verschieben wäre falsch. Während der Evaluation sind Trainingsverhalten und
Gradienten deaktiviert; danach werden die vorherigen Modulzustände wiederhergestellt.
3. Drei Seeds ausführen und Bericht lesen
Nach der normalen editierbaren Installation im Repository-Stamm. In PowerShell verwendest du für den mehrzeiligen Ausleseblock die portable Python-Dateivariante:
python examples/run_evaluation.py --output artifacts/evaluation/report.json
python - <<'PY'
import json
from pathlib import Path
report = json.loads(Path("artifacts/evaluation/report.json").read_text())
for arm in ("baseline", "candidate"):
for run in report[arm]:
print(arm, run["seed"], round(run["nll"], 4),
run["task_predictions"], run["generation_text"])
print(report["comparison"])
print("Unverändertes Modell:", report["no_change_control"]["claim_supported"])
print("Symbolvergleich:", report["symbol_task"]["comparison"])
PYReferenz für den Kurskorpus, Python 3.12.13, PyTorch 2.14.0, CPU:
| Seed | Basis-NLL | Kandidaten-NLL | Reduktion | Zeichenaufgabe richtig, Basis → Kandidat |
|---|---|---|---|---|
| 7 | 3,244165 | 2,974400 | 0,269765 | 0/3 → 0/3 |
| 19 | 3,456174 | 2,964097 | 0,492077 | 0/3 → 0/3 |
| 43 | 3,173621 | 2,866494 | 0,307127 | 1/3 → 1/3 |
Der Bericht enthält vollständige Modell- und Trainingseinstellungen. Andere
Bibliotheksversionen können kleine numerische Abweichungen verursachen.
--steps 2 ist ein anderes Experiment und reproduziert diese Tabelle nicht.
Die Aufgabenmetrik fragt nach dem nächsten Zeichen für Präfixe der Längen 4,
8 und 12 des ersten Testdokuments; richtige Token-IDs sind [21,1,18].
Argmax wählt jeweils das wahrscheinlichste Token. Die Generierungsprüfung
zieht dagegen 16 Fortsetzungstokens zum vierstelligen Präfix, bei Temperatur 1 und
Sampling-Seed 101. Temperatur steuert die Schärfe der Wahrscheinlichkeitsverteilung.
Kandidat 7 liefert <bos>a tdtammf measutse : Der NLL ist besser, aber die Ausgabe
bleibt schwach und die drei Aufgabenantworten werden nicht besser.
Das Symbolmodell liefert unter symbol_task:
| Seed | Basis-NLL | Kandidaten-NLL | Reduktion | Aufgabe richtig, Basis → Kandidat |
|---|---|---|---|---|
| 7 | 1,914761 | 1,340504 | 0,574257 | 0/3 → 3/3 |
| 19 | 1,791130 | 1,273541 | 0,517589 | 1/3 → 1/3 |
| 43 | 1,732459 | 1,316821 | 0,415639 | 0/3 → 2/3 |
Seine Aufgabenpräfixe [4], [5], [6] verlangen [5,6,0]. Die feste
Generierung beginnt bei [4,5] und ergänzt acht Tokens mit Seed 101. Alle drei
Kandidaten liefern [4,5,2,3,3,4,2,3,4,5] einschließlich Präfix: keine zuverlässige
Regelfortsetzung trotz verbessertem NLL. Argmax, Zufallsstichprobe und NLL messen
unterschiedliche Eigenschaften; keines ersetzt die anderen.
4. Unsicherheit und die unveränderte Kontrolle
Berechne pro Seed d = Basis-NLL - Kandidaten-NLL. Positive Werte bedeuten
Verbesserung. Beim Kurskorpus ist der Mittelwert 0,356323 Nat/Token. Die
Stichproben-Standardabweichung beschreibt die Streuung der drei Differenzen;
der Standardfehler s/sqrt(n) beschreibt die Unsicherheit ihres Mittelwertes.
Ein zweiseitiges 95%-Student-t-Konfidenzintervall lautet
Mittelwert(d) ± t*s(d)/sqrt(n). Drei Läufe ergeben n-1=2 Freiheitsgrade und
den Faktor 4,303 statt 1,96. Das Kursintervall lautet [0,060585; 0,652061].
Beim Symbolmodell sind Mittelwert und Intervall 0,502495 beziehungsweise
[0,302806; 0,702184]. Der Code unterstützt 3–31 gepaarte Seeds; doppelte oder
unterschiedliche Seeds und verschiedene Evaluationsidentitäten werden abgewiesen.
Eine Verbesserung gilt nur als unterstützt, wenn die gesamte Intervallgrenze über
null liegt. Basis gegen sich selbst ergibt [0,0] und claim_supported: false.
Auch die Differenzen [0,1; 0,2; 0,3] reichen trotz positivem Mittelwert nicht aus:
Ihr Intervall enthält null. Grundlagen:
NIST zu gepaarten Beobachtungen
und Konfidenzgrenzen.
Vorausgesetzt werden unabhängige Seed-Läufe und näherungsweise normalverteilte gepaarte Differenzen. Drei Seeds erlauben kaum eine Prüfung dieser Annahme. Die Unsicherheit betrifft nur Trainingszufall auf diesen festen Dokumenten, nicht neue Themen, neue Dokumente oder wiederholte Testoptimierung. Unter den Annahmen deckt das Verfahren bei vielen Wiederholungen in 95% der Fälle den wahren Mittelwert ab; es weist diesem bereits beobachteten Intervall keine 95%-Wahrscheinlichkeit für den enthaltenen Mittelwert zu.
5. Verhalten prüfen statt Erfolge fest einbauen
Ein Smoke-Test ist eine kleine Prüfung, die auffällige Fehler finden kann. Er bestätigt keine umfassende Qualität. Alle Verhaltensprüfungen konsumieren wirkliche Modellausgaben:
| Prüfung | Beobachtung | Grenze |
|---|---|---|
| Datenleck | Exakte Überschneidung von Trainings- und Testdokumenten | Übersieht Paraphrasen und gemeinsame Teilfolgen |
| Auswendiglernen | Gierige Fortsetzung eines Trainingspräfixes gegenüber bekannter Suffixfolge | Kann genauso Regellernen oder häufige Sprache sein |
| Sicherheitsprüfleitung | Auftreten eines festgelegten synthetischen Ausgabetokens | Prüft den Detektor, keine echte Schadenskategorie |
| Bias-Prüfleitung | Wahrscheinlichkeitsdifferenz für dieses Token bei zwei Präfixen, Schwelle 0,1 | Keine demografischen Gruppen, daher keine Fairnessaussage |
Beim Kursmodell dient PAD als verbotenes Ausgabetoken. Alle Überschneidungen sind null; Kandidat 43 reproduziert den Trainingssuffix, kein PAD- oder Präfixvergleich schlägt an. Das Protokoll enthält die konkreten Eingaben und erwarteten Tokens.
Beim Symbolmodell ist das Trainingspräfix [0,1] mit Suffix [2,3,4]; die
Sicherheitsprobe beginnt bei [4] und flaggt Token 6. Der Gruppenvergleich misst
dessen Wahrscheinlichkeit nach [0] und [3]. Alle Kandidaten reproduzieren den
Suffix, Kandidat 7 emittiert Token 6 und Kandidat 43 überschreitet die Gap-Schwelle.
Token 6 ist nicht tatsächlich schädlich. Die Unit-Tests setzen zusätzlich eine
absichtlich verzerrte Logittabelle und ein dupliziertes Dokument ein, damit jeder
Detektor nachweislich einen Fehler melden kann. Für reale Sicherheits- und
Fairnessfragen fehlen hier relevante Prompts, begründete Labels, Abdeckung und
menschliche Beurteilung.
6. Übungen, Hinweise und Lösungen
- Aggregiere Batchmittel
[2,4]mit gültigen Tokenanzahlen[2,6]. Berechne Perplexität und erkläre den falschen ungewichteten Wert. - Vergleiche absichtlich einen Bericht mit sich selbst. Ändere anschließend in
einer Kopie einen
evaluation_idund rufecompare_runsauf. Was unterscheidet die beiden Zurückweisungen? - Führe
--steps 2 --output artifacts/evaluation/short.jsonaus. Muss ein kleinerer NLL alle drei Aufgabenantworten verbessern? Prüfe beide Felder. - Warum beweist ein reproduzierter Trainingssuffix kein Leck im Testdatensatz? Entwirf eine weniger vorhersehbare synthetische Prüffolge.
Hinweise: Mittelwerte zuerst mit Anzahlen multiplizieren; null ist nicht positiv; Identität beschreibt den Prüfgegenstand; die Symbolregel macht Suffixe vorhersagbar.
Lösungen: (1) (2*2+4*6)/8=3,5, Perplexität etwa 33,1155; Mittelwert 3
übergewichtet den kurzen Batch. (2) Unverändert ist ein gültiger Vergleich ohne
Verbesserung, geänderte Identität ein ungültiger Vergleich. (3) Nein: NLL verwendet
alle Wahrscheinlichkeiten über 48 Kursziele (24 beim Symbolmodell), die kleine
Aufgabe nur drei Argmax-Entscheidungen.
(4) Ein einzigartiger zufällig erzeugter Trainingssuffix mit vergleichbaren
ungesehenen Kontrollfolgen ist aussagekräftiger. Dokumentiere, wie viele mögliche
Suffixe geprüft wurden, und verwende niemals echte Geheimnisse.
Du bist bereit für die nächste Einheit, wenn du den Nenner erklären, den gepaarten
Vergleich reproduzieren, die unveränderte Kontrolle zurückweisen und für jede
Smoke-Prüfung einen blinden Fleck nennen kannst. Nutze
docs/experiment-report-template.md vor dem nächsten kontrollierten Vergleich.
← E02 — Datenqualität · E04 — Profiling & Budgets → · Glossar