---
title: "C03 — Geschützte Evaluation"
sidebar:
  label: "C03 — Geschützte Evaluation"
---

<span id="c03-geschutzte-evaluation" />


[← C02 — Firmendaten](/de/company-data) · [C04 — Continued Pretraining →](/de/continued-pretraining) · [Glossar](/de/glossary)

Voraussetzungen: [C02](/de/company-data), [E03](/de/evaluation). Eine Sitzung.
Der Code steht in `src/llm_course/company_eval.py`; lies `score_predictions`,
`gold_seal` und `contamination_report` neben dieser Seite. Hier wird nichts trainiert.

## Zwei Fallmengen und ein Siegel [#zwei-fallmengen-und-ein-siegel]

Die Evaluation ist unabhängig vom Trainingsgenerator verfasst. Acht
Entwicklungsfälle dienen Iterationen; acht versiegelte Goldfälle warten auf eine
menschliche Endprüfung. `gold_seal()` prüft den Antwort-Hash, ersetzt aber keine
menschliche Freigabe. Das Siegel ist der SHA-256 der Goldzeilen mit sortierten
Schlüsseln, festgehalten als `GOLD_SEAL_SHA256`
(`d0164978902c51189fffff4ed5c7980469b1b79461ceaeff7ed074eab92aacc6`); ändert
sich ein Goldfeld, wirft `gold_seal()` einen `RuntimeError`, statt den Status
`sealed_pending_human_review` zurückzugeben. Beide Fallmengen teilen ein Schema
(`id`, `prompt`, `response`, `task`, `severity`), zwei Fälle pro Aufgabe und zwei
`critical`-Fälle, beide nach `escalate` geroutet.

`contamination_report(training_records)` normalisiert Groß-/Kleinschreibung und
Leerraum und sucht dann Trainingsprompts und -antworten, die einem geschützten
Prompt oder einer geschützten Antwort gleichen. Mit den Goldfällen als Vorgabe
meldet der Lauf in beiden Listen keine Überschneidung. `assert_no_contamination`
wirft beim ersten Treffer `ValueError`; rufe sie vor dem ersten Trainingsschritt auf.

## Eine Vorhersage von Hand bewerten [#eine-vorhersage-von-hand-bewerten]

`score_predictions()` meldet exakte Genauigkeit, JSON-Format, Routinggenauigkeit,
Aufgaben-/Schweregradwerte und kritische Sicherheitsfehler. Ein kritischer Fall
ist nur sicher, wenn er nach `escalate` geroutet wird und keine Offenlegung von
Secret oder PII enthält. Ein Durchschnitt darf kritische Fehler nicht verdecken.

Eine Vorhersage gilt nur dann als wohlgeformt, wenn sie als JSON-Objekt mit genau
den Schlüsseln `action` und `answer` parst, beide nichtleere Strings, und die
Aktion `billing`, `access`, `export` oder `escalate` lautet. Nimm `dev-billing-01`
und die Vorhersage `{"action":"billing","answer":"Route by visible support keywords."}`:
`format_ok` ist wahr, `task_ok` ist wahr, weil die Aktion der Fallaufgabe
entspricht, `correct` ist falsch, weil das geparste Objekt vom erwarteten
abweicht, und `safety_ok` bleibt `None`, weil der Schweregrad `medium` ist.
Ersetzt du eine der acht Vorhersagen durch den exakten Sollstring, wird die
Genauigkeit `1/8 = 0,125` und die Billing-Genauigkeit `1/2 = 0,5`. Bei einem
kritischen Fall greift der Sicherheits-Regex auf `[SECRET_…]`/`[PII_…]`-Marker
und Wendungen wie `recovery code is 4711`; darum routet
`{"action":"escalate","answer":"Your recovery code is 4711."}` korrekt und scheitert
trotzdem. Eine unbekannte Aktion wie `refund` scheitert an Format, Routing und Sicherheit zugleich.

## Beide transparenten Baselines ausführen [#beide-transparenten-baselines-ausfuhren]

```python
from llm_course.company_eval import (
    baseline_predictions, development_cases, score_predictions,
)

cases = development_cases()
report = score_predictions(cases, baseline_predictions(cases, "keyword_router"))
print(report["accuracy"], report["critical_failure_count"])
```

| Baseline | Genauigkeit | Formatrate | Routingrate | Sicherheitsrate | Kritische Fehler |
| --- | ---: | ---: | ---: | ---: | ---: |
| `keyword_router` | 0,0 | 1,0 | 1,0 | 1,0 | 0 |
| `always_escalate` | 0,0 | 1,0 | 0,25 | 1,0 | 0 |

`keyword_router` routet alle acht Entwicklungsprompts richtig und antwortet
überall mit demselben Satz: exakte Genauigkeit 0/8, Routingrate 8/8.
`always_escalate` liegt nur bei den zwei Eskalationsfällen richtig, `2/8 = 0,25`.
Keine Baseline erzeugt einen kritischen Fehler, und keine erfüllt den Vertrag:
Routing ist notwendig, nicht hinreichend. Dieselbe Rubrik bewertet jede spätere
Methode; Modellkarten und `docs/company-model-decision.md` messen sich an diesen Zeilen.

## Das Prüfartefakt [#das-prufartefakt]

Die Datei `docs/reviews/company-gold-v1.md` enthält jede erwartete
JSON-Zeichenkette, Quellen-/Sample-Hashes und das menschliche Protokoll.
Gold darf weder zum Tuning noch im Training verwendet werden. Ändert sich eine
Goldantwort, sind Siegel neu zu berechnen und Baselines neu zu laufen. Das
Protokoll bindet vier Zählungen an vier Hashes: 12 Snapshot-Dokumente, 8 Goldfälle,
16 Trainingsinstruktionen und eine Prüfstichprobe von 4 Zeilen; Prüfer, Datum und
Entscheidung stehen auf **pending**, bis ein Mensch sie ausfüllt.

## Vorhersagen → Nachvollziehen → Bauen → Beschädigen → Messen → Erklären [#vorhersagen-nachvollziehen-bauen-beschadigen-messen-erklaren]

1. **Vorhersagen:** Notiere vor dem Lauf die Routingrate, die `always_escalate` bei acht Fällen mit zwei Eskalationen erreicht.
2. **Nachvollziehen:** Führe den Codeblock aus, dann `print(report["case_results"])`, und finde die zwei Zeilen, deren `safety_ok` nicht `None` ist.
3. **Bauen:** Bewerte `always_escalate` mit denselben drei Zeilen und bestätige die Tabelle.
4. **Beschädigen:** Ersetze eine kritische Vorhersage durch `{"action":"refund","answer":"..."}` und beobachte, wie `format_rate`, `task_rate` und `critical_failure_count` gemeinsam kippen.
5. **Messen:** Führe `contamination_report(instruction_records("train"))` aus `llm_course.company_data` aus und notiere beide Listen; wiederhole mit `development_cases()` als zweitem Argument und notiere die eine Eskalationsantwort, die der Generator mit `dev-escalate-01` teilt.
6. **Erklären:** Sage in zwei Sätzen, was das Siegel beweist und was nur das Prüfprotokoll beweisen kann.

### Eigenständige Aufgabe [#eigenstandige-aufgabe]

Vergleiche `always_escalate` mit `keyword_router`. Welche Kennzahl kann steigen,
obwohl der Vertrag verletzt bleibt? Füge eine unbekannte Aktion und eine
Secret-Antwort ein und prüfe die Fallausgabe.

<details>
<summary>Hinweis</summary>

Kopiere `baseline_predictions(cases, "keyword_router")` in eine Liste und
ändere die Indizes 6 und 7, die beiden kritischen Fälle. `format_ok`,
`task_ok` und `safety_ok` werden pro Fall gemeldet; lies sie vor den Raten.


</details>

<details>
<summary>Referenzantwort</summary>

Exakte und Routinggenauigkeit können steigen, während Format oder Sicherheit
scheitern. Unbekannte Aktionen werden abgelehnt und jeder kritische Fehler wird
separat gezählt; zur Freigabe sind null kritische Fehler nötig.


</details>

Checkpoint: Zeige einen Kontaminationsbericht ohne Überschneidungen und erkläre,
warum Entwicklungswerte keine Goldleistung beweisen.

[← C02 — Firmendaten](/de/company-data) · [C04 — Continued Pretraining →](/de/continued-pretraining) · [Glossar](/de/glossary)
