E02 — Datenqualität und Provenienz
← E01 — Reproduzierbares Training · E03 — Evaluation → · Glossar
Bevor du beginnst
Schließe T03 ab: Unterscheide Dokument, Tokenfenster und Split. Wiederhole Loss, falls ein kleinerer Wert noch automatisch besser wirkt. Plane 60–90 Minuten. Das Lab braucht nur CPU und erzeugt erfundene Beispiele im Speicher.
Du erklärst die Herkunft eines Trainingsbeispiels, findest Kontamination, reparierst Trainingsdaten ohne Änderung des Benchmarks und misst eine scheinbare Verbesserung. Provenienz ist die dokumentierte Herkunft und Verarbeitung. Governance regelt, wer eine Quelle wofür und mit welchen Zugriffs- und Aufbewahrungsregeln verwenden darf.
Predict: Können 100% Genauigkeit wertlos sein?
Das Training enthält acht Paare aus willkürlichen Karten-IDs und Labels. Die Evaluation enthält vier andere IDs. Ein Programm, das nur Trainingsantworten speichert, liegt bei 0/4 richtig. Kopiere die vier Evaluationspaare ins Training: Jetzt erreicht es 4/4. Der Algorithmus wurde nicht besser; seine Eingabe enthielt die Antworten. Das nennt man Leakage.
python examples/run_data_quality.pyDer Bericht landet zusätzlich in artifacts/data-quality/report.json. Erwartet:
| Feld | Vorher | Nach Reparatur |
|---|---|---|
| Dokumentanzahl | 9 | 4 |
| Exakte Duplikatpaare | 2 | 0 |
| Near-Duplicate-Paare | 2 | 0 |
| Exakte Duplikatpaare über Splitgrenzen | 1 | 0 |
| Datensätze mit sensiblen Markern | 1 | 0 |
| Datensätze ohne Provenienz | 1 | 0 |
In leakage_experiment beträgt die saubere Accuracy 0, die kontaminierte 1 und
die reparierte wieder 0. Das sind Anteile: 1 bedeutet 100%. Der Runner evaluiert
einen einfachen Nachschlage-Speicher mit willkürlichen Labels. Das ist ein
bewusst einfaches Gegenbeispiel, kein Sprachmodellbenchmark. Ein niedrigerer
LM-Loss auf zurückgehaltenen Daten braucht denselben Schutz.
Trace: Herkunft → Audit → Entscheidung → Version
Ein QualityDocument enthält id, text, split, source und license.
Die ersten Duplikate haben unterschiedliche IDs und identischen Text: Ein
ID-Vergleich reicht nicht. Die Normalisierung von Großschreibung und Leerraum
findet oberflächliche Unterschiede. Für ähnliche Texte vergleichen wir Mengen
aus fünf Zeichen langen Stücken (Shingles). Teilen zwei Mengen 8 Stücke bei
10 Stücken in der Vereinigung, beträgt die Jaccard-Ähnlichkeit 8/10 = 0.8.
Unser Lehr-Schwellenwert ist 0.8. Er kann auch legitime wiederholte Formulierungen
markieren; prüfe die Belege, bevor du diese Regel auf reale Daten überträgst.
from llm_course.data_quality import (
generate_quality_documents, audit_documents, repair_documents,
)
raw = generate_quality_documents()
before = audit_documents(raw)
clean, decisions = repair_documents(raw)
assert before["cross_split_duplicates"] == [["leaked", "test"]]
assert audit_documents(clean)["ready"]
for decision in decisions:
print(decision["id"], decision["action"], decision["reason"])Die Reparatur behält die zurückgehaltene Kopie und entfernt das Trainingsduplikat.
Validation/Test werden niemals still geändert. Ein Defekt darin löst einen
Fehler aus: Es braucht unabhängige Prüfung und eine neue Benchmarkversion.
Sensible Marker wie [EMAIL_001] und [SECRET_001] werden zu [REDACTED];
Einträge mit [TOXIC] kommen in Quarantäne. Diese Regeln demonstrieren
Mechanismen. Sie erkennen nicht alle personenbezogenen Daten, Secret-Formate,
problematischen Inhalte oder fehlenden Berechtigungen.
Build: Eine Datenmischung wählen und erklären
Ein Samplinggewicht bestimmt, wie oft eine Quelle gezogen wird. Bei 20 Beispielen und 75% Original / 25% synthetisch ziehen wir 15 und 5. Ziehen mit Zurücklegen kann Datensätze wiederholen; Wiederholungen sind kein neues Wissen.
from llm_course.data_quality import QualityDocument, deterministic_mixture
original = [doc for doc in clean if doc.split == "train"]
synthetic = [QualityDocument("new", "new authored teaching example", "train")]
mix = deterministic_mixture(
{"original": original, "synthetic": synthetic},
{"original": 0.75, "synthetic": 0.25}, size=20, seed=7,
)
assert sum(doc.id == "new" for doc in mix) == 5Probiere 50/50 mit gleicher Größe und gleichem Seed. Sage die Anzahl vorher. Berichte einzigartige Dokumente getrennt von gezogenen Beispielen. Wähle Gewichte anhand der Validation, nicht anhand des geschützten finalen Tests.
Selbst brechen, messen und reparieren
Kopiere eine Validation-Zeile mit neuer ID und split="train". Erkläre vorab,
warum das weiterhin Leakage ist. Führe den Audit aus, entferne die Trainingskopie
und zeige, dass Text und Mitgliedschaft des zurückgehaltenen Datensatzes gleich
bleiben. Ändere dann das letzte Zeichen: Findet der Near-Duplicate-Test die Kopie
noch? Notiere Ähnlichkeitswert und mögliche Fehlalarme.
Hinweis
Nutze dataclasses.replace(doc, id="copied", split="train"). Der Split muss
vor der Fensterbildung erfolgen. Vergleiche Inhalte und nicht nur IDs.
Referenzbegründung
Eine neue ID macht den Text nicht neu. Der exakte Vergleich findet die Kopie; Shingles können kleine Änderungen erkennen. Entferne die Trainingskopie und bewahre den ursprünglichen Benchmark. Die Demonstration fällt von 100% auf 0% zurück und zeigt ehrlich die fehlende Generalisierung des Speichers.
Quellen- und Lizenzinventar
Erfasse vor realer Beschaffung Eigentümer, Quell-URL/Version, Lizenz/Erlaubnis, Zweck, Sprache, Zugriffsgruppe, personenbezogene Kategorien, Aufbewahrung und Lösch-/Neubauverfahren. Öffentlich sichtbar bedeutet nicht für Training freigegeben. Unklare Rechte bleiben bis zur Prüfung außerhalb des Trainingssnapshots. Automatische Ersetzung verringert mögliche Offenlegung; sie erteilt keine Berechtigung und beweist keine Anonymisierung.
Der Kurs liefert Generatoren und Manifeste für Einheit 0, BPE und dieses Lab.
Alle drei haben Data Cards unter docs/data-cards/. Jedes Manifest nennt
Generator, Lizenz, UTF-8-Bytezahl, SHA-256 und Splitregeln. Ein Hash bezeichnet
exakte Bytes: Ein geändertes Leerzeichen ändert die Identität. Ändere einen Hash
nicht, um eine ungeklärte Abweichung zu verstecken. Eine neue Version braucht
eine neue Baseline und eine dokumentierte Migration. Die Datenrichtlinie
unterscheidet heutige Mini-Fixtures von geplanten größeren Datenpaketen. Erzeugte
Korpora, reale personenbezogene Daten und Gewichte gehören nicht ins Git.
Abschlusskriterium
Führe pytest tests/test_data_quality.py aus. Reiche Vorher-/Nachher-Bericht,
einen reparierten Kontaminationsfehler, eine erklärte Mischung und eine Data Card
für eine erfundene Quelle ein. Erkläre, warum ready=true nur bestandene
Lehrprüfungen bedeutet und warum die Wiederherstellung der Testintegrität einen
berichteten Wert verschlechtern kann.
← E01 — Reproduzierbares Training · E03 — Evaluation → · Glossar