Datenrichtlinie des Kurses
Der vollständige Kurs muss ohne eigene Daten der Lernenden durchführbar sein.
Geplante Datenprofile
| Profil | Ungefähre Größe | Zweck |
|---|---|---|
| Starter | 5–20 MB | CPU-Übungen und Smoke-Tests |
| Local | 100–500 MB | reguläres lokales Training |
| Extended | 1–5 GB | optionale Skalierungsübungen |
Diese Größen gehören zu M1A und sind noch nicht bereitgestellt. Aktuell gibt es
den 596-Byte-Korpus von Einheit 0, den mehrsprachigen BPE-Generator und das
synthetische Datenqualitätsinventar. T05/T06 und E01–E04 nutzen diese kleinen Kursbeispiele;
für ihren Trainingspfad braucht es keinen Download und keine eigenen Daten.
Der optionale produktive BPE-Vergleich lädt beim ersten Aufruf seine öffentliche
tiktoken-Tabelle herunter.
Erforderliche Metadaten
Jedes veröffentlichte Datenpaket braucht Data Card, Schema, Herkunft oder Generator, Lizenz- und Quellenmanifest, stabile Splits, Hashes, Version, Generator-Seed und Qualitätsberichte. Feste Generatoren benötigen keinen Zufallsseed; Shuffle- und Trainingsseeds werden separat festgehalten.
Gold-Evaluation getrennt halten
Der unabhängige finale Goldtest darf weder ins Training noch in synthetische Generatorprompts, Few-shot-Beispiele oder die Hyperparameterauswahl eingehen. Die winzigen T05/T06- und E01–E04-Tests ersetzen kein menschlich geprüftes Firmen-Goldset.
Grenze des Repositorys
Manifeste, Schemas, Generatoren und kleine handgepflegte Fixtures gehören ins
Git. Heruntergeladene Daten, erzeugte Korpora, Gewichte und Trainingsartefakte
bleiben außerhalb der Versionskontrolle. Einheit 0 erzeugt ihren CC0-Korpus und
Checkpoint unter artifacts/unit0/ und prüft SHA-256.
Das Datenqualitätslab prüft Provenienz, Duplikate, erfundene
sensible/problematische Marker und Split-Kontamination. Es misst eine durch
Leakage irreführende Verbesserung. Manifeste stehen unter datasets/, die Data
Cards unter docs/data-cards/. Tests erzeugen Inhalte neu und prüfen ihre Hashes.