Zum Inhalt springen
LLM Engineering Course
Deutsch
Esc
↑↓navigieren↵öffnen⌘Jvorschau
Auf dieser Seite

Datenrichtlinie des Kurses

Kursstart · Datenqualitätslab

Der vollständige Kurs muss ohne eigene Daten der Lernenden durchführbar sein.

Geplante Datenprofile

Profil Ungefähre Größe Zweck
Starter 5–20 MB CPU-Übungen und Smoke-Tests
Local 100–500 MB reguläres lokales Training
Extended 1–5 GB optionale Skalierungsübungen

Diese Größen gehören zu M1A und sind noch nicht bereitgestellt. Aktuell gibt es den 596-Byte-Korpus von Einheit 0, den mehrsprachigen BPE-Generator und das synthetische Datenqualitätsinventar. T05/T06 und E01–E04 nutzen diese kleinen Kursbeispiele; für ihren Trainingspfad braucht es keinen Download und keine eigenen Daten. Der optionale produktive BPE-Vergleich lädt beim ersten Aufruf seine öffentliche tiktoken-Tabelle herunter.

Erforderliche Metadaten

Jedes veröffentlichte Datenpaket braucht Data Card, Schema, Herkunft oder Generator, Lizenz- und Quellenmanifest, stabile Splits, Hashes, Version, Generator-Seed und Qualitätsberichte. Feste Generatoren benötigen keinen Zufallsseed; Shuffle- und Trainingsseeds werden separat festgehalten.

Gold-Evaluation getrennt halten

Der unabhängige finale Goldtest darf weder ins Training noch in synthetische Generatorprompts, Few-shot-Beispiele oder die Hyperparameterauswahl eingehen. Die winzigen T05/T06- und E01–E04-Tests ersetzen kein menschlich geprüftes Firmen-Goldset.

Grenze des Repositorys

Manifeste, Schemas, Generatoren und kleine handgepflegte Fixtures gehören ins Git. Heruntergeladene Daten, erzeugte Korpora, Gewichte und Trainingsartefakte bleiben außerhalb der Versionskontrolle. Einheit 0 erzeugt ihren CC0-Korpus und Checkpoint unter artifacts/unit0/ und prüft SHA-256.

Das Datenqualitätslab prüft Provenienz, Duplikate, erfundene sensible/problematische Marker und Split-Kontamination. Es misst eine durch Leakage irreführende Verbesserung. Manifeste stehen unter datasets/, die Data Cards unter docs/data-cards/. Tests erzeugen Inhalte neu und prüfen ihre Hashes.

War diese Seite hilfreich?