1. Die Erwartungen des Modells in einen Datenvertrag überführen
Beginnen Sie mit dem Objekt, das Ihr Programm erwartet, bevor Sie einen Validator wählen. Benennen Sie bei einer tabellarischen Eingabe die Spalten, die Typen und die Einheiten. Geben Sie bei einem Bild die Abmessungen, die Kanäle und die Behandlung der Ausrichtungen an. Definieren Sie bei einem Text die Kodierung, die Pflichtfelder und die Richtlinie für leere Eingaben. Ein Datum kann lesbar sein, ohne für die Berechnung zu taugen.
Trennen Sie drei Entscheidungen: ablehnen, unverändert übernehmen oder nach einer dokumentierten Regel umwandeln. Eine Zeichenkette in eine Zahl umzuwandeln, einen fehlenden Wert zu ersetzen und eine Eingabe abzuschneiden, verändert den verarbeiteten Inhalt. Diese Vorgänge dürfen nicht allein deshalb geschehen, weil ein Werkzeug einen Standardtyp wählt.
Das Beispiel in diesem Leitfaden ist didaktisch und wird nicht ausgeführt. Es betrifft Objekte, die einen Identifikator und drei numerische Werte zwischen −100 und 100 enthalten. Diese Grenzen sind erfunden, um einen Vertrag zu veranschaulichen, ohne physikalische Einheit und ohne Bezug zu einem Datensatz von Kernodeck. Sie müssen durch die Regeln des tatsächlichen Projekts ersetzt werden.
Scrollen Sie durch die Tabelle, um alle Spalten zu lesen.| Ebene | Regel | Erkennbarer Fehler |
|---|---|---|
| Schema | Genau id und values | Fehlendes oder unerwartetes Feld. |
| Typ | id als Zeichenkette; values als Liste von Zahlen | Zahl als Text, boolescher Wert oder fehlender Wert dargestellt. |
| Form | Drei Werte pro Objekt | Vektor zu kurz oder zu lang. |
| Wert | Endliche Zahlen in [−100, 100] | NaN, Unendlich oder Wert außerhalb des didaktischen Bereichs. |
| Korpus | Eindeutige Identifikatoren | Zwei Objekte tragen denselben Identifikator. |
2. Das Einlesen vor den Konvertierungen prüfen
Legen Sie das Format und seinen Dialekt fest. Dokumentieren Sie bei einer CSV-Datei das Trennzeichen, die Kodierung und das Vorhandensein der Kopfzeile. Der Standard-CSV-Leser von Python gibt normalerweise Zeichenketten zurück; er entscheidet nicht, dass Ihre Spalte eine ganze Zahl ist. Ein Identifikator wie 0012 kann seine Bedeutung verlieren, wenn eine Konvertierung ihn in 12 umwandelt. Bewahren Sie Identifikatoren daher in ihrem vorgesehenen Typ auf.
Kontrollieren Sie die Anzahl der Felder und die Spaltennamen, bevor Sie die Geschäftsobjekte erstellen. Eine durch ein unerwartetes Trennzeichen verschobene Zeile darf nicht durchgehen, nur weil einige Werte weiterhin konvertierbar sind. Führen Sie bei Binärdateien oder Bildern ebenfalls das tatsächliche Einlesen durch: eine korrekte Dateiendung garantiert keinen dekodierbaren Inhalt.
Ein dekodiertes JSON ist noch kein validierter Vertrag. Das Python-Modul akzeptiert standardmäßig bestimmte nicht-endliche Werte und wiederholte Namen in einem Objekt. Wenn Ihr Format diese verbietet, konfigurieren Sie diese Ablehnung beim Dekodieren und wenden Sie dann Ihre Schema-Regeln an. Legen Sie außerdem ein geeignetes Größenlimit fest, bevor Sie eine vollständige Datei in den Speicher laden.
3. Einen Fehler pro Regeltyp isolieren
Erstellen Sie eine kleine Menge, in der jeder ungültige Eintrag nur eine wichtige Regel verletzt. So wissen Sie, was die Prüfung erkennt. Wenn das einzige fehlerhafte Beispiel gleichzeitig eine falsche Kennung, eine fehlerhafte Dimension und eine unendliche Zahl vereint, beweist seine Ablehnung nicht, dass alle drei Regeln funktionieren.
In der Tabelle stehen die Notationen für bereits gelesene didaktische Objekte. Unendlich ist ein nicht-endlicher numerischer Wert, keine JSON-Syntax, die zu übernehmen wäre. Die Urteile werden durch logisches Schlussfolgern erwartet und sind keine Ausgaben eines ausgeführten Programms. Ein zweites Objekt mit a wird nach dem gültigen Objekt a getestet, um die Eindeutigkeit zu prüfen.
Bewahren Sie diese Fälle zusammen mit Ihrem Vertrag auf, wenn sich dieser weiterentwickelt. Wenn Sie sich entscheiden, numerische Zeichenketten zu akzeptieren, erstellen Sie einen expliziten Konvertierungsschritt und halten Sie diese Entscheidung nachvollziehbar fest. Ändern Sie die Prüfungen nicht stillschweigend, um die erste Ablehnung im Korpus verschwinden zu lassen.
Scrollen Sie durch die Tabelle, um alle Spalten zu lesen.| Kennung und Werte | Erwartetes Urteil | Geprüfte Regel |
|---|---|---|
| a · [1, 2, 3] | Akzeptiert | Gültige Referenz. |
| b · ["4", 5, 6] | Abgelehnt: Typ | Eine Zeichenkette ist in diesem Vertrag keine Zahl. |
| c · [7, 8] | Abgelehnt: Form | Zwei Werte statt drei. |
| d · [0, unendlich, 1] | Abgelehnt: Wert | Ein nicht-endlicher Wert kann nicht in die Berechnung eingehen. |
| a · [4, 5, 6], nach dem ersten a | Abgelehnt: Duplikat | Eindeutigkeit im Korpus. |
4. Einen expliziten Validator und verwertbare Meldungen beibehalten
Der folgende Auszug zeigt die Prüfungen an einem Objekt nach dem Dekodieren. Er stoppt bei der ersten fehlgeschlagenen Regel und verarbeitet weder die vollständige Datei noch alle ihre möglichen Formate. Der Container seen gehört zum Durchlauf des Korpus: Ihn bei jeder Zeile neu zu erstellen, würde die Prüfung auf Duplikate nutzlos machen.
Eine nützliche Meldung enthält die Regel, die logische Datei und die Position des Objekts. Vermeiden Sie es, ihren gesamten Inhalt dort hineinzukopieren. Beschränken Sie bei einer Sammlung mehrerer Fehler die aufbewahrten Details, während Sie vollständige Zähler beibehalten. Ein Bericht von mehreren Gigabyte hilft ebenso wenig dabei, die erste Ursache zu lokalisieren.
Bei einem NumPy-Array kann eine elementweise Endlichkeitsprüfung die Typ- und Formprüfungen ergänzen. Sie ersetzt nicht die fachlichen Grenzen: Eine endliche Zahl kann immer noch eine negative Länge oder ein in der falschen Einheit ausgedrückter Wert sein.
import math
def valider_objet(item, seen):
if type(item) is not dict or set(item) != {"id", "values"}:
raise ValueError("SCHEMA")
identifiant = item["id"]
if type(identifiant) is not str or not identifiant.strip():
raise ValueError("IDENTIFIANT")
if identifiant in seen:
raise ValueError("DOUBLON")
values = item["values"]
if type(values) is not list or len(values) != 3:
raise ValueError("FORME")
for value in values:
if type(value) not in (int, float):
raise ValueError("TYPE")
if not (-100 <= value <= 100) or not math.isfinite(value):
raise ValueError("VALEUR")
seen.add(identifiant)
return item5. Von der Stichprobe zum vollständigen Korpus übergehen
Eine kurze Stichprobe ermöglicht es, den Leser und den Vertrag schnell zu korrigieren. Wählen Sie gewöhnliche Fälle und Grenzfälle: leere Eingabe, maximale Größe, ungewöhnliches Zeichen, erste und letzte Partition. Eine Auswahl nur der ersten Zeilen kann eine Anomalie übersehen, die in einer späteren Datei oder in einer seltenen Kategorie liegt.
Die vollständige Validierung durchläuft alle betroffenen Einträge und wendet die globalen Regeln an. Verarbeiten Sie bei großen Mengen die Dateien schrittweise und protokollieren Sie ihre Identität. Eine Menge aller Kennungen im Speicher eignet sich für das kleine Beispiel, kann aber zu teuer werden; wählen Sie dann eine an das Volumen angepasste Eindeutigkeitsstrategie, ohne auf die Prüfung zu verzichten.
Der Bericht muss seinen Umfang angeben: Stichprobe zur Erprobung, gesamte Partition oder gesamter definierter Korpus. Behalten Sie die Anzahl der gelesenen, akzeptierten und abgelehnten Einträge sowie die angewandten Regeln bei. Wenn sich Dateien später ändern, bestätigt der alte Bericht nicht automatisch den neuen Eingang.
6. Entscheiden, was mit abgelehnten Daten geschieht
Brechen Sie die Arbeit ab, wenn Fehler den Sinn der Berechnung ungültig machen: fehlende wesentliche Spalte, inkompatible Einheiten oder verlorene Übereinstimmung der Bezeichner. Wenn Ihre Aufgabe den Ausschluss einzelner Elemente erlaubt, definieren Sie diese Richtlinie vor dem Start, behalten Sie die Ablehnungen bei und berechnen Sie die Ergebnisse auf dem tatsächlich akzeptierten Umfang.
Ein Aussortieren ist keine Korrektur. Wenn Sie fehlende Werte ersetzen oder Eingaben normalisieren, erzeugen Sie eine neue identifizierbare Version und validieren Sie diese erneut. Bewahren Sie die Transformation und ihre Parameter zusammen mit dem Experiment auf. Andernfalls können zwei Versuche mit demselben Namen unterschiedliche Daten verwenden.
Prüfen Sie vor der GPU noch den tatsächlich zusammengestellten Batch: Reihenfolge der Dimensionen, numerischer Typ, eventuelles Maske und Übereinstimmung mit den Zielen. Die Validierung der Datei geht den Transformationen voraus; sie beweist nicht, dass die Pipeline diese Eigenschaften anschließend beibehält. Ein repräsentativer Fall erlaubt es, diese letzte Grenze zu überprüfen.
7. Eine verständliche Freigabe zum Start erstellen
Das erwartete Ergebnis ist ein kurzer Bericht, der vier Fragen beantwortet: welcher Eingang, welche Regeln, welcher Umfang und welche Entscheidung. Ein gültiger Status muss auf eine präzise Korpus-Identität verweisen. Ein Teilstatus muss benennen, was noch zu prüfen ist. Eine Ablehnung muss es ermöglichen, die betroffenen Objekte wiederzufinden, ohne deren Inhalt unnötig preiszugeben.
Fügen Sie eine Prüfung des Validators selbst hinzu: ein korrekter Fall wird akzeptiert, jeder fehlerhafte Fall wird aus dem richtigen Grund abgelehnt, und die Zähler stimmen überein. Überprüfen Sie dann einen kleinen Durchlauf in der Anwendung. Diese doppelte Kontrolle verhindert, dass Sie die Konformität der Daten mit der Qualität des Modells oder der Verfügbarkeit der GPU verwechseln.
Konforme Eingaben können dennoch verzerrt, falsch etikettiert oder für die untersuchte Fragestellung ungeeignet sein. Dieser Leitfaden deckt die strukturelle Konformität und explizite Regeln ab; er bescheinigt weder die Repräsentativität noch die Nutzungsrechte. Diese Entscheidungen ergänzen die Unterlagen vor einer langen Verarbeitung.