Parquet Validator
Prüft eine Parquet-Datei gegen einen Regelsatz — vollständig im
Browser, ohne Upload. Lade eine Parquet-Datei (oder verbinde einen DuckDB-Server), definiere pro
Spalte oder tabellenweit Regeln und erhalte einen Bericht: welche Regel hält, welche nicht, wie
viele Zeilen verstoßen — mit Absprung in die konkreten Zeilen.
Ablauf
- Datei laden — Parquet per Drag & Drop / Auswahl oder eine Tabelle von einem
DuckDB-Server. Eine Vorschau zeigt die ersten Zeilen der geladenen Daten.
- Regeln definieren — von Hand über + Regel oder automatisch über
Regeln vorschlagen (leitet aus einem Schnellprofil Vorschläge ab: nicht-null-Spalten,
Schlüsselkandidaten, kleine Wertemengen, dominante Muster, Wertebereiche).
- Validieren — der Bericht zeigt Score, gültige Zeilen und je Regel die Verstöße.
Bei einer fehlgeschlagenen Regel öffnet Zeilen eine Stichprobe der verletzenden Zeilen.
Regeltypen
- Nicht null — die Spalte darf keine NULL-Werte enthalten.
- Eindeutig — keine doppelten Werte.
- Erlaubte Werte — jeder Wert stammt aus einer festen Menge.
- Wertebereich — numerisch zwischen Minimum und Maximum.
- Länge — Zeichenlänge zwischen Minimum und Maximum.
- Regex — voller Treffer gegen ein reguläres Ausdrucksmuster.
- Dominantes Muster — der Wert passt zu einem der dominanten Strukturmuster
der Spalte (aus der Musteranalyse abgeleitet).
- Typ-castbar — der Wert lässt sich in den Zieltyp umwandeln.
- Getrimmt — kein führender oder nachgestellter Leerraum (Wert =
trim(Wert));
Verstoß sind z. B. " Berlin" oder "Berlin ".
- Referenz — der Wert existiert in einer Spalte einer Referenztabelle
(Fremdschlüssel; Referenz-Parquet oben hinzufügen).
- Eigenes SQL — eine boolesche Bedingung, die fehlerhafte Zeilen kennzeichnet
(
TRUE = Verstoß, wie bei dbt-Tests); z. B. betrag < 0 markiert alle Zeilen
mit negativem Betrag als Verstoß.
- Zeilenzahl — die Tabelle hat mindestens/höchstens N Zeilen.
Wertprüfungen bestehen bei NULL — fehlende Werte prüft ausschließlich die Nicht-null-Regel,
damit ein fehlender Wert nie doppelt bestraft wird. Jede Regel hat einen Schweregrad
(Fehler oder Warnung); der Gesamtstatus schlägt fehl, sobald eine Fehler-Regel verletzt ist,
Warnungen senken nur den Score.
Regelsatz als Vertrag
Regelsatz speichern lädt die Regeln als portable JSON-Datei herunter, Regelsatz laden
liest sie wieder ein. So definierst du die Erwartungen an eine Tabelle einmal und prüfst jeden neuen
Export erneut — ein wiederholbarer Datenvertrag. Bericht ⤓ exportiert das Ergebnis als Markdown.
Alles läuft lokal per DuckDB-WASM. Es werden keine Daten hochgeladen.
Parquet Validator
Validate a Parquet file against a ruleset — entirely in the
browser, with no upload. Load a Parquet file (or connect a DuckDB server), define rules per column
or table-wide, and get a report: which rule holds, which does not, how many rows violate it — with
a jump into the offending rows.
Flow
- Load a file — Parquet by drag & drop / picker, or a table from a DuckDB
server. A preview shows the first rows of the loaded data.
- Define rules — by hand via + Rule, or automatically via
Suggest rules (derives proposals from a quick profile: no-null columns, key candidates,
small value sets, dominant patterns, numeric ranges).
- Validate — the report shows the score, the valid rows, and each rule's
violations. For a failing rule, Rows opens a sample of the violating rows.
Rule types
- Not null — the column must contain no NULLs.
- Unique — no duplicate values.
- Allowed values — every value comes from a fixed set.
- Range — numeric, between a minimum and a maximum.
- Length — character length between a minimum and a maximum.
- Regex — a full match against a regular expression.
- Dominant pattern — the value matches one of the column's dominant structural
patterns (derived from the pattern analysis).
- Type-castable — the value can be cast to the target type.
- Trimmed — no leading or trailing whitespace (value =
trim(value));
e.g. " Berlin" or "Berlin " are violations.
- Reference — the value exists in a column of a reference table
(foreign key; add a reference Parquet above).
- Custom SQL — a boolean condition that flags breaking rows
(
TRUE = violation, dbt-style); e.g. amount < 0 marks every row with a
negative amount as a violation.
- Row count — the table has at least/at most N rows.
Value checks pass on NULL — absence is checked only by the Not null rule, so a missing
value is never penalised twice. Each rule has a severity (error or warning); the
overall status fails as soon as one error rule is violated, warnings only lower the score.
The ruleset as a contract
Save ruleset downloads the rules as portable JSON, Load ruleset reads them back.
Define the expectations for a table once and re-check every new export — a repeatable data contract.
Report ⤓ exports the result as Markdown.
Everything runs locally via DuckDB-WASM. No data is uploaded.
Parquet Validator