ETL‑Modul
Datenimporte als kontrollierter Entscheidungsprozess
In vielen Systemen ist ein Import eine technische Aktion:
Datei auswählen, Zuordnung definieren, ausführen.
In der Praxis ist das Risiko jedoch nicht der Import selbst –
sondern die unkontrollierten Änderungen, die dadurch entstehen.
Das ETL‑Modul in Contene behandelt Datenimporte deshalb nicht als technischen Vorgang, sondern als fachlich gesteuerten Entscheidungsprozess.
Import beginnen heißt verstehen, was passt
Wird eine Importdatei geöffnet, analysiert Contene zunächst die Struktur der Datei.
Auf Basis von Dateinamen, Spaltenüberschriften und bekannten Mustern werden alle passenden Import‑Definitionen vorgeschlagen.
Jede Definition erhält dabei eine Übereinstimmungsbewertung.
Je mehr Struktur, Benennung und Inhalte übereinstimmen, desto höher das Matching.
Der Import startet nicht blind –
er beginnt mit einem informierten Vorschlag.
Daten sehen, bevor sie übernommen werden
Nach Auswahl der Import‑Definition werden die Daten vollständig eingelesen und angezeigt – ohne sie zu importieren.
Alle Inhalte sind sichtbar:
- Zeilen
- Spalten
- berechnete Felder
- Prüf‑ und Warnspalten
Über Filterbedingungen lassen sich Daten gezielt eingrenzen, durchsuchen und überprüfen.
Unauffällige Datensätze können ausgeblendet, problematische gezielt analysiert werden.
Änderungen sehen – ohne Import auszuführen
Ein zentraler Unterschied zu klassischen ETL‑Ansätzen:
Contene kann alle Änderungen gegenüber dem bestehenden Datenbestand anzeigen,
ohne dass ein Import ausgeführt wird.
Sichtbar wird:
- Welche Datensätze neu wären
- Welche Felder geändert würden
- Wo Werte überschrieben, ergänzt oder gelöscht würden
Der Import wird damit zu einer Simulation.
Entscheidungen werden getroffen, bevor Daten verändert werden.
Die folgende Ansicht zeigt beispielhaft, wie Importe vor der Ausführung geprüft und bewertet werden:
Importdefinitionen, berechnete Felder, Validierungen und Warnungen werden vollständig angezeigt.
Änderungen am bestehenden Datenbestand sind sichtbar, bevor ein Import erfolgt.
Regeln, Validierungen und Formeln auf Feldebene
Jedes Feld im Import kann eigenständig gesteuert werden.
Pro Spalte lassen sich:
- Validierungen definieren
- Plausibilitätsprüfungen hinterlegen
- Warnungen erzeugen
- Werte konvertieren
- fachliche Regeln formulieren
Beispiele:
- Artikelnummernprüfung per RegEx
- EAN‑Validierung
- Ableitung von Steuersätzen
- Warnungen bei Regelverstößen
- fachliche Hinweise statt Import‑Abbruch
- ungültige Keys bei Auswahllisten
Nicht jeder Fehler führt zum Stopp.
Fehler können bewusst als Warnungen behandelt werden. Bei automatischen Importen können diese Warnungen per E-Mail verschickt werden.
Import‑Definitionen als fachliches Regelwerk
Import‑Definitionen sind in Contene keine technischen Skripte, sondern fachliche Artefakte.
Sie definieren:
- Zielobjekte
- Update‑Strategien
- Löschverhalten
- Transaktionslogik
- Feldverhalten
- Regel‑ und Validierungslogik
Importe sind versionierbar, reproduzierbar und nachvollziehbar.
Sie sind Teil der Systemlogik – nicht Hilfskonstrukte.
Import‑Verlauf und transparenter Betrieb
Automatisierte Importe müssen nicht nur korrekt definiert, sondern auch dauerhaft kontrollierbar sein.
Das ETL‑Modul dokumentiert jeden Importlauf vollständig.
Im Import‑Verlauf ist jederzeit nachvollziehbar:
- welcher Import ausgeführt wurde
- aus welcher Quelle die Daten stammten
- ob der Lauf manuell oder automatisch gestartet wurde
- in welchem Status sich der Import befindet
- wie viele Datensätze gelesen, verarbeitet und geschrieben wurden
- ob Warnungen oder Fehler aufgetreten sind
Geplante, laufende und abgeschlossene Importe sind klar unterscheidbar.
So bleibt der Datenzufluss auch im Dauerbetrieb übersichtlich, überprüfbar und steuerbar.
Fazit: ETL ohne Kontrollverlust
Das ETL‑Modul von Contene automatisiert nicht blind.
Es macht Datenänderungen sichtbar, bewertbar und entscheidbar.
Nicht der Import entscheidet –
sondern die explizit modellierte Logik.