Import & Export im PIM
Automatisierte Datenflüsse mit kontrollierten Entscheidungen
Lieferanten, ERP‑Systeme, Plattformen und interne Systeme liefern täglich neue Daten.
Das ETL‑Modul in Contene ist ein eigenständiges Programm, das diese Daten aus unterschiedlichsten Quellen automatisiert einliest, bewertet und kontrolliert an Contene übergibt.
Nicht jeder Import ist eine technische Aktion.
In Contene ist ein Import ein fachlicher Entscheidungsprozess.
Daten einlesen heißt verstehen, was ankommt
Das ETL‑Modul verarbeitet Daten aus allen gängigen Quellen:
- CSV‑, Excel‑ und JSON‑Dateien
- ZIP‑Archive (inklusive automatischem Entpacken)
- Hotfolder
- E‑Mail‑Postfächer (z. B. Lieferanten‑Anhänge)
- REST‑APIs
- interne Abfragen auf Contene‑Strukturen
Dateien und Datenquellen können manuell oder vollautomatisch verarbeitet werden – zeitgesteuert, ereignisbasiert oder kontinuierlich.
Externe Partner können ihre Daten bereitstellen, ohne direkten Systemzugriff zu benötigen.
So nutzt Bürklin diese Mechanismen, um regelmäßig Lager‑ und Artikeldaten von Herstellern zu empfangen.
Importdefinitionen statt Skripte
Daten werden nicht blind übernommen.
Für jeden Import existieren explizite Importdefinitionen, die fachlich beschreiben:
- welche Daten wohin fließen
- welche Felder relevant sind
- welche Regeln, Prüfungen und Anpassungen gelten
- wie mit Änderungen, Löschungen und Konflikten umzugehen ist
Diese Definitionen sind reproduzierbar, versionierbar und transparent.
Sie sind Teil der Systemlogik, nicht technische Hilfskonstrukte.
Änderungen sehen, bevor sie stattfinden
Ein zentrales Prinzip des ETL‑Moduls ist die Trennung von:
Einlesen → Bewerten → Übernehmen
Nach dem Einlesen werden Daten vollständig angezeigt, ohne sie zu importieren.
Alle Änderungen gegenüber dem bestehenden Datenbestand in Contene sind sichtbar:
- neue Datensätze
- geänderte Felder
- Überschreibungen
- Löschkandidaten
Der Import wird damit zu einer Simulation.
Entscheidungen werden getroffen, bevor Daten verändert werden.
Regeln, Validierungen und Formeln pro Feld
Auf Spalten‑ und Feldebene können fachliche Regeln hinterlegt werden:
- Plausibilitätsprüfungen
- RegEx‑Validierungen (z. B. Artikelnummern)
- EAN‑Prüfungen
- Berechnungen und Ableitungen
- Warnungen statt Fehlerabbrüche
Nicht jeder Regelverstoß stoppt einen Import.
Fehler können bewusst als Warnungen behandelt werden – abhängig von fachlicher Relevanz.
So bleibt der Prozess robust, ohne Kontrolle zu verlieren.
Delta‑Import für Skalierung und Stabilität
Das ETL‑Modul verarbeitet ausschließlich neue oder geänderte Datensätze.
Unveränderte Daten werden automatisch übersprungen.
Das reduziert Datenmengen erheblich und sorgt für hohe Performance – auch bei Massendaten.
Beispiel aus der Praxis:
Bei einem Import von 680.000 ERP‑Datensätzen wurden durch die Delta‑Erkennung nur 12.000 Datensätze aktualisiert.
Der vollständige Import dauerte rund 15 Minuten.
Historie, Planung und Transparenz
Alle Importe sind vollständig nachvollziehbar:
- wann ein Import gestartet wurde
- woher Daten kamen
- wie viele Datensätze verarbeitet wurden
- welche Änderungen vorgenommen wurden
- welche Warnungen auftraten
Importe lassen sich planen, überwachen und nachvollziehen – manuell oder automatisch.
Fazit: Import ohne Kontrollverlust
Das ETL‑Modul automatisiert Datenübernahmen nicht blind.
Es macht Datenflüsse sichtbar, bewertbar und entscheidbar.
Contene bleibt das führende System für Struktur und Logik.
Das ETL‑Modul stellt sicher, dass nur geprüfte, verstandene und fachlich bewertete Daten dort ankommen.
