Import & Export im PIM

Automatisierte Datenflüsse auf Basis bewerteter Änderungen

Lieferanten, ERP‑Systeme, Plattformen und interne Systeme liefern täglich neue Daten.
Das ETL‑Modul in Contene ist ein eigenständiges Programm, das diese Daten aus unterschiedlichsten Quellen automatisiert einliest, bewertet und kontrolliert an Contene übergibt.

Nicht jeder Import ist eine technische Aktion.
In Contene ist ein Import ein fachlicher Entscheidungsprozess.

---

Daten einlesen heißt verstehen, was ankommt

Das ETL‑Modul verarbeitet Daten aus allen gängigen Quellen:

• CSV‑, Excel‑ und JSON‑Dateien
• ZIP‑Archive (inklusive automatischem Entpacken)
• Hotfolder
• E‑Mail‑Postfächer (z. B. Lieferanten‑Anhänge)
• REST‑APIs
• Microsoft OneDrive- und SharePoint-Ablagen
• Interne Abfragen auf Contene‑Strukturen

Dateien und Datenquellen können manuell oder vollautomatisch verarbeitet werden – zeitgesteuert, ereignisbasiert oder kontinuierlich.

Externe Partner können ihre Daten bereitstellen, ohne direkten Systemzugriff zu benötigen.
So nutzt Bürklin diese Mechanismen, um regelmäßig Lager‑ und Artikeldaten von Herstellern zu empfangen.

---

Importdefinitionen statt Skripte

Daten werden nicht blind übernommen.
Für jeden Import existieren explizite Importdefinitionen, die fachlich beschreiben:

• welche Daten wohin fließen
• welche Felder relevant sind
• welche Regeln, Prüfungen und Anpassungen gelten
• wie mit Änderungen, Löschungen und Konflikten umzugehen ist

Diese Definitionen sind reproduzierbar, versionierbar und transparent.
Sie sind Teil der Systemlogik, nicht technische Hilfskonstrukte.

Beim Start eines Imports erkennt das System passende Importdefinitionen automatisch und schlägt diese zur Auswahl vor:

---

Änderungen verstehen, bevor sie stattfinden

Contene zeigt Änderungen nicht nur an, sondern macht sie konkret nachvollziehbar.

Für jedes Feld wird dargestellt, welcher Wert aktuell im System vorhanden ist und welcher Wert durch den Import ersetzt würde – inklusive direktem Vergleich zwischen Alt- und Neuwert. Neue Werte werden visuell hervorgehoben und können direkt mit den bestehenden Daten verglichen werden.

So entsteht eine vollständige Vorschau aller Änderungen – auf Zeilen- und Feldebene.

Darüber hinaus lassen sich Datensätze gezielt nach Änderungstypen filtern. Anwender können beispielsweise alle Produkte anzeigen, bei denen sich bestimmte Felder wie Verfügbarkeit, Lieferzeit oder Status ändern.

Diese Kombination aus Sichtbarkeit und Filterung ermöglicht es, Auffälligkeiten in Daten gezielt zu identifizieren – auch bei unbekannten oder neuen Datenquellen:
Beispielsweise ungewöhnliche Mengen, unerwartete Statuswerte oder stark abweichende Lieferzeiten.

---

Unbekannte Daten gezielt analysieren

Gerade bei neuen Lieferanten oder externen Datenquellen ist oft unklar, welche Änderungen ein Import tatsächlich mit sich bringt.

Contene macht diese Änderungen transparent. Anwender können Daten vor dem Import gezielt analysieren, filtern und bewerten. Ungewöhnliche Werte oder unerwartete Änderungen werden sichtbar, bevor sie das System beeinflussen.

So wird der Importprozess zu einem Werkzeug zur Qualitätssicherung – nicht nur zur Datenübernahme.

---

Regeln, Validierungen und Formeln pro Feld

Auf Spalten‑ und Feldebene können fachliche Regeln hinterlegt werden:

• Plausibilitätsprüfungen
• RegEx‑Validierungen (z. B. Artikelnummern)
• EAN‑Prüfungen
• Berechnungen und Ableitungen
• Warnungen statt Fehlerabbrüche

Nicht jeder Regelverstoß stoppt einen Import.
Fehler können bewusst als Warnungen behandelt werden – abhängig von fachlicher Relevanz.

So bleibt der Prozess robust, ohne Kontrolle zu verlieren.

---

Delta‑Import für Skalierung und Stabilität

Das ETL‑Modul verarbeitet ausschließlich neue oder geänderte Datensätze.
Unveränderte Daten werden automatisch übersprungen.

Das reduziert Datenmengen erheblich und sorgt für hohe Performance – auch bei Massendaten.

Diese Reduktion auf tatsächliche Änderungen bildet die Grundlage für die Skalierung des gesamten Systems.

Statt Rohdaten zu verarbeiten, müssen nach dem Delta-Check nur noch die tatsächlich relevanten Änderungen bewertet werden.

Contene verarbeitet jede erkannte Änderung als eigenständiges Ereignis.
Auf dieser Basis wird entschieden, ob und wo eine Änderung relevant ist, welche abhängigen Daten betroffen sind und ob nachgelagerte Prozesse wie Exporte tatsächlich ausgelöst werden müssen.

Exporte reagieren damit nicht auf Datenimporte – sondern ausschließlich auf fachlich relevante Änderungen.

Im Produktivbetrieb werden bei Importen häufig weniger als 4 % der eingelesenen Datensätze tatsächlich geändert. Das ETL-Modul erkennt diese Änderungen automatisch und übergibt ausschließlich relevante Datensätze an die Decision Engine.

Nicht jeder Import erzeugt dieselbe Anzahl von Änderungen

Typische Importquellen im Produktivbetrieb sind:

• ERP-Daten (Status, Bestände, Freigaben)
• Preise
• Lieferantendaten
• Herstellerdaten
• Bestandsmeldungen
• Technische Eigenschaften
• Substanz- und Gefahrstoffdaten
• HTTP- und API-Imports

Je nach Datenquelle unterscheiden sich die Änderungsraten erheblich. Während Preis- oder Bestandsimporte täglich tausende Änderungen enthalten können, liefern andere Importe häufig nur wenige oder gar keine Änderungen.

Dadurch hängt die tatsächliche Rechenlast primär nicht von der Anzahl der eingelesenen Datensätze, sondern von der Anzahl der fachlich relevanten Änderungen ab.

Dieses Prinzip gilt in Contene durchgängig.
Änderungen werden im gesamten System bewertet, weiterverarbeitet und gezielt wirksam gemacht.

Skalierung in der Praxis

Produktive Installationen verarbeiten parallel BMECat-Exporte mit über 650.000 Artikeln, Delta-Importe auf Basis von mehreren hunderttausend eingelesenen Datensätzen sowie interaktive Benutzerzugriffe. Die Benutzeroberfläche bleibt dabei weiterhin bedienbar und reagiert typischerweise im Subsekundenbereich.

Die Decision Engine verarbeitet Änderungen ausschließlich im Arbeitsspeicher und bewertet nur die durch den Delta-Check identifizierten Änderungen.

In typischen Kundeninstallationen ist die Decision Engine daher nicht der leistungsbestimmende Faktor. Die Systemgrenzen werden – wie bei praktisch allen datenintensiven Anwendungen – primär durch Datenbankzugriffe, Netzwerk- und Storage-I/O bestimmt, nicht durch die Ausführung der Decision Engine.

Auch während laufender Massenimporte und Exporte bleibt die Benutzeroberfläche bedienbar. Anwender können parallel suchen, bearbeiten und Daten analysieren.

Nach Abschluss eines Imports befindet sich jeder verarbeitete Datensatz unmittelbar im fachlich konsistenten Zustand und kann sofort für Suche, Auswertungen, Exporte und nachgelagerte Geschäftsprozesse genutzt werden.

Nachgelagerte Prozesse wie Vorschaubild- und PDF-Erzeugung sowie die Verarbeitung abhängiger Datensätze werden unabhängig davon mit eigener Priorisierung ausgeführt. Sie dienen nicht der fachlichen Vervollständigung der importierten Datensätze.

---

Transparenz auch während der Verarbeitung

Importe laufen in Contene nicht im Verborgenen.

Während der Verarbeitung sind Fortschritt, Durchsatz und Systemauslastung jederzeit sichtbar.

So können Anwender nicht nur nachvollziehen, was importiert wird, sondern auch, wie effizient und stabil die Verarbeitung erfolgt.

Priorisierte Hintergrundverarbeitung

Automatische Importe werden sequenziell verarbeitet. Manuelle Importe können kontrolliert parallel ausgeführt werden. Massenänderungen und geschäftskritische Exporte besitzen höhere Priorität. Niedrig priorisierte Hintergrundaufgaben wie die PDF-Erzeugung werden nur bei verfügbarer Kapazität gestartet.

Ziel der Priorisierung ist nicht die maximale Parallelität aller Aufgaben, sondern die dauerhafte Nutzbarkeit des Systems für Anwender und Geschäftsprozesse.

---

Historie, Planung und Transparenz

Alle Importe sind vollständig nachvollziehbar:

• wann ein Import gestartet wurde
• woher Daten kamen
• wie viele Datensätze verarbeitet wurden
• welche Änderungen vorgenommen wurden
• welche Warnungen auftraten

Importe lassen sich planen, überwachen und nachvollziehen – manuell oder automatisch.

---

Fazit: Import ohne Kontrollverlust

Das ETL‑Modul automatisiert Datenübernahmen nicht blind.
Es macht Datenflüsse sichtbar, analysierbar und entscheidbar.

Contene bleibt das führende System für Struktur und Logik.
Das ETL‑Modul stellt sicher, dass nur geprüfte, verstandene und fachlich bewertete Daten dort ankommen.