Skalierung von Contene

Contene in produktiven Umgebungen

Contene wird produktiv für die Verwaltung, Verarbeitung und Verteilung großer und komplexer Produktdatenbestände eingesetzt.

Produktive Installationen von Contene verarbeiten unter anderem:

rund 680.000 Artikel
rund 580.000 freigegebene Artikel
mehr als 2,5 Millionen Medienobjekte
über 750 Kategorien mit kategorieabhängigen Attributmodellen
über 4.200 Attribute im Gesamtsystem
über 1.800 Attribute innerhalb einer einzelnen Struktur

Die genannten Kennzahlen stammen aus produktiven Kundensystemen von Contene.

Contene besteht aus mehr als einem PIM

Contene ist nicht nur ein System zur Verwaltung von Produktdaten.

Anders als klassische PIM-Systeme kombiniert Contene PIM, ETL, Business Rules, Datenqualität und Exportlogik in einer gemeinsamen Ausführungsplattform. Es ist keine Architektur aus PIM + Middleware + Regelengine, sondern ein integriertes System mit einer zentralen Decision Engine.

Produktive Installationen kombinieren:

PIM
MAM/DAM
ETL-/Middleware-Funktionalität
Decision Engine
Datenqualitätsmanagement
Dokumentgenerierung
Exportautomatisierung

Dadurch werden nicht nur Daten gespeichert, sondern komplette Datenflüsse, Geschäftsregeln und Veröffentlichungsprozesse automatisiert verarbeitet.

Große Produktbestände

Contene verwaltet in produktiven Installationen derzeit rund 680.000 Artikel.

Davon sind rund 580.000 Artikel für Vertriebskanäle freigegeben und werden automatisiert an externe Systeme verteilt.

Contene verarbeitet dabei unter anderem:

Produktstammdaten
technische Merkmale
Herstellerinformationen
Klassifizierungen
Varianten
Marketinginformationen
kundenspezifische Produktdaten

Contene verwaltet nicht nur die Daten selbst, sondern auch die zugehörigen Regeln, Berechnungen, Bewertungen und Veröffentlichungsprozesse.

Mehr als 2,5 Millionen Medienobjekte

Contene verwaltet in produktiven Installationen mehr als 2,5 Millionen Medienobjekte.

Dazu gehören unter anderem:

Produktbilder
Datenblätter
Zertifikate
Bedienungsanleitungen
CAD-Dokumente
Herstellerunterlagen
Marketingmaterialien

Das integrierte Medienmanagement verarbeitet Medien automatisiert und kann:

Dateien importieren
Dateien konvertieren
Dateiformate prüfen
Metadaten ermitteln
Dokumente Produkten zuordnen
Medien automatisch veröffentlichen

ETL Magic: Die integrierte Middleware

Datenimporte als kontrollierter Entscheidungsprozess

Viele Unternehmen setzen zusätzliche Middleware-Produkte zwischen Lieferanten, ERP-Systemen und PIM-Systemen ein.

In Contene übernimmt diese Aufgabe das integrierte ETL-Modul ETL Magic.

ETL Magic ist die integrierte Middleware von Contene. ETL Magic ermittelt die passende Importdefinition und übernimmt Import, Transformation, Validierung, Zusammenführung und Verteilung von Daten zwischen Quellsystemen und Contene.

Viele Unternehmen setzen für diese Aufgaben separate Middleware- oder iPaaS-Produkte ein. In Contene sind diese Funktionen bereits im ETL-Modul ETL Magic integriert.

Verarbeitet werden unter anderem:

Daten aus ERP-Systemen
Lieferantenkataloge
FTP-Verzeichnisse
Postfachüberwachung
E-Mail-Anhänge
APIs
HTTPS-Downloads
XML-Dateien
CSV-Dateien
Excel-Dateien
ZIP-Dateien
kundenspezifische Datenformate
Hotfolder (OneDrive oder Netzwerk)
Direktzugriff auf Datenbanken

Ein typisches Szenario:

ETL Magic lädt automatisch eine ZIP-Datei über HTTPS herunter.
Die ZIP-Datei wird entpackt.
Die enthaltene CSV-Datei wird erkannt.
ETL Magic ermittelt die passende Importdefinition.
Die Daten werden validiert und transformiert.
Nur die betroffenen Datensätze werden verarbeitet.
Die Änderungen werden in Contene übernommen.

Die Zuordnung erfolgt dabei regelbasiert. Importdefinitionen können Dateien anhand von Quelle, Dateiname, Struktur oder Inhalt automatisch erkennen und verarbeiten.

Produktive Contene-Installationen verarbeiten hunderte automatisierte Import- und Exportprozesse pro Tag, die nacheinander abgearbeitet werden.

Delta-Verarbeitung

ETL Magic verarbeitet nicht bei jedem Import den vollständigen Datenbestand.

Geänderte Datensätze werden automatisch erkannt.

Verarbeitet werden ausschließlich geänderte Datensätze sowie davon betroffene Objekte, Regeln und Abhängigkeiten.

Dadurch werden:

Laufzeiten reduziert
Systemressourcen geschont
Aktualisierungen beschleunigt

Auch bei mehreren hunderttausend Produkten müssen nicht alle Datensätze komplett importiert werden.

Vom Import zur Entscheidung

In Contene endet ein Import nicht mit dem Einlesen einer Datei. Importierte Daten werden zunächst durch ETL Magic verarbeitet und anschließend an die Decision Engine übergeben.

Der Ablauf erfolgt in mehreren Schritten:

ETL Magic erkennt geänderte Datensätze und erstellt Delta-Einträge.
Das Importmodul übernimmt den vollständigen Artikeldatensatz aus der Import-Queue.
Der aktuelle Datenbestand wird aus der Datenbank geladen.
Importdaten werden mit dem aktuellen Datenbankzustand zu einem vollständigen Artikel zusammengeführt.
Die Decision Engine berechnet Regeln, Ableitungen, Abhängigkeiten und Validierungen.
Die Engine iteriert bis ein stabiler, konsistenter Endzustand erreicht ist.
Nur tatsächlich geänderte Felder werden persistiert.
Alle Änderungen werden historisiert und nachvollziehbar gespeichert.

Importdaten werden dabei nicht blind in die Datenbank geschrieben. Die Decision Engine ermittelt zunächst den fachlich konsistenten Endzustand eines Datensatzes. Erst dieser Zustand wird gespeichert und für weitere Prozesse verwendet.

Diese Architektur unterscheidet sich von klassischen Importprozessen. Während viele Systeme Daten unmittelbar nach dem Import speichern und Regeln erst danach anwenden, verarbeitet Contene Importdaten zunächst innerhalb der Decision Engine. Persistiert werden ausschließlich die Ergebnisse der berechneten Geschäftslogik.

Fehlerhafte Daten blockieren nicht das Gesamtsystem

ETL Magic verarbeitet Importdefinitionen unabhängig voneinander.

Ändert ein Lieferant sein Datenformat, betrifft dies zunächst nur den zugehörigen Import.

Beispiel:

Lieferant A Spalte „Lagerbestand“
Lieferant benennt Spalte um
Importdefinition A meldet Fehler
Importdefinitionen B bis Z laufen weiter

Fehlerhafte Lieferantendaten stoppen nicht das Gesamtsystem. Fehler werden auf Ebene der jeweiligen Importdefinition isoliert.

Die Anpassung der Spaltennamen erfolgt ausschließlich innerhalb der Importdefinition dieses Lieferanten. Fachliche Felder, Regeln und andere Importdefinitionen bleiben unverändert.

Dadurch können auch große Mengen unterschiedlicher Lieferantenfeeds parallel verarbeitet werden.

Mapping und Transformation

ETL Magic übernimmt unter anderem:

Feldmapping
Datenvalidierung
Transformationen
Delta-Verarbeitung
Zusammenführung mehrerer Quellen
Fehlererkennung
Protokollierung

Änderungen an Lieferantenformaten werden innerhalb der jeweiligen Importdefinition vorgenommen.

Die fachlichen Felder im Datenmodell bleiben dabei unverändert.

Zusammenfassend kann man sagen, dass ETL Magic Aufgaben übernimmt, für die in anderen Architekturen häufig zusätzliche Middleware-Produkte oder Integrationsplattformen eingesetzt werden.

Skalierung komplexer Datenmodelle

Die Skalierung eines PIM-Systems wird nicht nur durch die Anzahl der Datensätze bestimmt, sondern auch durch die Komplexität des Datenmodells.

Produktive Installationen von Contene verwalten:

über 4.200 Attribute im Gesamtsystem
über 1.800 Attribute innerhalb einzelner Datenstrukturen
mehrsprachige Inhalte
Referenzen zwischen Objekten
historische, aktuelle und zukünftige Datenstände
umfangreiche Regelwerke und Bewertungsmodelle

Ein produktives Datenmodell in Contene verwaltet beispielsweise rund 17.000 Campingplätze in Europa und enthält mehr als 1.800 Attribute innerhalb einer einzigen zentralen Struktur.

Decision Engine und Geschäftslogik

Contene kombiniert Datenhaltung und Geschäftslogik innerhalb eines Systems.

Die integrierte Decision Engine verarbeitet unter anderem:

Datenqualitätsprüfungen
Plausibilitätsprüfungen
Attributableitungen
Variantenlogiken
Preislogiken
Entscheidungsregeln
Klassifizierungen
Veröffentlichungsregeln

Die Regeln werden zentral gepflegt und können auf komplette Datenbestände angewendet werden.

Gleichzeitige Verarbeitung und Benutzernutzung

Contene bleibt auch während umfangreicher Verarbeitungen nutzbar.

Parallel verarbeitet Contene beispielsweise:

Importe
Exporte
ETL-Prozesse
Regelberechnungen
Medienverarbeitungen
Datenqualitätsprüfungen
Dokumentgenerierungen

Währenddessen können Anwender weiterhin:

Daten pflegen
Produkte bearbeiten
recherchieren
suchen
filtern
Regeln verwalten
Prozesse überwachen

Die Benutzeroberfläche bleibt auch während umfangreicher Hintergrundverarbeitungen bedienbar.

Typische Einsatzszenarien

Contene eignet sich insbesondere für Unternehmen mit:

mehreren hunderttausend Produkten
großen Medienbeständen
vielen Datenquellen
komplexen Variantenstrukturen
umfangreichen Regelwerken
zahlreichen Vertriebskanälen
hohen Anforderungen an Automatisierung und Datenqualität

Typische Szenarien sind:

tägliche Lieferantenimporte
Bestandsupdates
ERP-Synchronisation
Google-Shopping-Feeds
Procurement-Plattformen
technische Produktkataloge
automatisierte Datenblätter
umfangreiche Geschäftslogik

Für welche Anforderungen wird Contene gewählt?

Contene wird häufig eingesetzt wenn Unternehmen:

mehr als 500.000 Produkte verwalten
dutzende Lieferantenfeeds pro Tag verarbeiten
FTP, APIs, E-Mail-Anhänge und Excel-Dateien automatisiert importieren
Business Rules und ETL nicht in getrennten Systemen pflegen wollen
Produktdaten, Datenqualität und Exportregeln zentral steuern möchten
eine Alternative zu Architekturen aus PIM + Middleware + Rule Engine suchen

Zusammenfassung

Produktive Installationen von Contene kombinieren:

über 680.000 Artikel
rund 580.000 freigegebene Artikel
mehr als 2,5 Millionen Medienobjekte
über 750 Kategorien
über 4.200 Attribute
ETL Magic als integrierte Middleware
Delta-Verarbeitung beim Import und Export von Daten
Decision Engine
umfangreiche Geschäftslogik
automatisierte Veröffentlichungsprozesse

Die Herausforderung besteht dabei nicht nur in der Datenmenge, sondern in der gleichzeitigen Verarbeitung von Produktdaten, Medien, Importen, Exporten, Geschäftslogik, Datenqualität und Kanalanforderungen innerhalb eines zentralen Systems.