Automatisierter Import und Export von Massendaten

Der Austausch großer Datenmengen gehört zu den zentralen Anforderungen moderner Systemlandschaften – insbesondere im Produktdatenmanagement. Lieferanten, ERP-Systeme und externe Plattformen liefern kontinuierlich neue oder aktualisierte Daten.

Mit ETL-Magic bietet Contene eine leistungsstarke Lösung, um Massendaten automatisiert zu importieren, zu transformieren und zuverlässig in das PIM-System zu integrieren.

Unterstützung gängiger Datenformate

ETL-Magic unterstützt die wichtigsten Formate für den Datenaustausch:

• CSV-Dateien
• Excel-Dateien (XLSX)
• JSON-Dateien

Damit lassen sich Daten aus unterschiedlichsten Quellen integrieren – beispielsweise aus ERP-Systemen, Lieferantenkatalogen oder externen Plattformen.

Automatisierte Datenübernahme über Hotfolder

Mit der integrierten Hotfolder-Funktion können Datenimporte vollständig automatisiert werden.

Sobald eine Datei in einem definierten Verzeichnis abgelegt wird, erkennt ETL-Magic diese automatisch und startet den Importprozess. Alternativ kann das System in frei definierbaren Intervallen prüfen, ob neue Dateien vorhanden sind.

Importprozesse lassen sich zeitlich steuern – etwa beginnend zu einer bestimmten Uhrzeit und anschließend in regelmäßigen Intervallen. Zusätzlich können Pausen definiert werden, um Importprozesse gezielt zu kontrollieren.

Import direkt aus E-Mails

Viele Lieferanten liefern Daten per E-Mail. ETL-Magic kann dafür ein Postfach überwachen und eingehende Daten automatisch verarbeiten.

Das System erkennt neue E-Mails, analysiert die Anhänge und verarbeitet diese automatisch:

• Anhänge werden erkannt und eingelesen
• ZIP-Dateien werden automatisch entpackt
• enthaltene Excel- oder CSV-Dateien werden direkt importiert

So lassen sich Lieferantendaten vollständig automatisiert übernehmen – ohne manuelle Zwischenschritte.

Intelligente Erkennung von Importformaten

Beim Einlesen einer Datei erkennt ETL-Magic automatisch den passenden Importprozess. Dazu werden die Header-Namen der ersten Zeile analysiert.

Dabei spielt die Reihenfolge der Spalten keine Rolle. Auch zusätzliche Spalten in einer Datei stellen kein Problem dar.

Diese flexible Struktur sorgt dafür, dass sich Importprozesse auch dann stabil durchführen lassen, wenn sich Lieferantenformate leicht verändern.

Delta-Import für maximale Performance

ETL-Magic ist für die Verarbeitung sehr großer Datenmengen optimiert.

Bei umfangreichen Datenlieferungen – beispielsweise bei täglichen Imports von mehreren hunderttausend Artikeln aus einem ERP-System – wird zunächst automatisch ein Delta ermittelt.

Dabei wird geprüft:

• welche Datensätze bereits vorhanden sind
• welche Datensätze neu sind
• bei welchen Datensätzen sich Änderungen ergeben haben

Anschließend werden nur die neuen oder geänderten Datensätze importiert. Dadurch werden Systemressourcen geschont und Importprozesse deutlich beschleunigt. Die tatsächliche Importgeschwindigkeit liegt – abhängig von Datenumfang und Verarbeitungslogik – typischerweise bei 30 bis 300 Datensätzen pro Sekunde.

Flexible Daten-Transformation mit Excel-Formeln

ETL-Magic ermöglicht umfangreiche Transformationen direkt im Importprozess.

Dafür steht eine Excel-ähnliche Regel-Engine zur Verfügung, die rund 120 Excel-Formeln unterstützt. Damit können Daten flexibel verarbeitet werden, zum Beispiel:

• Feldwerte transformieren
• Inhalte berechnen oder kombinieren
• Datenformate konvertieren
• Logiken und Regeln anwenden

So lassen sich Daten bereits beim Import optimal auf die Struktur des PIM-Systems anpassen.

Validierung und Fehlerhandling

Für eine hohe Datenqualität können Importregeln zusätzlich zur Validierung von Daten genutzt werden.

Dabei lassen sich:

• Warnungen (Warnings)
• Fehler (Errors)

definieren, wenn Daten bestimmten Anforderungen nicht entsprechen. Dadurch werden Probleme frühzeitig erkannt und die Datenqualität nachhaltig verbessert.

Transparenz durch Trockenlauf (Impact-Analyse)

Bei manuellen Importen über die Benutzeroberfläche bietet ETL-Magic einen Trockenlauf-Modus.

Dabei wird der Import zunächst simuliert, ohne Daten tatsächlich zu verändern. Anwender sehen bereits vorab:

• welche Datensätze betroffen wären
• welche Felder geändert würden

Diese Impact-Analyse sorgt für maximale Transparenz und reduziert Risiken bei großen Datenimports erheblich.

Automatisierte Exporte

Neben Importen unterstützt ETL-Magic auch den automatisierten Export von Daten in andere Systeme.

Exportdaten können beispielsweise als:

• Excel-Dateien
• CSV-Dateien

bereitgestellt werden und so an andere Anwendungen oder Partner übergeben werden.

---

Typischer Use Case: Automatisierter Lieferantenimport

Viele Unternehmen erhalten täglich neue Daten von ihren Lieferanten – zum Beispiel Bestände, Preise oder Produktinformationen. Diese Daten kommen oft in unterschiedlichen Formaten und über verschiedene Kanäle.

Mit ETL-Magic lässt sich dieser Prozess vollständig automatisieren.

Ein typisches Szenario:

• Lieferanten senden täglich Bestands- oder Produktdaten per E-Mail
• ETL-Magic überwacht automatisch ein definiertes Postfach
• Anhänge (CSV- oder Excel-Dateien) werden erkannt und automatisch importiert

Alternativ können Lieferantendaten auch direkt über REST-APIs abgerufen werden. ETL-Magic holt die Daten automatisch vom jeweiligen System ab und startet anschließend den Importprozess.

Durch die integrierte Delta-Erkennung werden dabei nur neue oder geänderte Datensätze verarbeitet. Dadurch bleiben Importprozesse schnell und effizient – selbst bei sehr großen Datenmengen.

Das Ergebnis:
Aktuelle Lieferantendaten stehen jeden Morgen automatisch im PIM-System zur Verfügung – ohne manuelle Arbeitsschritte.

---

Vorteile auf einen Blick

• Automatisierte Massendatenimporte
• Unterstützung von CSV-, Excel- und JSON-Dateien
• Hotfolder- und E-Mail-basierte Datenübernahme
• Datenintegration über REST-APIs
• Delta-Import für maximale Performance
• Importgeschwindigkeit bis zu 300 Datensätze pro Sekunde
• flexible Transformation mit Excel-Formeln
• integrierte Datenvalidierung
• Impact-Analyse durch Trockenlauf
• automatisierte Datenexporte

Mit ETL-Magic wird der Import und Export großer Datenmengen zu einem stabilen, transparenten und hochautomatisierten Prozess – für effiziente Datenflüsse zwischen ERP, Lieferanten und PIM-System.