DURCH SIEBEN PHASEN MUSST DU GEHEN

Im Zuge der Digitalisierung müssen immer mehr Daten aus unterschiedlichsten Quellen verarbeitet werden. Um aus Big Data größtmöglichen Nutzen zu ziehen, brauchen Unternehmen eine Software, die Daten in möglichst hohem Grad automatisiert verarbeitet und ei

Bei kontinuierlich steigenden Datenmengen benötigen Unternehmen mehr Flexibilität. Dazu gehören heute Funktionen wie Drag & Drop, Multidevice-fähigkeit, Konfigurieren statt Programmieren, automatisches Feedback im Fehlerfall und kontinuierliche Dokumentation. Damit die Datenintegration gelingt, müssen sieben Schritte beachtet werden.

PHASE 1: DATENHERKUNFT

Hier wird der Eingangsagent festgelegt, der die zu verarbeitenden Quell- oder Eingangsdaten entgegennimmt. Dabei kann es sich im einfachsten Fall um eine reine Datenpumpe handeln, bei der die Daten inhaltlich unverändert über einen oder auch mehrere sogenannte Antwort- oder Ausgangswege weitergeleitet werden. Ein Mapping (siehe Schritt 3) findet also nicht statt. Die Software sollte in der Lage sein, sich die Daten aktiv abzuholen (einmalig, aber auch wiederkehrend) oder zu warten, dass der Partner die zu verarbeitenden Daten anliefert (ereignisgesteuert, reaktiv).

Die Software fungiert also wahlweise als Server oder als Client. Auch die Zeiten für die Datenabholung und die Intervalle sollten natürlich festgelegt werden können. Gut zudem, wenn es zu möglichst vielen Systemen direkt Anbindungen gibt, daneben WEBDAV und SCP ebenso unterstützt werden wie etwa AS2, OFTP, X-400, SMTP, POP3 und IMAP, HTTP(S), FTP(S) und SFTP, SQL oder JMS.

PHASE 2: DATENSTRUKTUR

Im zweiten Schritt werden die zu den Quelldaten passende Quellstruktur und die Dokumentenarten festgelegt, also etwa CSV, Excel, XML, Feste Länge, DB (Datenbank), Edifact, SAP IDOC, X.12, BWA, API, JSON. Die Dokumentenart bestimmt den Parser, also das Programm, das für die Umwandlung einer Eingabe in ein für die Weiterverarbeitung geeigneteres Format zuständig ist.

Wichtig: Zusätzliche formatspezifische Angaben, die es so nur beim betreffenden Format gibt, sollten konfigurierbar sein, etwa bei CSV das Csv-quoting, bei Excel die Datenblätter, Schemadateien bei XML usw. Hilfreich ist, wenn die Software zudem Komprimierungsformate wie zip, 7z, ARJ und andere verarbeitet.

PHASE 3: DATEN-MAPPING

Jetzt werden die gewünschte Zielstruktur sowie der Zusammenhang zwischen Quell- und Zielstruktur, das sogenannte Mapping, konfiguriert, sprich: Hier werden die Ziel- oder Ausgangsdaten erzeugt. Bitte achten Sie darauf, dass die zugeordneten Zieldaten zusätzlich über sogenannte Filter(ketten) manipuliert werden können. Führende Software-produkte bieten eine große Zahl vorbereiteter Filter, die Ihnen helfen, beliebig komplexe Mappings, zum Beispiel auch mit Hilfe von Variablen, Listen und Maps, zu erstellen. Der einfachste Fall ist das 1:1-Mapping. Hier wird die Quellstruktur unverändert auf die Zielstruktur abgebildet. In der Regel werden auch die Namen übernommen. Dabei werden alle Quellfelder den entsprechenden Zielfeldern zugeordnet.

PHASE 4: DATENBANKEN BESCHREIBEN

Sofern Sie Daten in eine Datenbank als Ziel übernehmen möchten, müssen Sie bestimmen, ob und wenn ja welche Zieldaten in welche Datenbank-tabellen geschrieben werden. Voraussetzung ist, dass die betreffende Tabelle in einem Ihrer Software bekannten Schema angelegt ist.

PHASE 5: DATENINTEGRATION

QUELLDATEN /// DATEN-MAPPING /// ZIELSTRUKTUR

Soll die Datenintegrations-software nicht nur als Datenpumpe arbeiten, muss ein Mapping aktiviert werden. Bei der reinen Funktion als Datenpumpe wird die Quelldatei unverändert ‚wie empfangen‘ ausgegeben. Das Mapping bietet die Möglichkeit, Daten in andere Zielformate zu übernehmen.