Definition
Konnektoren stellen einen zentralen Bestandteil des ETL Prozesses in OCT dar. Häufig bilden Sie den Kern Ihrer Datenintegration und erfüllen dabei sowohl die Aufgabe Daten aus einem Vorsystem abzurufen, als auch erste Transformationsschritte zu deren Verarbeitung vorzunehmen.
Der Konnektor ist das Bindeglied zwischen dem Quellsystem und dem in OCT verwendeten Fachmodell. Im Fachmodell sind die benötigten Daten in Form von Tabellendefinitionen im Schema integration definiert. Für jede dieser Tabellen muss im Konnektor eine eigene Abfrage hinterlegt werden.
Ist das Quellsystem SQL-basiert (MSSQL oder per ODBC erreichbar) kann mit Hilfe des Konnektors direkt darauf zugegriffen werden. OCT selbst kann ebenfalls als Quelle eines Konnektors dienen, dies geschieht bei anspruchsvolleren Datenquellen wie API. Hier wird zuerst ein Gateway verwendet, um die Daten in OCT zu laden und dann via Konnektor weiterzuverarbeiten.
Das Fachmodell ist das Ziel der Daten. OCT bietet Fachmodelle zu verschiedenen Anwendungsbereichen von Finanzdaten, über Offene Posten bis hin zu Personaldaten. Das Fachmodell REWE wird nicht über einen klassischen Konnektor befüllt.
Beziehung zwischen Fachmodell und Konnektor
Unter einem Fachmodell verstehen wir eine themenbezogene Datenstruktur. Diese Themen sind beispielsweise das Fachmodell FIN für Finanzdaten oder das Fachmodell HR für Daten des Personalwesens. Der Umfang der darin abgebildeten Daten ist standardisiert, kann aber bei Bedarf erweitert werden.
Ein Fachmodell (im Folgenden FM abgekürzt) besteht aus Tabellen, Views und kann durch verschiedene Prozeduren unterstützt werden. Das FM verwendet verschiedene Schemata um die Daten zu strukturieren. Im Schema “integration” werden die Daten angeliefert, die hier liegenden Tabellen definieren dabei auch direkt den Umfang des Konnektors. Ein Konnektor schreibt direkt in diese Tabellen und verfügt über eine Abfrage je integrations-Tabelle im Fachmodell. Damit ergibt sich das Result-Set, das eine Konnektorabfrage zurückliefern muss, direkt aus dem verwendeten Fachmodell.
Jeder Konnektor ist einem Fachmodell zugeordnet, dieses ist auch in der Konnektorbezeichnung enthalten. Im obigen Beispiel verwenden wir einen Konnektor für das Vorsystem SAGE100DE, das Vorsystem ist SQL basiert auf einer MSSQL Datenbank und bedient das Fachmodell FIN.
Die Namenskonvention für Tabellen ist wie folgt:
integration.t[Fachmodell]_[Tabellenname]
Das FM FIN enthält im Standardumfang die Tabellen AccountingJournal, Accounts und CostObjects. GetCompanies ist eine Steuerabfrage, die FM übergreifend verwendet wird.
Im Beispiel wurde auch eine neue Tabelle angelegt. Diese erfüllt die Namenskonvention und wird somit direkt vom Konnektor als Bestandteil des Fachmodells FIN erkannt. OCT unterstützt Sie hier also direkt bei der Entwicklung Ihrer eigenen Konnektoren.
Konnektoren und der Step “SQL-Konnektor”
Um Konnektoren in OCT verwenden zu können, wird der Step SQL-Konnektor bereitgestellt.
Der Step führt einerseits die im Konnektor definierten Abfragen aus und schreibt die Ergebnisse in die entsprechenden Tabellen des FM, er unterstützt aber auch eine nachhaltige Speicherung der Daten und eine Aktualisierung des Fachmodells. Hierzu besteht er aus mehreren Teilschritten, die im folgenden Bild verdeutlicht werden sollen. Eine technische Dokumentation würde hier den Rahmen sprengen.
