Wie können wiederkehrende Aufgaben vereinfacht werden? Die Frage nach der Automatisierung von Prozessen in einem Data Warehouse (DWH) beschäftigt Projektteams.
Der Wunsch nach einem umfassenden Automatisierungsprodukt entsteht dann meist sehr schnell. Mittlerweile gibt es viele Produkte auf dem Markt: Etablierte, Newcomer und Eigenentwicklungen. Die Projektteams haben die Qual der Wahl. Und erleben nicht selten nach der Produktauswahl oder Produkteinführung eine Enttäuschung.
Worum geht es also? Viele Data Warehouse Projektteams haben sich in der Vergangenheit damit beschäftigt oder beschäftigen sich aktuell mit der Frage, wie sich die Entwicklung und Ausführung von Prozessen in einem Data Warehouse (im folgenden Data Solution genannt) automatisieren lässt: Wie können immer wiederkehrende Aufgaben vereinfacht und die Entwicklung der Prozesse mit möglichst wenig Aufwand durchgeführt werden?
Vor allem in einer Data Solution mit vielen sich wiederholenden Mustern - zum Beispiel mit Data Vault - besteht der Wunsch nach einem Automatisierungswerkzeug, das die Teams bei der Entwicklung unterstützt und einen Vorteil in der Gesamtperformance verspricht.
Welche Erwartungen an eine Automatisierungslösung bestehen, was Hersteller versprechen und wie die Realität am Ende aussieht, beschreibe ich in diesem mehrteiligen Blogbeitrag.
Erwartungen an die Automatisierung
Die Erwartung der Projektteams an eine Automatisierungslösung besteht darin, den Neuaufbau oder eine notwendige Um- und Neustrukturierung einer Data Solution zu unterstützen. Spätestens dann, wenn über die Anschaffung oder Entwicklung einer Automatisierungslösung nachgedacht wird, tauchen in den Köpfen der Teammitglieder eine Reihe von Schlagworten auf.
Automatisierte ETL
Automatisierte Erstellung aller ELT- oder ETL-Datenlogistikprozesse - Wenn Datenlogistikprozesse manuell entwickelt werden, sind sie anfällig für Implementierungsfehler oder, wenn sich das Lademuster ändert, nur schwer zu aktualisieren. Dies ist häufig der Ausgangspunkt für Überlegungen zu einer Automatisierungslösung. Schließlich handelt es sich meist um wiederkehrende Muster (Tabellen und Prozesse), die einfach automatisiert werden sollten.
Vereinfachung
Vereinfachung des Entwicklungsprozesses - Wie kann das Projektteam die zu erledigende Arbeit vereinfachen und gleichzeitig schneller Artefakte liefern? Ist dies mit einem geeigneten Werkzeug möglich? Es wird erwartet, dass die Automatisierungslösung die tägliche Arbeit vereinfacht.
Orchestrierung
Orchestrierung der Datenlogistikprozesse - Viele kleine Prozesse (oft mehrere 1000) existieren in der Data Solution und müssen parallel und/oder in einer bestimmten Reihenfolge ausgeführt werden. Wenn diese alle manuell in ein Orchestrierungstool eingefügt werden müssen, ist dies sehr aufwendig und es wird erwartet, dass die Automatisierungslösung diese Aufgabe übernimmt.
Metadaten
Metadaten, die DNA der Data Solution - Spätestens jetzt wird den Teams die Notwendigkeit von Metadaten bewusst. Es wird erwartet, dass diese die Grundlage bilden, um die Prozesse zu erstellen, zu vereinfachen, zu orchestrieren und schließlich so weit wie möglich zu automatisieren.
Geschwindigkeit
Schnellere Lieferung von Artefakten - Die bisherigen Gedanken und Schlagworte zu einer Automatisierungslösung führen zu der Erwartung, dass das durch eine Automatisierung, Vereinfachung und Orchestrierung mit Metadaten die Lieferung von Artefakten schneller wird.
Data Vault Standard
Vorhandene Data Vault Standards nutzen - Natürlich wird erwartet, dass alle Data Vault Standards unterstützt werden. Unabhängig davon, welcher Data Vault Standard in der Data Solution geplant ist oder bereits eingesetzt wird. Und die Automatisierungslösung sollte an die Bedürfnisse im Projekt anpassbar sein, wie z.B. die Wiederverwendung von Standards aus einem Buch oder eines anderen Automatisierungstools.
Unempfindlich
Unempfindlich gegenüber (externen) Änderungen - Wenn sich etwas im operativen System ändert oder neue Daten integriert werden müssen, wird erwartet, dass die daraus resultierenden Änderungen oder ein Refactoring in der Data Solution sehr einfach durchgeführt werden können.
Integration
Die Integration unterschiedlicher operativer Systeme - Es wird erwartet, dass die Integration verschiedener operativer Systeme einfach zu handhaben ist. Dies gilt auch für die Unterstützung bei der Integration unterschiedlicher, sich überschneidender oder konkurrierender Geschäftsschlüssel.
Top 10
Hohes Ranking - Die Automatisierungslösung ist in einem Ranking möglichst hoch bewertet. Dabei spielen die Kriterien bzw. die bewerteten Features keine Rolle (bzw. dürfen keine Rolle spielen).
Dies sind nur einige der Erwartungen, die mir in den letzten Jahren begegnet sind und die an die Automationslösung gestellt werden. Und doch sind es auch die Gründe, die für eine Investition in eine Automatisierungslösung sprechen.
Im zweiten Teil des Blogbeitrags geht es um die Versprechungen der Automatisierungsanbieter sowie um Fallbeispiele aus meinem Coaching-Alltag.
Mehr dazu in einem der nächsten Teil dieser Serie. Schaut unbedingt wieder vorbei.
Bis dahin
Euer Dirk