Data Vault 2.0

Ende April habe ich, als Head of Competence – Agile Data Warehousing bei BLUEFORTE, einen Vortrag über Data Vault beim 18. TDWI Roundtable in Frankfurt/Main gehalten. Die Atmosphäre war super, die Organisation durch das TDWI toll und das Publikum ist mit Leidenschaft in Diskussionen eingestiegen.

With our TEDAMOH Academy we offer various seminars, trainings and workshops to support and develop continuous learning in your daily business.

You can either extend you theoretical knowledge by attending a seminar or work in practically oriented workshops to acquire knowledge by yourself. To train the usage of a new software or method, such as dealing with temporal data, it is best to have a closer look at the training area.

Anreise

Die Anreise zur Schulung mit KLM verlief ohne Probleme. Von Frankfurt nach Montreal, mit einem kurzen Stopp in Amsterdam und dann entspannt mit dem Auto über verschneite Landschaften nach St. Albans, VT, USA.

Auf dem Flug nach Amsterdam gab es viel Spaß im Flieger, da einer der Supervisors an Board seinen letzten Flug auf dieser Maschine hatte und sein Team ihn gebührend verabschiedete.

A few weeks ago I received a surprisingly open and honest feedback on my recently published article "13 tips...". I never ever expected that! After a short email exchange, I was allowed to publish the feedback anonymously. Below is the incredible feedback^[3]. You see, you are not alone with the challenges of a Data Vault project:

Hi Dirk

Thanks for sending me the English version of the paper. I'm based in […] ^[1] and Data Vault is not generally established here yet.

Or the battle announcement of the incoming interface

The BI Center of Competence (CoC) has decided to use bitemporal data storage when setting up a new data warehouse for one of the business units of the fictitious company FastChageCo™.

BI CoC is well advanced in the bitemporal implementation of Data Vault database objects as well as loading patterns. The already connected systems via formally defined incoming interfaces have worked without problems so far.

If everything would happen at the same time, there would be no need to store historic data. We, the consumers of data, would know each and everything at the same instant. Beside all the other philosophical impacts, if time wouldn’t exists, is data still necessary?

(Un)fortunately time exists and data architects, data modelers and developers have to deal with it in the world of information technology.

In this category about temporal data I will collect all my blogposts about this fancy topic.

Immer wieder kommt in Projekten die Frage auf, besser gesagt die Diskussion, ob Constraints in der Datenbank physisch sinnvoll sind oder nicht. Meist gibt es Vorgaben von DBAs oder durchsetzungsstarken ETLern, die eine generelle Abneigung gegen Constraints zu haben scheinen, dass Constraints nicht erwünscht sind. OK, diese Woche wurde mir wieder das Gegenteil bewiesen. Doch wie heißt es so schön: Ausnahmen...

Auf dem #WWDVC und im Advanced Data Vault 2.0 Boot Camp haben wir ebenfalls über dieses Phänomen gesprochen. Das scheint weltweit zu existieren. Dazu hat kurz nach dem #WWDVC auch Kent Graziano einen Blogpost verfasst. Auf LinkedIn gab es dazu einige Kommentare.

Gut, wie argumentiert man am besten, bzw. was sind eigentlich die Vor- und Nachteile Constraints zu verwenden?

Data Vault im Einsatz beim Gutenberg Rechenzentrum

Im Rahmen einer umfassenden Neugestaltung entsteht beim Gutenberg Rechenzentrum in Hannover eine neue Data-Warehouse-Architektur für ein Standardprodukt, das als Analyse-Komponente für die ERP-Verlagslösung des GRZ zum Einsatz kommt. Heterogene Kundenanforderungen, Customizing der ERP-Komponenten sowie ein gefoderter hoher Grad an Flexibilität und kundenindividueller Ausgestaltung spiegeln sich in einer Hub-and-Spoke-Architektur mit einem als Data Vault modellierten Core Warehouse und mehrdimensionalen Data Marts wider.

Do you want to learn something about data modelling with Steve Hoberman? You want to explore new methods like Data Vault 2.0, Anchor Modeling, Data Design, DMBOK and many more? E.g. a keynote where Dan Linstedt, Lars Rönnbäck and Hans Hultgren talks together, and another one with Bill Inmon?

Daniel Linstedt veröffentlicht nach und nach was in Data Vault 2.0 an Neuem dazu kommt. Ich möchte euch hier einen Überblick geben, was der aktuelle Stand ist und für euch die Entwicklung weiter verfolgen.

Daniel Linstedt hat auf LinkedIn eine knappe Zusammenfassung gepostet, die ich euch hier wiedergeben möchte.

Data Vault 2.0 geht weit über Data Vault 1.0 hinaus. War Data Vault 1.0 auf die Modellierung fokussiert, betrachtet Data Vault 2.0 auch die Architektur, die agile Vorgehensweise bei der Implementierung, vertieft die Performanceaspekte des Data Vault und integriert Technologien wie Hadoop:

Zum ersten Mal gibt es in Deutschland den Data Vault Day, am 11. März 2015. Das BI-Podium bringt uns einen ganzen Tag nur Data Vault, pures Data Vault :-) .

Auch Dan Linstedt, Begründer der Data Vault Methode, wird dabei sein. Lasst euch nicht die Chance entgehen ihn Live zu hören. Es ist eine der wenigen Möglichkeiten in Deutschland. Darüber hinaus könnt ihr direkt, mit ihm selbst, in den Networking-Slots reden, Fragen stellen oder euch einfach ein Autogramm geben lassen.

Neue Wege in der Datenmodellierung

Geschäftsanforderungen oder Business Needs verändern sich in heutigen Unternehmen in sehr kurzen Intervallen. Was gestern noch als gesetzt galt, kann morgen schon wieder vorbei sein. Fachabteilungen fordern in immer kürzeren Abständen die Bereitstellung geeigneter Daten, um Entscheidungen zu treffen. Feste und starre Regeln werden bewusst gebrochen, um etwas Neues zu entdecken.

On July 15, Mathias Brink and I ran a webinar about Data Vault on EXASOL, modeling and implementation. The webinar started with an overview of the concepts of Data Vault Modeling and how Data Vault Modeling enables agile development cycles. Afterwards, we showed a demo that transformed the TPC-H data model into a Data Vault data model and how you can then query the data out of the Data Vault data model. The results were then compared with the original queries of the TPC-H.

Nach dem Advanced Data Vault 2.0 Boot Camp fand im Anschluss das World Wide Data Vault Consortium statt, das allererste überhaupt. Ein historisches Ereignis. Ja, vor allem auch deswegen, wie viele geniale und intelligente Menschen die Mühen auf sich nahmen nach St. Albans, Vermont, USA zu kommen. Und wirklich weltweit: aus den USA, Kanada, Australien, Norwegen, Holland und Deutschland kamen die Teilnehmer, um von Dan Linstedt das Neueste über Data Vault 2.0 zu hören, aber auch den Keynotes und den viele Vorträgen zu folgen und sich in Networking Sessions untereinander auszutauschen.

Für alle Tweeds und noch mehr Infos: Geht auf Twitter mit #WWDVC!

In July 2016 Mathias Brink and I had given a webinar how to implement Data Vault on a EXASOL database. Read more about in my previous blogpost or watch the recording on Youtube.

Afterward I became a lot of questions per our webinar. I’ll now answer all questions I got till today. If you have further more questions feel free to ask via my contact page,via Twitter, or write a comment right here.

In the past, I've always had a need for large data sets to test data logistics processes or a database technology for Data Vault.

Over the last few weeks, Mathias Brink and I have worked hard on the topic of Data Vault on EXASOL.

Our (simple) question: How does EXASOL perform with Data Vault?

First, we had to decide what kind of data to run performance tests against in order to get a feeling for the power of this combination. And we decided to use the well-known TPC-H benchmark created by the non-profit organisation TPC.

Second, we built a (simple) Data Vault model and loaded 500 GB of data into the installed model.  And to be honest, it was not the best model. On top of it we built a virtual TPC-H data model to execute the TPC-H SQLs in order to analyse performance.

I reactivated my Meetup Data Vault Interest Group this week. Long time ago I was thinking about a table of fellow regulars to network with other, let’s call them Data Vaulters. It should be a relaxed get-together, no business driven presentation or even worse advertisement for XYZ tool, consulting or any flavor of Data Vault. The feedback of many people was that they want something different to the existing Business Intelligence Meetings. So, here it is!

Hybrides Data Warehouse am Beispiel von Data Vault

In der heutigen BI-Welt müssen Anforderungen der Fachbereiche und gesetzliche Vorgaben sowie die Wünsche der Nutzer von Smart Devices an personenbezogenen Daten in Einklang gebracht werden. Anhand des fiktiven Unternehmens FastChangeCo sollen im Folgenden die Herausforderungen an den Schutz der Daten sowie die Umsetzung aufgezeigt werden. FastChangeCo hat eine Möglichkeit entwickelt, nicht nur Smart Devices herzustellen, sondern auch die Smart Devices als Wearables in Form von Sensoren auf Kleidung auszudehnen.

Es ist eine Weile her seit ihr von mir etwas gehört habt. Entschuldigung.

Dafür geht es gleich mit etwas Großem weiter. Rückblickend wird es sich zeigen, ob hier ein historisches Ereignis in der Datenmodellierungsszene stattfindet: das erste weltweite Treffen (20.3.14 - 22.3.14) von Data Vault Interessierten in der Heimatstatt von Daniel Linstedt, in St. Albans, USA.