Data Warehouse

  • How to load easy some data vault test data

    Some time ago a customers asked me how to load easy and simple some (test)data into their database XYZ (chose the one of your choice and replace XYZ) to test their new developed Data Vault logistic processes.
    The point was: They don’t want to use all this ETL-tool and IT-processes overhead just to some small test in their own environment. If this this is well done from a data governance perspective? Well, that’s not part of this blogpost. Just do this kind of thingis only in your development environment.

  • Increased quality and sped up process

    TEDAMOH - Increased quality and sped up process - Photo by Diego PH on Unsplash

    Dirk Lerner was engaged to coach my efforts of creating a data warehouse using data vault 2.0 architecture. It has been a pleasure to work with Dirk.

    The guidance given has greatly increased the quality of the design and sped up the entire process.

  • Meetup – Data Vault Interest Group

    I reactivated my Meetup Data Vault Interest Group this week. Long time ago I was thinking about a table of fellow regulars to network with other, let’s call them Data Vaulters. It should be a relaxed get-together, no business driven presentation or even worse advertisement for XYZ tool, consulting or any flavor of Data Vault. The feedback of many people was that they want something different to the existing Business Intelligence Meetings. So, here it is!

  • Mehr Qualität und beschleunigte Prozesse

    TEDAMOH - Mehr Qualität und beschleunigte Prozesse - Photo by Diego PH on Unsplash

    Dirk Lerner wurde damit beauftragt, mich bei der Erstellung eines Data Warehouse unter Verwendung der Data Vault 2.0 Architektur zu unterstützen.Es war ein Vergnügen, mit Dirk zu arbeiten.

    Die Beratung hat die Qualität des Designs erheblich verbessert und den gesamten Prozess beschleunigt.

  • Methodik zur Lösung bitemporaler Aufgaben

    TEDAMOH - Methodology to handle bitemporal challenges - Photo by Scott Graham on Unsplash

    Dirk hat eine sehr gut strukturiertes Training über temporale Daten durchgeführt. Er hat mir sehr geholfen, mein Wissen über dieses anspruchsvolle Thema zu erweitern.

  • Methodology to handle bitemporal challenges

    TEDAMOH - Methodology to handle bitemporal challenges - Photo by Scott Graham on Unsplash

    Dirk provided a very well structured training on temporal data. He helped me a lot to increase my knowledge about this challenging topic.

  • Model driven decision making @ #BAS19

    FastChangeCo and the Fast Change in a Hybrid Cloud Data Warehouse with elasticity

    What is this 20 minute talk about at #BAS19?

    The fictitious company FastChangeCo has developed a possibility not only to manufacture Smart Devices, but also to extend the Smart Devices as wearables in the form of bio-sensors to clothing and living beings. With each of these devices, a large amount of (sensitive) data is generated, or more precisely: by recording, processing and evaluating personal and environmental data.

  • Model-Driven Decision Making

    Model-Driven Decision Making

    FastChangeCo und seine schnelle Veränderung mit einem anpassungsfähigen Cloud Data Warehouse


    Das fiktive Unternehmen FastChangeCo hat eine Möglichkeit entwickelt, nicht nur Smart Devices herzustellen, sondern auch die Smart Devices als Wearables in Form von Bio-Sensoren auf Kleidung und Lebewesen auszudehnen. Bei jedem dieser Geräte entsteht eine große Menge an (sensiblen) Daten, genauer gesagt: durch die Aufzeichnung und Aufbereitung sowie die Auswertung personen- und umweltbezogener Daten.

  • Modeling the Agile Data Warehouse with Data Vault

    Dieses Buch ist ein MUSS für alle, die an Data Vault interessiert sind und auch für alle die sich für Business Intelligence und (Enterprise) Data Warehouse begeistern.
    Es ist aus meiner Sicht toll geschrieben: leicht verständlich und es sind alle Themen rund um Data Vault sehr gut erklärt.

  • PowerDesigner Serie

     
    / SECRET SPICE - PowerDesigner Serie

    Tipps und Tricks rund um PowerDesigner

    In loser Folge berichte ich hier über meinen Erkenntnisgewinn mit dem Datenmodellierungswerkzeug PowerDesigner. Für mich selbst ist diese Serie eine Art Tagebuch, eine Wissensbasis und das ‘Secret Spice’, in der ich meine Entdeckungen, meine für mich selbst dokumentierten Tipps und Tricks rund um den PowerDesigner festhalte: Für Probleme des oder mit dem PowerDesigner, die ich während der Bearbeitung von Aufgaben in der Datenmodellierung hatte.

    Erwartet hier daher keine Neuigkeiten über das Datenmodellierungswerkzeug PowerDesigner selbst.

    Natürlich, und wie immer, aus meiner persönlichen Sicht oder aus Sicht einer der Team-Mitglieder des Data Management Center of Excellence (DMCE) bei meinem liebsten Kunden: FastChangeCo!

  • PowerDesigner series

     
    / SECRET SPICE - PowerDesigner SerieS

    Tips and tricks for PowerDesigner

    In loose order I report here about my gain of knowledge with the data modeling tool PowerDesigner. For myself, this series is a kind of diary, a knowledge base and the 'Secret Spice', in which I record my discoveries, my tips and tricks around PowerDesigner documented for myself: For problems of or with PowerDesigner that I had while working on data modeling tasks.

    So don't expect any news here about the data modeling tool PowerDesigner itself.

    Of course, and as always, from my personal point of view or from the point of view of one of the team members of the Data Management Center of Excellence (DMCE) at my favorite customer: FastChangeCo!

  • Reflections on Data Natives conference, October 2016

    A conference for the data-driven generation!

    It’s late October 2016, an incredible crowd of young data-driven peeps are on their way to Berlin, looking forward to meet many other peeps with the same attitude at the Data Natives conference: Doing business with data or seeing a huge value in using data for the future. Besides the crowd I was not only impressed by the location but also by the amount of startups at the conference.

    The schedule for two days was full packed with talks and it wasn’t easy to choose between all these interesting topics. So I decided not to give myself too much pressure. Instead I cruised  through the program, and stumbled on some highlights.

  • Rückblick auf den 38. TDWI Roundtable in Frankfurt

    Unser Roundtable in Frankfurt im März ist mit einem Knaller gestartet:

    Marketing für BI ist doch in der Rangfolge noch hinter der Dokumentation.
  • Secret Spice

  • Shared Data in einer virtuellen Architektur

    Shared Data in einer virtuellen Architektur

    Hybrides Data Warehouse am Beispiel von Data Vault


    In der heutigen BI-Welt müssen Anforderungen der Fachbereiche und gesetzliche Vorgaben sowie die Wünsche der Nutzer von Smart Devices an personenbezogenen Daten in Einklang gebracht werden. Anhand des fiktiven Unternehmens FastChangeCo sollen im Folgenden die Herausforderungen an den Schutz der Daten sowie die Umsetzung aufgezeigt werden. FastChangeCo hat eine Möglichkeit entwickelt, nicht nur Smart Devices herzustellen, sondern auch die Smart Devices als Wearables in Form von Sensoren auf Kleidung auszudehnen.

  • Standardwert anpassen

    Bei FastChangeCo entwerfen die Datenmodellierer des Data Management Center of Excellence (DMCE) Teams zum Speichern von Daten immer wieder neue Datenbankobjekte. Eine der Datenmodelliererinnen im Team ist Xuefang Kaya. Wenn sie eine neue User Story/Aufgabe übernimmt, modelliert sie in der Regel mehrere Tabellen, deren Spalten und legt einen Datentyp für jede Spalte fest.

  • Success with bitemporal knowledge

    The first session at Data Modeling Zone Europe 2018 in Düsseldorf, was a session about bitemporal data by Dirk Lerner. The session was and is an extract from his current training Temporal Data in a Fast-Changing World, which is now available as open and private training [Link].

    At work I just started at a new customer and was part of the data warehouse team, who was assigned the task of building the Data Vault Data Warehouse. We were developing the Data Vault generator. At that point we used an end-date for the business time. I remember the complexity for updating the old records and the time for the server it costs to do this. Especially when you want to add rows in between. To load history, for example, from old sources.

    The training is led by Dirk in an interactive way.

  • Tabellenkommentare anpassen

    In mehreren Projekten hatten die Datenmodellierer von FastChangeCo des Data Management Center of Excellence (DMCE) Teams ein Problem, wie PowerDesigner die Kommentare für Tabellen und Spalten für die SQL Server Datenbank generiert. Xuefang Kaya (eine der Datenmodelliererinnen im Team), nach den Problemen gefragt, sagt zum DMCE-Team:

  • TEDAMOH @ #TDWI - Let’s talk

    We, Stephan and myself, are looking forward to welcome you at the TDWI Conference at the MOC Munich from June 24th - 26th, 2019! Meet us at our booth, discuss bitemporal topics, data vault or data modeling at all with us and attend one of Dirk Lerner's lectures:

    • Model-driven decision making [Link], together with André Dörr and Mathias Brink
    • FBI at Bosch - a real journey through the depth of "data water" [Link], together with Marc Wiesner, Director Finance BI Competence Center, Robert Bosch GmbH
    • The Data Doctrine

      Message: Thank you for signing The Data Doctrine!

      What a fantastic moment. I’ve just signed The Data Doctrine. What is the data doctrine? In a similar philosophy to the Agile Manifesto it offers us data geeks a data-centric culture:

      Value Data Programmes1 Preceding Software Projects
      Value Stable Data Structures Preceding Stable Code
      Value Shared Data Preceding Completed Software
      Value Reusable Data Preceding Reusable Code

      While reading the data doctrine I saw myself looking around seeing all the lost options and possibilities in data warehouse projects because of companies, project teams, or even individuals ignoring the value of data by incurring the consequences. I saw it in data warehouse projects, struggling with the lack of stable data structures in source systems as well as in the data warehouse. In a new fancy system, where no one cares about which, what and how data was generated. And for a data warehouse project even worse, is the practice of keeping data locked with access limited to a few principalities of departments castles.
      All this is not the way to get value out of corporate data, and to leverage it for value creation.

      As I advocate flexible, lean and easily extendable data warehouse principles and practices, I’ll support the idea of The Data Doctrine to evolve the understanding for the need of data architecture as well as of data-centric principles.

      So long,
      Dirk

      1To emphasize the point, we (the authors of The Data Doctrine) use the British spelling of “programme” to reinforce the difference between a data programme, which is a set of structured activities and a software program, which is a set of instructions that tell a computer what to do (Wikipedia, 2016).