Headerimage
DWH, Data and Analytics, Ökosystem, Data Management, Master Data Management, Meta Data Management, Data Quality Management, Information Life Cycle Management, DWH, Data Warehouse, Performance Optimierung, Sanierung, Neukonzeption, Architektur, Datenhaltung, Relational, Multidimensional, InMemory, Spaltenorientiert, Datenbewirtschaftung, Konzeption, Realisierung, ETL Framework, DataVault, Data Vault, Modellierung, Generator-Implementierung, Coaching, Universal Data Generator, UDG, Big Data, Data Lake, Open Data, Social Media Data, Logfile Analysis, Finanzdienstleistung, Regulatorik, Risikomanagement, Vertriebssteuerung, Datenschutz, Grundverordnung, EU – DSGVO, Digitalisierung, Lösungskompetenz, Projektmanagement, Vorstudien, Toolevaluierung, Anforderungsmanagement, Fachkonzeption, IT-Konzeption, Testmanagement, Agile Methoden, Qualitätsmanagement, Reviews, Schulungen, Workshops, Lasttest, BI-Strategie, Data Governance, Fachliche Zielbebauung, Prozesse, Aufbauorganisation, Architektur, Hybride Architektur, Verfügbarkeit, Skalierbarkeit, Sicherheit, Technologie, IBM, Oracle, SAS, Open Source, Cognos, TM1, Infosphere, Data Stage, Cloud, Security, Integration, Reporting, Dashboarding, Ad hoc Reporting, Standardreporting, Mobile Reporting, Analyse, OLAP, Zeitreihenanalyse, Exploration, Planung, Budgetierung, Simulation, Forecasting, Workflowunterstützung, Framework, Predictive, DataMining, Vorgehensmodell, CRISP-DM, Segmentierung, Klassifizierung, Regression, Assoziation, TextMining, Cognitive, Artificial Intelligence, Machine learning, künstliche Intelligenz, Self-Service BI, Strategie, Prozess, Organisation, Zusammenarbeitsmodelle, Integration, Imbedded BI, Portalintegration, Automatisierung, Roboter Prozess Automatisierung, RPA, Software Development Kit, SDK, Deployment, CDEF, Business Intelligence

Virtuelles Data Warehouse

Das vollständige virtualisierte DWH der Zukunft

PPI hat Virtualisierungen für Datamart regelmäßig erfolgreich eingesetzt. Roelant Vos hat auf der DataModelzone Konferenz 2018 vorgestellt, wie er die Raw- und BusinessVault virtualisiert hat.
Gleichzeitig gibt es viele Projekte, die erfolgreich fachliche Logiken mit Hilfe von Rule-Egines abbilden. Daher stellten wir uns die Frage, ob man alles miteinander kombinieren und ein vollständig virtuelles Data Vault Modell schaffen kann.

Das Konzept

Ein vollständig virtualisiertes DWH kann sich die jeweils aktuellen Daten in einer temporären Landing Zone von den Quellen anliefern lassen und dann ohne jegliche Strukturänderung und Logik diese Daten in  einer permanenten Staging Schicht historisieren. Von dort werden die Daten virtuell in die RawVault und teilweise in die Business Vault übernommen.

Fachliche Logik wird durch eine Rule Engine abgebildet und kann durch den Fachbereich jederzeit angepasst werden. Auf der obersten Ebene repräsentieren die logischen Views die Datamarts.

Dieses Vorgehen bietet viele neue Möglichkeiten. Man kann nicht nur flexibel ergänzen, sondern wirklich alles flexibel ändern. Die Fachabteilungen werden viel stärker einbezogen und können fachliche Änderungen sofort produktiv nehmen.

Der in vielen Projekten unterschwellig existierende Konflikt zwischen Fachabteilung („Die IT ist viel zu langsam“) und IT („Die Anforderungen sind unvollständig und ändern sich ständig“) existiert dann nicht mehr.

Vorteile

  • sofortige Wirksamkeit neuer Daten und neuer Regeln ohne Ladelauf
  • reduzierter Speicherbedarf
  • weniger Datenredundanz
  • geringer Migrationsaufwand bei Änderungen
  • alles ist flexibel änderbar

 

Daneben bieten sich aber auch weitere neue Möglichkeiten. So können z.B. Quellsysteme sehr schnell bis zur permanenten Staging Schicht angebunden werden. Historische Quelldaten werden schon gesammelt, während die Projektarbeit noch läuft. Bei Produktivnahme der DataVault- und Datamartmodelle ist dann automatisch in Produktion schon eine Historie vorhanden.

Man kann auch auf die gleiche Staging Schicht zwei verschiedene virtuelle DWH’s setzen. Damit können z.B. zwei verschiedene Releases gleichzeitig aktiv sein. Dies ermöglicht beim Test direkte automatisierte Vergleiche der beiden Releasestände oder einen gleitenden Übergang verschiedener Reporting Tools / Niederlassungen von der alten auf die neue Version. Neue Ideen können in einer Sandbox unabhängig vom regulären Produktionsbetrieb getestet werden.

Da keine umfangreichen Ladeläufe mehr erforderlich sind, kann mit Hilfe der Virtualisierung auch von täglichen Beladungen auf ein Near-Time oder sogar Real-Time DWH gewechselt werden.

Einsatz einer Rule Engine

Beim Einsatz einer Rule Engine wird die fachliche Logik nicht in Quellcode programmiert, sondern als Regelsatz hinterlegt.

Dadurch ist die IT bei Verwendung einer Rule Engine nur initial beteiligt.

Die Regeln können durch den Fachbereich im laufenden Produktionsbetrieb angepasst werden und innerhalb eines Tages produktiv genommen werden.

 

Erik Purwins

Ihr Ansprechpartner

Erik Purwins
Partner

+49 211 975525000
erik.purwins(at)ppi.de

Jörg Stahnke

Ihr Ansprechpartner

Jörg Stahnke
Managing Consultant

+49 211 975525000
joerg.stahnke(at)ppi.de