Es sind nur noch fünf Wochen bis zur CloudLand! Die dritte Ausgabe unseres Cloud Native Festivals erwartet euch vom 18. bis 21. Juni im Phantasialand mit über 200 Sessions. Heute blicken wir auf drei spannende Beiträge im kleinen, aber feinen Stream "Data & BI".
Data Contracts: Eine sozio-technische Beziehung von Jochen Christ
In diesem Vortrag stellt Jochen Christ die Data Contract Specification (datacontract.com) und das Data Contract CLI zur Validierung von Data Contracts in CI/CD-Pipelines vor. Ein Data Contract definiert das Schema der bereitgestellten Daten und deren Qualitätsattribute in einem YAML-Format. Datenverträge können auch Beispieldaten und eine semantische Beschreibung enthalten. Data Contracts legen zudem die Nutzungsbedingungen für die Verwendung von Daten fest und sind in erster Linie ein Kommunikationsinstrument, um ein gemeinsames Verständnis darüber auszudrücken, wie Daten strukturiert und interpretiert werden sollten. In der Entwicklung und Produktion dienen sie später als Grundlage für Codegenerierung, Testen, Schemavalidierung, Qualitätskontrolle, Überwachung, Zugriffskontrolle und Richtlinien für die Verwaltung der Datenverarbeitung.
Data Mesh & DDD: Synergien für datengetriebene Exzellenz von Fabian Hardt und Sven Bernhardt
Das Konzept Data Mesh geht über das traditionelle Vorgehen einer zentralen Datenhaltung für analytische Daten hinaus, indem es eine dezentrale, föderierte Dateninfrastruktur fördert. Das Versprechen: Datensilos, wie wir sie bisher kennen, gehören der Vergangenheit an. Nach einer Einführung in die Herausforderungen herkömmlicher Datenarchitekturen werden in diesem Vortrag die vier Grundprinzipien von Data Mesh detailliert erläutert: Domain-oriented decentralized Data ownership and architecture, Data as a product, Self-serve data infrastructure as a platform, Federated governance. Sie ermöglichen eine effiziente Skalierung, verbessern die Datenqualität und fördern die Eigenverantwortung der Teams. Ein besonderer Fokus liegt auf den Parallelen zu modernen Cloud-nativen OLTP-Architekturen, wobei die Übertragbarkeit der Data-Mesh-Prinzipien auf bereits in diesem Zusammenhang bereits etablierte Integrationskonzepte und -prozesse betont wird.
Skalierbar, aber dennoch bezahlbar: ELT/ETL-Strecken als Cloud-Native Pipelines von Dr. Jan Kneissler
Dieser Vortrag stellt einen innovativen Low-Code-Ansatz für beliebig skalierbare, kostengünstige Datenpipelines vor, sogenannte Directed Acyclic Graphs (DAGs). Dr. Jan Kneissler zeigt dabei die Vorteile von Cloud-nativen Technologien auf. Zentral ist hierbei die Einführung einer einfachen Fassade als Schnittstelle zur Cloud-Infrastruktur. Die Abstraktion macht die Komplexität der genutzten Umgebung für den User unsichtbar und soll langfristig Unabhängigkeit von spezifischen Cloud-Anbietern erreichen. Eine Hierarchie von getrennten, aber voneinander abhängigen Datenpipelines wird unter Versionsverwaltung von mehreren Teams definiert, wodurch der neue Ansatz ideal im Data-Mesh-Umfeld eingesetzt werden kann. Low-Code-Technologien und das Baukastenprinzip ermöglichen die effiziente Entwicklung von Datenpipelines mit minimalem Programmieraufwand. Entwicklerinnen und Entwickler können auf vordefinierte Docker-Images zurückgreifen und erhalten Unterstützung beim Aufbau eigener, spezifischer Prozessschritte. Ein weiterer Fokus liegt auf der CO2- und Kosteneffizienz des Ansatzes.
Das Event
Die #CloudLand2024 findet vom 18. bis 21. Juni im Phantasialand statt. Das Cloud Native Festival widmet sich an vier Tagen Themen rund um die Cloud. Early Bird verpasst? Kein Problem: Spart bis einschließlich 24. Mai mit dem Code "CloudLand24" 10 Prozent auf die Tickets in unserem CloudLand-Shop! Bucht euer Hotelzimmer in einem der beiden Parkhotels am besten gleich mit. Schnell sein lohnt sich – die Zimmer sind begrenzt.
