Aufgezeichnet: "SQL-Abfragen im Multi Data Lake Setup"

  • Erstellt von DOAG Online
  • WebSession, DOAG.tv, Business Intelligence

Markus Bente erörterte bei der DOAG DAC WebSession am 16. Juni, wie Daten in einer Multi-Data-Lake-Umgebung zentral nutzbar gemacht werden können.

Der Referent von Trivadis zeigt dabei, wie ein zentraler Zugriffs-Layer die Kombination unterschiedlicher Quellen über ein SQL-Interface ermöglicht und für Applikationen sowie für Visualisierungen (z.B Apache Superset oder PowerBI) genutzt werden kann – unabhängig davon, ob man beispielsweise auf ein Parquet File auf S3 oder eine Datenbank-Tabelle zugreift.

Des Weiteren behandelt Markus Bente die folgenden Fragen: Welche unterschiedlichen Quellsysteme werden unterstützt? Welche Datentypen kann ich nutzen? Wie kann ich die zur Verfügung stehenden Daten unabhängig von deren Source joinen?

Anhand einer Live-Demo geht er zudem auf die Data Lake Engine Dremio ein, die den Business- oder Daten-Analysten dabei unterstützt, seine Daten aufzubereiten, anzureichern und im Anschluss als Dashboard darzustellen.