Aufbau einer Data Management Platform mit Azure Synapse Analytics
Über den Kunden:
Unser Kunde ist hundertprozentige Tochter eines großen deutschen Konzerns. Mit einem ganzheitlichen, kundenspezifischen Angebot treibt sie die Digitalisierung aller Gesellschaften des Konzerns mit ca. 5.100 Mitarbeiter*innen erfolgreich, integrativ und wertschaffend voran.
Um die passenden Lösungen für die Gesellschaften zu finden und umzusetzen, setzt der Kunde auf ein umfassendes, marktorientiertes Produktportfolio bei Themen wie Cloud, Big Data, Internet of Things und künstliche Intelligenz, sowie auf eine hohe Beratungs- und Methodenkompetenz.
Insbesondere mit den eigenen Ventures befindet sich der Kunde in der dynamischen Entwicklung von offenen Datenplattformen. Diese ermöglichen den umfassenden Wandel von klassischen Arbeits- und Organisationsstrukturen hin zu Selbstorganisation und unternehmensweiten, agilen Netzwerken.
Die Herausforderung:
Der Kunde steht seit Mitte 2020 vor der Aufgabe eine einheitliche, zentrale und offene Datenplattform, nach den Betreibervorgaben des Konzerns, zu entwickeln.
Eine Vielzahl von konzernweiten Projekten, mit Anforderungen an hohen Datendurchsatz, sollen durch die automatisierte Bereitstellung innerhalb kürzester Zeit von den Vorteilen einer modernen Datenplattform profitieren können. Durch die in-house spezifizierten Konfigurationen werden alle Konzernvorgaben bezüglich Sicherheit und Kompatibilität zukunftssicher erfüllt und bieten neben der schnellen und einfachen Integration in bestehende Systeme Kostenersparnisse, verlässliche Performance und hohe Ausfallsicherheit.
Die Umsetzung:
Das Ziel des Projekts ist das Anbieten einer konzernweiten und einheitlichen Data Management Platform für IT-Projekte innerhalb des Konzerns. Dabei wird die gesamte Infrastruktur nach konzernweiten Betriebsvorgaben aufgebaut. Die Verbindungen laufen hauptsächlich über das Microsoft Backbone und nicht öffentlich über das Internet. Die Data Management Platform kann über ein Konzernportal für sämtliche IT-Teams bestellt werden und wird darauf automatisiert bereitgestellt.
Ein Bestellvorgang stößt eine Gitlab-Pipeline an, welche über Terraform die Infrastruktur innerhalb von 30 Minuten aufbaut und notwendige Berechtigungen setzt, sowie Konfiguration vornimmt.
Als Anbieter zum Aufbau einer Data Management Platform wurde die Microsoft Azure Cloud gewählt. Diese Option bietet intelligente Lösungen zum Speichern, Verwalten und Analysieren von wachsendem Volumen komplexer Kundendaten.
Für die Datenhaltung wird eine Data Lake Gen2 Architektur deployed welche in Kombination mit Synapse Analytics eine einfache Oberfläche für Data Scientists bietet. Das Processing wird auf den unterliegenden Apache Spark Pools und SQL Pools durchgeführt.
Zukünftig ist mit Synapse Analytics die Integration zum Data Catalogue gesichert.
Das Ergebnis:
Die Einführung der Data Management Platform ermöglicht einen schnellen, barrierefreien und kosteneffizienten Zugriff auf die gesammelten Daten des Konzerns. Somit wird nicht nur der Zugang und die Verwaltung des bestehenden Datenkatalogs verbessert, sondern auch die gewinnbringende Nutzung der Daten erleichtert.
Dank der fachlichen Unterstützung der PROTOS Technologie GmbH ist es möglich, die Plattform innerhalb von ca. 30 Minuten nach Bestellung, komplett aufgebaut und vorkonfiguriert zu erhalten. Durch die benutzerfreundliche Bedienung sinkt die Hemmschwelle mit Daten zu arbeiten.
Für Datenwissenschaftler:innen bringt das Einsetzen von Synapse Analytics elementare operative und organisatorische Vorteile mit sich, da es die Integration von unterschiedlichen Systemen unterstützt. Während die interne Datenintegration das Managen und Verwalten der Daten übernimmt, verhindert die Datenanbindung, dass Daten im Datensumpf verschwinden. Auch das innovative Data Lake House Paradigma wird durch Synapse Analytics unterstützt. Big Data Warehouse (Big Data SQL Pools) Abfragen und Spark Jobs (Apache Spark) können auch in Synapse Analytics ausgeführt werden.
Die PROTOS Technologie GmbH unterstützt als zertifizierter HashiCorp & Microsoft Partner (Silver – Data Analytics) den Kunden seit Anfang 2020 im Aufbau der Azure Referenz-Architektur für die Data Management Plattform, die über ein Service Portal selbst provisioniert werden kann. Dank der Zusammenarbeit konnte der Kunde eine einheitliche, zentrale und offene Datenplattform, nach den Betreibervorgaben des Konzerns, entwickeln. Neben der Beratungsleistung setzt PROTOS die Implementierung der hochautomatisierten Bereitstellung der Plattform auf Basis von HashiCorp Terraform um.
Die Vorteile:
Bereitstellung und Bedienung
Die DMP bietet einen schnellen, barrierefreien und kosteneffizienten Zugriff auf die gesammelten Daten des Konzerns.
Compliance konforme Aufsetzung
Die in-house spezifizierte Konfigurationen erfüllt alle Konzernvorgaben bezüglich Sicherheit und Kompatibilität.
Zuverlässigkeit
Die moderne Datenplattform bietet verlässliche Performance und hohe Ausfallsicherheit.
Grafiken: Prosymbols, Freepik, Becris, Ralf Schmitzer von Flaticon.com