Databricks und Data Governance – Experteninterview mit Linda Kohl

Databricks, eine Plattform für Data Engineering, Data Science und maschinelles Lernen, hat die Datenanalyse-Welt im Sturm erobert. Gegründet 2013 von den kreativen Köpfen hinter Apache Spark, bietet diese Plattform Unternehmen eine einheitliche Lösung, um Daten zu verarbeiten, zu analysieren und KI-Modelle zu entwickeln. Durch die Verbindung der Leistungsfähigkeit von Spark mit einer benutzerfreundlichen Oberfläche und integrierten Tools schafft Databricks ein Paradies für Datenprofis. Das musst Du wissen – Databricks und Data Governance Einheitliche Plattform: Databricks vereint Data Engineering, Data Science und maschinelles Lernen in einer einzigen Umgebung. Multilinguale Unterstützung: Python, R, SQL und Scala – für jeden ist etwas dabei. Interaktive Notebooks: Kollaborative Notebooks erleichtern die Zusammenarbeit und steigern die Effizienz. Automatisierte ML-Pipelines: Beschleunigen die Entwicklung und Implementierung von maschinellen Lernmodellen. Delta Lake: Für ein zuverlässiges Data Lakehouse Management. Databricks glänzt durch die Unterstützung verschiedener Programmiersprachen wie Python, R, SQL und Scala, was es besonders flexibel macht. Mit Funktionen wie interaktiven Notebooks und automatisierten ML-Pipelines ermöglicht die Plattform effizientes Arbeiten und schnelle Iterationen. Delta Lake sorgt für ein zuverlässiges Management von Data Lakehouses und gewährleistet Datenkonsistenz und Qualität. Ein Herzstück der Databricks-Plattform ist die Data Governance, die in der modernen Datenlandschaft immer zentraler wird. Diese umfasst Prozesse, Richtlinien und Technologien, die die Konsistenz, Vertrauenswürdigkeit und effektive Nutzung von Daten sicherstellen. Hier sticht Databricks durch robuste Governance-Funktionen hervor, die es Unternehmen ermöglichen, ihre Daten effizient zu verwalten und zu schützen. Eine Schlüsselkomponente dieser Data Governance ist der Unity Catalog, ein einheitliches Governance-Tool für das gesamte Data Lakehouse. Mit detaillierten Zugriffskontrollen, Datenlineage-Tracking und zentralisierter Metadatenverwaltung bietet Unity Catalog alles, was Unternehmen benötigen, um Datensicherheit und Compliance zu gewährleisten und gleichzeitig die Zusammenarbeit und Innovation zu fördern. Innovative Datenstrategien und Inklusion: Interview mit Linda Kohl von Databricks Experteninterview mit Linda Kohl, Senior Manager für Field Engineering bei Databricks den technischen Vertrieb in Kontinentaleuropa. Ihre Expertise erstreckt sich über zahlreiche Positionen bei renommierten Technologieunternehmen. Vor ihrer Tätigkeit bei Databricks prägte sie als Senior Principal Customer Success Manager bei Salesforce.com Germany GmbH die Kundenbetreuung in der DACH-Region. Zuvor war sie als Head of Digital bei kl,company GmbH tätig und führte als Inhaberin von modenetzwerk innovative digitale Marketingstrategien ein. Linda Kohl setzt sich leidenschaftlich für Vielfalt in Datenteams ein. Sie fördert die Rekrutierung unterschiedlichster Talente und unterstützt die Weiterbildung, insbesondere für Frauen, um die geschlechtsspezifische Kluft in Datenkompetenzen zu schließen. Ihre Vision ist die Schaffung einer abteilungsübergreifenden Datenkultur, die Innovation und Inklusion vereint. Im folgenden Interview teilt Linda Kohl ihre Einblicke und Erfahrungen in der Technologiebranche und erläutert, wie sie die Zukunft von Databricks mitgestaltet. KINEWS24: Linda, kannst du dich bitte kurz vorstellen? Was ist deine Rolle bei Databricks? Linda: Mein Name ist Linda Kohl und ich bin seit knapp 18 Jahren im Technologiebereich tätig. Nach Stationen bei Teradata, Salesforce, Agenturen und Startups bin ich nun seit etwas mehr als 3 Jahren bei Databricks und leite den technischen Vertrieb in Süd- und Zentraleuropa. Für alle, die Databricks noch nicht kennen: Databricks ist der Pionier der Data Intelligence Platform, hat mit dem Delta Lake die Kategorie Data Lakehouse geprägt und ist einer der führenden Anbieter im Bereich KI, Machine Learning und Data Science. KINEWS24: Wie bist du in den Bereich Data Governance gekommen und was fasziniert dich daran? Linda: Ich habe über viele Jahre hinweg die Herausforderungen auf der Kundenseite in Bezug auf das Thema Datenmanagement und -verwaltung beobachten können. Über die Jahre arbeitete ich in verschiedenen Branchen wie dem (Online-)Handel, dem Marketing, dem Vertrieb, dem Pharmabereich etc. und konnte dabei immer wieder dieselben Beobachtungen machen. Dann kam Databricks und hat eine ganz neue, spannende Perspektive, aber noch wichtiger eine interessante Lösung des Problems angeboten und dies hat mich letztlich überzeugt. Data Governance hat so viele Funktionen, angefangen beim Risikomanagement, der Wertschöpfung, bei Compliance Anforderungen in spezifischen Organisationen, der Effizienzsteigerung in Organisationen etc. etc. KINEWS24: Könntest du uns einen kurzen Überblick über deine Hauptaufgaben und Verantwortlichkeiten geben? Linda: Ich leite bei Databricks den technischen Vertrieb für Zentral- und Südeuropa. Mein Team ist über EMEA verteilt und unsere Kernaufgabe ist es, die Vision unserer Kunden für deren Daten- und KI-Strategie zu unterstützen. Mit der Databricks Data Intelligence Plattform können unsere Kunden einen Großteil ihres Datenmanagements, also die Datenverwaltung, -bereinigung sowie -aufbereitung für maschinelles Lernen abbilden. Wir verstehen uns als technologische Berater, die unsere Kunden bei der Umsetzung ihrer use cases unterstützen. Dies tun wir cloud-agnostisch in Bezug auf unsere Plattformlösung. KINEWS24: Warum ist Data Governance deiner Meinung nach so wichtig für moderne Unternehmen? Linda: Meine Kunden haben über die Zeit immer mehr technologische Einzellösungen betreiben müssen, was zu einer erhöhten Komplexität führt. Letztlich ist es ihnen immer schwerer gefallen, Daten gezielt für den jeweiligen Verwendungszweck aufzubereiten, Verbindungen herzustellen, um die Daten anschließend gezielt über die Organisation hinweg einsetzen zu können um z.B. einen 360 Blick auf den Kunden zu gewinnen um ihn dann gezielt anzusprechen, oder Daten aus mehreren Quellen (strukturiert und unstrukturiert) auszulesen und für wertschöpfende Maßnahmen zu nutzen wie z.B. der automatisierten Erkennung von Fehlern innerhalb einer Produktionskette oder aber auch für das Vorstandsreporting. KINEWS24: Wie hat sich der Bereich Data Governance in den letzten Jahren entwickelt und welche Trends siehst du für die Zukunft? Linda: Im Laufe der letzten Jahre sind vermehrt Anbieter auf den Markt gekommen, welche die Thematik Data Governance adressieren. Data Governance wird oft noch als Technologieprojekt verstanden, weniger als organisatorisches Transformationsprojekt, welches einen Einfluss auf die gesamte Organisation hat. Dies ist gerade im Kontext der Betrachtung von Daten als wichtiger Bestandteil der zu schützenden Wertschöpfungskette fraglich. Insofern bin ich fest davon überzeugt, dass das Thema immer mehr Beachtung findet und eine erhöhte Priorität erhalten muss und wird. KINEWS24: Welchen Herausforderungen begegnest du am häufigsten, wenn du mit Unternehmen über Data Governance sprichst? Linda: Unternehmen verwenden eine Vielzahl an digitalen Tools und SaaS Plattformen. Diese bestehen jedoch alle als Insellösung. Darüber hinaus stellt sich die Frage, wie man On-Premise- und Cloud-Lösungen zusammenbringt. All dies sind gängige Themen, die uns in unseren täglichen Gesprächen mit unseren Kunden begegnen. KINEWS24: Der Unity Catalog ermöglicht eine zentrale Verwaltung von Zugriffsrechten. Wie unterscheidet sich dieser Ansatz von herkömmlichen Data Governance-Lösungen? Linda: Im Laufe der letzten Jahre sind immer mehr Anbieter entstanden, die versucht haben, die Thematik mit einer Insellösung zu adressieren und genau hier setzt Databricks an. Die Databricks Intelligence Plattform ermöglicht es Datenmanagement und -analyse sowie die Erstellung von Prognose-Modellen kosteneffizient und flexibel zu gewährleisten und dabei gleichzeitig vielfältige Anforderungen an Data Governance zu erfüllen. Alles in einer Plattform-Lösung vereint! Darüber hinaus haben wir auf unserem Data & AI Summit im Juni den Unity Catalog freigegeben, um Kunden dabei zu unterstützen, eine einheitliche Governance für tabellarische und nicht-tabellarische Daten sowie KI-Assets wie Machine Learning (ML)-Modelle und generative KI-Tools zu gewährleisten und so die Verwaltung im großen Maßstab zu vereinfachen. KINEWS24: Data Lineage spielt eine wichtige Rolle im Unity Catalog. Wie genau funktioniert das Tracking der Datenherkunft und welche Vorteile ergeben sich daraus? Linda: Data Lineage beschreibt die Herkunft der Daten und deren erfahrene Veränderungen/ Modifikationen. Somit werden Manipulationen nachvollziehbar und Daten können vereinfacht gesagt dadurch auch wieder in ihren Originalzustand zurückversetzt werden. Viel wichtiger ist Data Lineage aber, wenn verschiedene Quellen aggregiert und anschließend verändert werden. Mit dem Unity Catalog können wir diese Historie bis auf den kleinsten Nenner herunterbrechen und damit gerade im Hinblick auf GDPR/ DSGVO Anforderungen kompromisslos erfüllen, was gerade im europäischen und deutschen Raum extrem wichtig ist. KINEWS24: Der Unity Catalog ermöglicht es, Audit Logs und andere operative Daten als Systemtabellen abzufragen. Welche neuen Möglichkeiten ergeben sich dadurch für Compliance und Datennutzungsanalysen? Linda: Wesentliche Vorteile sind die Flexibilität in der Abfrage geforderten Auskunftsfähigkeit bis hin zur Komplexitätsreduzierung. Letztlich würde ich alle Aspekte unter dem Begriff maximale Compliance zusammenfassen, vorausgesetzt, dass alle Datenoperateure über ausreichenden, aber nur notwendigen Zugang verfügen. Hier greift das “Principle of least privilege”. KINEWS24: Delta Sharing ist ein offenes Protokoll für sicheren Datenaustausch. Wie fügt sich das in die Data Governance-Strategie von Databricks ein? Linda: Delta Sharing zahlt insbesondere auf den Punkt Wertschöpfung ein. Mit Delta Sharing können Unternehmen gezielte Daten innerhalb der Organisation, aber auch außerhalb ihrer Organisation teilen und wahren dabei die erforderlichen Zugangsrechte und etwaige Manipulationsbeschränkungen. Denn auch hier greift der Unity Catalog als Kontrollinstanz. KINEWS24: Der Unity Catalog verspricht eine „fine-grained governance“. Was bedeutet das konkret und wie wird es umgesetzt? Linda: Unity Catalogs Zugangskontrolle erlaubt den Schutz und das Teilen von Daten mit verschiedenen Datenoperateuren. Insbesondere wenn es um den Schutz von sensiblen Daten geht, ist dies ein wichtiges Thema. Unity Catalog erlaubt es auf zeilen- und reihenebene Zugriffsrechte zu verwalten und tut dies auch in Zusammenspiel mit anderen externen Datenbanken und Warehouses wie z.B. Amazon Redshift, Azure Synapse oder Google BigQuery. Unsere Kunden können dadurch eine transparente Governance Strategie einführen, die es ihnen über den gesamten Datenzyklus hinweg ermöglicht, ihre Daten zu schützen und etwaige Modifikationen zu verfolgen, Stichwort “data lineage”. KINEWS24: Wie unterstützt der Unity Catalog Unternehmen bei der Einhaltung von Datenschutzgesetzen wie DSGVO oder CCPA? Linda: In dem Unternehmen ganz genau bestimmen können, wer bis zu welchem Detailgrad Zugang zu den Datensätzen erhält, ist die Einhaltung von Datenschutzgesetzen aber auch internen organisationsspezifischen Vorgaben wesentlich leichter.  KINEWS24: Wie schaffst du es, in einem so dynamischen Feld wie Data Governance auf dem Laufenden zu bleiben? Linda: Dies ist gerade heutzutage eine Herausforderung, da sich der Markt stetig verändert. Glücklicherweise haben wir entsprechende Abteilungen, welche die Inhalte aufbereiten und präsentieren. Darüber hinaus lese ich natürlich auch viel über das Thema – bevorzugt online, besuche Fachkongresse etc. KINEWS24: Gibt es Personen oder Vorbilder in der Tech-Branche, die dich besonders inspirieren? Linda: Mich inspirieren Personen, die es schaffen, eine Vision zu kreieren, zu kommunizieren und diese dann auch erfolgreich in die Tat umsetzen, gegen alle Widerstände. Wie z.B. Ada Lovelace als frühe Mitbegründerin der Informatik oder aber regional auf Deutschland bezogen z.B. Tina Müller mit ihren Digitalstrategien für Opel, Douglas und Wella. Technologie ist aus meiner Sicht immer ein Hilfsmittel. KINEWS24: Gibt es eine besondere Herausforderung oder ein Projekt in deiner Karriere, das dich besonders geprägt hat? Linda: Persönliches Wachstum ist ein fortlaufender Prozess, daher glaube ich, dass man aus jedem Moment, jeder Erfahrung etwas lernen kann, insbesondere wenn es nicht so läuft, wie man es sich vorstellt. Das Interview führet Oliver Welling für KINEWS2.de Fazit Databricks und Data Governance Databricks hat sich mit seiner Data Intelligence Platform als wegweisender Akteur in der Welt der Datenanalyse und Künstlichen Intelligenz etabliert. Durch die innovative Lösung des Delta Lake und das Konzept des Data Lakehouse setzt das Unternehmen neue Maßstäbe in der effizienten und flexiblen Datenverarbeitung. Mit der Einführung des Unity Catalog bietet Databricks eine zentrale Lösung für Data Governance, die nicht nur die Verwaltung und den Schutz von Daten erleichtert, sondern auch die Einhaltung von Datenschutzbestimmungen wie DSGVO und CCPA gewährleistet. Der Unity Catalog hebt sich durch seine Fähigkeit, feingranulare Zugriffsrechte und umfassende Datenhistorie zu verwalten, hervor. Dies ermöglicht Unternehmen, Daten sicher und kontrolliert zu teilen, während gleichzeitig die Transparenz und Nachvollziehbarkeit aller Datenbewegungen gewährleistet ist. Diese Funktionen sind entscheidend, um in einer zunehmend datengetriebenen Welt konkurrenzfähig zu bleiben und gleichzeitig höchste Compliance-Standards zu erfüllen. Linda Kohl zeigt eindrucksvoll, wie Databricks durch technologische Innovation und eine starke Vision für Inklusion und Vielfalt die Zukunft der Datenwelt prägt. #DataGovernance #Databricks #UnityCatalog #DataIntelligence #KI #ArtificialIntelligence Databricks