Het Databricks-platform biedt nu nieuwe mogelijkheden om data in handen te brengen van business users. Voor hen is het handig om meer te doen met inzichten uit data, maar daar gaat doorgaans veel data engineering-werk aan vooraf. Databricks Apps moet dat veranderen door ontwikkelaars extra opties te bieden voor het bouwen van applicaties.
Als business users snel over die kwalitatief goede inzichten beschikken, kunnen ze snel geïnformeerde beslissingen nemen. Zoiets kan handig zijn voor sales- en marketingmedewerkers. Denk aan een marketingafdeling die dashboards maakt voor het visualiseren van de campagneprestaties. Plots kunnen ze zelf eenvoudig en snel inzichten uit data halen. Een extra bijkomstigheid: zij kunnen gelijk hun kennis over marketing in het algemeen en de specifieke situatie direct gebruiken voor het interpreteren van de data.
En zo zijn er voor Databricks Apps meerdere use cases te bedenken. Je kan het nieuwe product bijvoorbeeld inzetten voor het bouwen van applicaties die vertrouwen op machine learning-modellen voor voorspellingen in onderhoud of detectie van fraude. Ook kan je met de nieuwe tool apps maken om datakwaliteit te volgen en verbeteren.
Van uitdaging naar oplossing
Wat dat betreft is het breder beschikbaar maken van data binnen de organisatie een welkome toevoeging. Veel dataplatformen hebben dit de laatste jaren ook bewerkstelligd, maar het kan nog altijd eenvoudiger. In de praktijk betekent de ambitie om inzichten naar business users te brengen nog te vaak dat engineers werkzaamheden uitvoeren rond datakwaliteit en het ophalen van data middels SQL. Er gaat veel tijd zitten in het opzetten en beheren van infrastructuur en in het implementeren van toegangs- en governance-mechanismen.
Bij Databricks ging men op zoek naar een oplossing voor deze uitdagingen. Het ontwikkelde Databricks Apps. Binnen het Databricks Data Intelligence Platform kan een gebruiker snel op ‘create’ en vervolgens ‘app’ klikken, waarna een template te selecteren is. Hierna kan je kiezen of je met de Python-frameworks Dash (voor chatbots), Gradio (voor chatbots of apps) of Streamlit (voor chatbots of apps) wilt werken. Wil je wat meer op maat gemaakte applicaties maken, dan zijn aanvullend de frameworks Shiny en Flask te gebruiken.
De gebouwde apps draaien in het Data Intelligence Platform, zodat er direct toegang is tot data en AI-modellen. Op die manier is Databricks Apps bijvoorbeeld handig om een RAG proof-of-concept daadwerkelijk om te zetten naar een applicatie. Verschillende bedrijven hebben zich ingespannen om RAG-mogelijkheden te bedenken, maar de implementatie kan nog achterblijven. Nu kan zo’n RAG-systeem bijvoorbeeld gemakkelijker worden ingezet voor het beantwoorden van gebruikersvragen, waarbij het vertrouwt op de bedrijfseigen kennis die zich in het Data Intelligence Platform bevindt.
Tip: Na de AI-wereld wil Databricks nu de analytics markt veranderen
Klaar voor productie
Zoals we hierboven beschreven, gaat traditioneel veel werk zitten in het bouwen van infrastructuur. Dit heeft Databricks opgelost door apps te laten draaien op automatisch geprovisioneerde serverless compute. Hierdoor kan het proces vrij snel verlopen. Binnen het Data Intelligence Platform klik je als gebruiker op een ‘Deploy’-knop, waarna de app binnen enkele momenten actief draait.
Daarnaast kan Databricks Apps ook overweg met de ontwikkelomgevingen Visual Studio Code en PyCharm. Deze twee omgevingen (IDE’s) zijn populair binnen de data science-community. Daarom integreert Databricks Apps met de bestaande developer-workflows. Het maakt niet uit of de Databricks-workspace wordt gebruikt of een IDE van een derde partij: er is ondersteuning voor Git-version control en CI/CD-pipelines.
Dataveiligheid
Bij het ontwikkelen van data-apps is het inregelen van securitymechanismen eigenlijk automatisch een prioriteit. Daarom heeft Databricks Apps daar direct een aantal basiszaken voor geregeld. In principe blijft de data binnen de Databricks-omgeving. Alleen wanneer er expliciet voor gekozen wordt de data te delen, verlaat die de omgeving.
Waarom is dit handig? Wanneer gegevens binnen het Data Intelligence Platform blijven, maken ze automatisch gebruik van beschermingsmechanismen. Hierbij gaat het onder andere over granulaire toegangscontroles voor precieze datapermissies, automatisch beheerde service principals voor veilige communicatie tussen applicatie en automatische gebruikersauthenticatie via OIDC/OAuth 2.0 en single sign-on voor veilige toegang.
Daarnaast kunnen organisaties de Unity Catalog van Databricks inzetten voor lineage-opties. Hierdoor krijgen ze inzicht in de afkomst van de applicatiedata, de datatransformatie en het gebruik. Het traceren van veranderingen heeft als voordeel dat je kan blijven hameren op het volgen van bedrijfspolicies en algemene wet- en regelgeving.
Databricks Apps is per direct als publieke preview beschikbaar op AWS en Microsoft Azure.