Azure Synapse haalt inzichten uit data lakes en data warehouses

Microsoft introduceert met Azure Synapse een nieuwe analytics-oplossing die queries gelijktijdig uitvoert op zowel gestructureerde als ongestructureerde data. Zo kunnen bedrijven waarde halen uit vaak ongebruikte data, en dat op een eenvoudige manier.

Op Ignite in Orlando lanceert Microsoft-CEO Satya Natella Azure Synapse. Synapse is een analytics-oplossing die inzichten haalt uit zowel gestructureerde gegevens in data warehouses als ongestructureerde data in data lakes. Met een enkele query kunnen gebruikers overzichten en voorspellingen krijgen gebaseerd op alle gegevens uit hun onderneming, ongeacht in welke silo ze zich bevinden.

Snelle analyse van al de data

Data lakes en data warehouses zijn vaak volledig afzonderlijke gegevenspoules waarop verschillende analytics-oplossingen moeten draaien. Dat betekent dat organisaties zelden inzichten halen uit de combinatie van al hun data. Bovendien is het traditioneel niet zo eenvoudig om een bigdataproject op een data lake te bouwen. Synapse moet het hoofd bieden aan die uitdagingen.

“Synapse is een end-to-end analytics-oplossing”, verduidelijkt Rohan Kumar, Corporate VP van Azure Data Engineering. “Een eenvoudige lowcode-ervaring maakt complexe projecten mogelijk in uren in de plaats van maanden.”

Machine learning en BI

“Microsoft-teams over de hele wereld hebben jaren in het geheim aan Synapse gewerkt”, vertelt Daniel Yu, Director Products voor Azure Data and Artificial Intelligence bij Microsoft aan Techzine. “De oplossing zit nu geïntegreerd in Azure. Dat betekent dat policies en permissies van toepassing op de toegang tot data van een gegeven gebruiker automatisch worden meegenomen wanneer die aan de slag gaat met Synapse.” Microsoft zorgde verder voor een verregaande integratie met BI en Azure Machine Learning.

“Synapse combineert in-memory data met onze eigen SQL-technologie die erg efficiënt is”, aldus Yu. “Verder zijn we in staat om de data lakes en warehouses te virtualiseren en op te schalen in de cloud. Dat zorgt ervoor dat er steeds voldoende systeembronnen beschikbaar zijn om complexe gelijktijdige queries uit te voeren.”

Serverless

Synapse is beschikbaar als geprovisioneerde oplossing of als een serverless dienst. Die laatste oplossing is volgens Yu het interessantst voor middelgrote bedrijven, die voor het eerst aan de slag gaan met Synapse en hun data lakes. De serverless-aanpak zorgt ervoor dat tot wel tienduizend gelijktijdige queries op de data in seconden worden gedraaid. Microsoft en Azure zorgen ervoor dat er voldoende rekenkracht beschikbaar is.

“De geprovisioneerde aanpak is interessant voor grote bedrijven die zeker willen zijn dat de nodige rekenkracht onmiddellijk beschikbaar is”, vertelt Yu, “Bijvoorbeeld wanneer medewerkers over het hele bedrijf op maandagochtend rapporten willen draaien.

Evolutie van Data Warehouse

Synapse bouwt voort op de bestaande oplossingen van Microsoft en is volledig achterwaarts compatibel. “Wie wil starten met de preview van Synapse kan er gewoon mee aan de slag gaan. Synapse is een upgrade van Azure SQL Data Warehouse, waarvoor geen migratie nodig is.”

De eenvoud van de oplossing was een ander belangrijk punt in de ontwikkeling. Yu stipt aan dat Microsoft bedrijven de mogelijkheid wil geven om zoveel mogelijk uit hun data te halen. Dat betekent in de praktijk dat software niet alleen capabel maar ook eenvoudig moet zijn, aangezien IT-personeel schaars is. “Dat geldt zeker voor kmo’s. Enterprise-ondernemingen hebben naar alle waarschijnlijkheid toegang tot IT-talent dat complexe projecten kan verwezenlijken, kleinere bedrijven hebben die mogelijkheid niet.”

Beschikbaarheid

Azure Synapse is vandaag een cloud-native-toepassing die enkel werkt met Azure Data Warehouses en Data Lakes. Gegevens die vast staan op servers on-premises, bijvoorbeeld om compliance-redenen, kunnen nog niet geïntegreerd worden.

Data prepareren, managen en integreren, gebeurt via de nieuwe Synapse Studio. Verder heeft de nieuwe oplossing threat-detectie aan boord en staat encryptie standaard ingeschakeld. Wie wil kan vandaag al aan de slag gaan met de preview.