Na meer dan tien jaar bouwen ziet Snowflake zich voor een nieuw tijdperk staan. Het bedrijf wist een traditionele markt van datawarehousing op te schudden met de Data Cloud. Deze datafundering bleek voor veel organisaties de ideale omgeving om analytics-workloads op te draaien. Met de ontwikkelingen rond AI in de afgelopen 16 maanden is het steeds meer zaak om ook dé omgeving voor kunstmatige intelligentie te zijn. Wat doet Snowflake om generatieve AI te integreren en met de tijd mee te gaan? Wij spraken erover met Head of AI Baris Gultekin.
Met een kleine toevoeging en wijziging van de naam van het kernproduct hint Snowflake naar de huidige en toekomstige realiteit. Tegenwoordig spreekt men over de AI Data Cloud. Gultekin geeft aan dat dit simpelweg is ingegeven door het feit dat een AI-strategie onlosmakelijk verbonden is met een datastrategie. “AI wordt aangedreven door data”.
“Er zijn al enorme hoeveelheden data en die hoeveelheid neemt alleen maar toe. Wij zijn dus van mening dat de beste manier om van deze grote revolutie te profiteren, is door AI dichtbij de data te brengen. Andersom zou erg ingewikkeld zijn – enorme hoeveelheden data naar buiten brengen richting de AI”, aldus Gultekin.
De AI Data Cloud brengt linker- en rechterhersenhelft samen
Artificial intelligence staat of valt dus met een solide datafundering. Dit betekent dat Snowflake zich ook opnieuw moet uitvinden om met het enthousiasme van de markt mee te kunnen, erkent Gultekin. Hij schetst dat Snowflake er alles aan doet om als platform uit te groeien tot een compleet brein, te vergelijken met hoe de linker- en rechterhersenhelft van mensen werken. Aan de linkerkant is Snowflake vanuit zijn historie erg sterk. Daar bevinden zich de eigenschappen van de hersenen zoals het opslaan van feiten, logica en het analytische vermogen.
In de AI Data Cloud is dit het gedeelte waar de berg met data zich bevindt waar de datateams toegang tot hebben. Zij kunnen vanuit hun rol als data scientist of -engineer de gegevens bijvoorbeeld gebruiken voor het bouwen van BI-dashboards en modellen.
Wat je uiteindelijk als bedrijf wilt als het aankomt op data, is dat je business users erbij betrekt. Ook sales, marketing en HR moeten gebruik kunnen maken van data en AI. Hier komt de rechterhersenhelft bij kijken. “Het is waar de rest van het bedrijf zich bevindt. Daar willen ze op basis van data actie ondernemen. Ze willen inzichten en informatie uit de gegevens krijgen”, legt Gultekin uit. Volgens de Head of AI van Snowflake was tot voor kort nog een te groot gat zichtbaar tussen deze twee hersenhelften, maar is dat nu overbrugd met de opkomst van generatieve AI. Het brein is daarmee min of meer een geheel geworden.
Superkrachten in handen van alle medewerkers
Generatieve AI is wat Gultekin betreft echt de gamechanger voor het vervolmaken van het platform en de strategie voor bedrijven. Hij duidt de vooruitgang in AI door machine learning en deep learning erbij te betrekken. Machine learning was en is een goede technologie, maar het richtte zich vooral op een specifieke taak. Bij deep learning zagen we dat AI naar een volgend niveau getild werd door voorheen onoplosbare problemen aan te pakken, bijvoorbeeld via beeldherkenning en spraak.
Toch geldt ook bij deep learning dat enkel zeer gericht taken aangepakt worden. Precies daar brengt generatieve AI verandering in door onder andere menselijke taal te begrijpen, te kunnen beredeneren, plannen en actie te ondernemen.
Basis voor een nieuw technologisch tijdperk
“Dat zijn fantastische technologische vooruitgangen”, ziet Gultekin. “Je kan veel verschillende taken doen met generatieve AI. Het betekent niet dat alles nu volledig geautomatiseerd is. Maar ik geloof dat iedereen deze superkrachten zal hebben waarmee ze problemen kunnen oplossen die normaliter veel tijd in beslag namen. Een taak die meerdere stappen vereiste, kent voortaan een kortere weg. Dit verandert industrieën nu volledig.”
Vooral het general purpose-karakter, waarbij AI een brede gebruikstoepassing heeft, is in de optiek van Gultekin de basis voor een nieuw technologisch tijdperk. Hij noemt een chatbot die geoptimaliseerd wordt voor een specifiek domein van een bedrijf als voorbeeld. Zo’n chatbot hoeft niet alles te weten zoals LLM’s van bestaande bekende chatdiensten doen. Als bedrijf wil je een chatbot bouwen die goedkoper is om te draaien en prompts verwerkt op basis van je eigen data. Het fine tunen en beschikbaar maken van zo’n chatbot zorgt er uiteindelijk voor dat business users echt meer betrokken worden bij datagedreven werken.
We spraken Baris Gultekin tijdens de Data Cloud Summit 2024 in San Francisco. Een significante update van Snowflake tijdens de conferentie die de beschreven missie in dit artikel verder brengt, is het verlagen van de drempel van AI-appontwikkeling. Daarnaast onthulde het bedrijf de nieuwe data catalog Polaris en een vernieuwde samenwerking met Nvidia.
Hoe kan Snowflake helpen bij de nieuwe uitdagingen?
Hoewel de kansen die Gultekin ziet realistisch lijken, is het ook zo dat aan nieuwe ontwikkelingen vaak uitdagingen verbonden zijn. Gultekin erkent dat bedrijven ook zorgen hebben rond het het werken met AI. Hij ziet dat trust en governance twee typische onderwerpen zijn waar organisaties wakker van liggen. In principe is de AI Data Cloud zo gebouwd dat het harde garanties geeft over de omgang met data. “Alles draait enkel in Snowflake. Er is geen data die gedeeld wordt met een derde partij. Klantendata zal niet gebruikt worden voor training”, verzekert Gultekin.
Naast deze garantie hebben bedrijven additionele governance-mogelijkheden binnen de AI Data Cloud. Hiermee kan een organisatie regelen welke gebruiker toegang heeft tot het model en de onderliggende data. Je kan bijvoorbeeld het complete HR-team toegang geven tot een specifieke LLM voor personeelszaken, waarbij slechts een selecte groep HR-professionals toegang heeft tot bepaalde data. Met zulke componenten kan extra vertrouwen in data en AI worden ingebouwd.
Risico op hallucinatie
Gultekin wijst ons vervolgens op een tweede grote uitdaging waar bedrijven tegenaan lopen. Bij LLM’s is er het risico op hallucinatie. Een chatbot geeft een fout antwoord dat het zelf verzint. Veel LLM’s zijn zo gemaakt dat ze op iedere prompt een reactie willen geven.
Daarom is het in de optiek van Gultekin verstandig om naar een situatie te werken waarin een systeem enkel een gegrond antwoord geeft als daar reden toe is. “Dit door een zoeksysteem te bouwen dat verder gaat dan semantisch zoeken, om te begrijpen dat een gestelde vraag niet te beantwoorden is met de documentatie. We geven dan geen antwoord om hallucinatie af te laten nemen”, concludeert Gultekin.
De Head of AI geeft aan dat zo’n manier van werken goed valt bij bedrijven, maar dat zij wel aanvullende evaluaties over deze beslissingen willen. Hiermee doelt hij op wat Snowflake in de toekomst kan gaan doen met de recent aangekondigde overname van TruEra.
De technologie van TruEra maakt het mogelijk de input en output van modellen te evalueren en op basis van die evaluatie beslissingen te nemen over het perfectioneren van het model. Een dergelijke toevoeging kan het data- en AI-brein van bedrijven weer wat verder helpen in het tijdperk van kunstmatige intelligentie. Wij zijn benieuwd hoe dit verder uit gaat pakken in de toekomst.