Databricks heeft Quotient AI overgenomen, een start-up die gespecialiseerd is in het evalueren van AI-agents en reinforcement learning. De technologie richt zich op een van de hardnekkigste problemen voor enterprise AI: het betrouwbaar houden van agents in productie. De tools van Quotient worden geïntegreerd in het Genie- en Agent Bricks-platform van Databricks om het gedrag van agenten te monitoren, evalueren en continu te verbeteren.
De deal zal ertoe leiden dat de evaluaties en feedbackloops voor reinforcement learning van Quotient worden geïntegreerd in het platform van Databricks. Daarmee hoopt het bedrijf ervoor te zorgen dat agents zich ook na de prototypefase betrouwbaar gedragen.
“Quotient AI is ontwikkeld om de kloof in agentevaluatie en continu leren te dichten”, aldus Databricks, dat eraan toevoegde dat de technologie zal worden geïntegreerd in zijn Genie- en Agent Bricks-aanbod, waarvan de laatste in juni vorig jaar werd gelanceerd.
Het bouwen en inzetten van AI-agents op grote schaal is waar de meeste platforms momenteel op inzetten. Maar een agent in productie nemen is één ding, het daar houden als probleemloze toevoeging is een stap verder. De kerntechnologie van Quotient analyseert volledige agent-traces om problemen zoals hallucinaties, redeneerfouten en onjuist gebruik van tools op te sporen. Die signalen worden vervolgens automatisch geclusterd in evaluatiedatasets die feedbackloops voor versterkend leren voeden. Dit betekent dat agenten zich continu kunnen verbeteren op basis van gebruik in de praktijk.
Wat deze overname opmerkelijk maakt, is de reputatie van Quotient. De start-up leidde kwaliteitsverbeteringen voor GitHub Copilot, een van de weinige AI-tools die op bedrijfsniveau werkt en waar fouten reële gevolgen hebben.
De technologie van Quotient is specifiek ontworpen voor bepaalde domeinen. In plaats van generieke reinforcement learning is het doel om agents te trainen die de specifieke data-architectuur en compliance-eisen van een bedrijf begrijpen.
Onderdeel van een bredere overnamestrategie
De overeenkomst met Quotient is de laatste in een reeks overnames die Databricks heeft gedaan om zijn AI-platform te versterken. Vorig jaar nam het bedrijf Fennel AI over voor realtime feature engineering , en het nam ook Neon over, gericht op het ondersteunen van AI-agentworkloads. Databricks heeft in januari ook 1,8 miljard dollar aan krediet verkregen om verdere groei te financieren.
De concurrentie in deze sector neemt toe. Snowflake heeft zijn eigen agent-evaluatietooling ontwikkeld met Cortex Agent Evaluations, terwijl platforms zoals LangChain open-sourcealternatieven bieden, zoals LangSmith voor tracering. Onlangs hebben we ook ClickHouse onder de aandacht gebracht, de open-source uitdager van Snowflake en Databricks. Databricks heeft onlangs ook KARL onthuld, een enterprise knowledge agent die wordt aangedreven door aangepaste reinforcement learning, naast een Instructed Retriever-aanpak voor nauwkeurigere interne gegevensopvraging.