De nieuwe dienst levert flexibele capaciteit en schaalbare deployment modellen.
Deze week kondigt Databricks de algemene beschikbaarheid aan van Databricks Model Serving, een serverless real-time inferencing dienst die real-time machine learning (ML) modellen inzet binnen het Lakehouse Platform.
Model Serving neemt de complexiteit weg van het bouwen en onderhouden van ingewikkelde infrastructuur voor intelligente toepassingen. De dienst wordt ontsloten via een Representational State Transfer of REST API.
“Met Databricks Model Serving kunnen organisaties nu het hele ML-proces binnen één platform beheren, van het voorbereiden van data tot het monitoren van de performance. Het Databricks Lakehouse Platform biedt daarbij een consistent beeld van data in de gehele ML-lifecycle om implementatie te versnellen en fouten te helpen voorkomen”, stelt Databricks.
Flexibele capaciteit op een uniform platform
Als serverless deployment, breidt de infrastructuur van Databricks uit en krimpt deze in naargelang de behoeften van het machine learning-model. Dit biedt zeer flexibele capaciteit, aldus het bedrijf.
Databricks Model Serving is de eerste productie-grade model serving oplossing ontwikkeld op een unified data en AI platform gebaseerd op de hybride lakehouse data warehouse/data lake van het bedrijf. De dienst integreert met andere lakehouse-diensten, waaronder Databricks Feature Store voor geautomatiseerde online lookups, MLflow Model Registry voor modelimplementatie, Unity Catalog voor unified governance en kwaliteits- en diagnostische tools.
Implementeer meerdere modellen
Het bedrijf introduceert ook serving endpoints, die het modelregister en de scoring uniform resource identifier ontkoppelen. Dit geeft ontwikkelaars een manier om meerdere modellen achter een enkel endpoint te implementeren en het verkeer daartussen naar behoefte te verdelen.
“Databricks Model Serving versnelt de weg van data science teams naar productie door implementaties te vereenvoudigen, overhead te verminderen en een volledig geïntegreerde ervaring te bieden direct binnen het Databricks Lakehouse”, zegt Patrick Wendell, medeoprichter en VP Engineering bij Databricks.
“Met dit aanbod kunnen klanten veel meer modellen inzetten, met een kortere productietijd, terwijl ook de totale eigendomskosten en de last van het beheer van complexe infrastructuur worden verlaagd.”