OpenAI heeft tijdens zijn DevDay 2024 een viertal nieuwe AI-tools geintroduceerd. De tools Realtime API, vision fine-tuning op het GPT-4o LLM, Prompt Caching en Model Distillation helpen ontwikkelaars meer geavanceerdere AI-applicaties te ontwikkelen, vaak tegen lagere kosten.
Met de introductie van de vier tools wil OpenAI ontwikkelaars van AI-applicaties helpen deze makkelijker te realiseren. Voornamelijk door het stroomlijnen van de hiervoor noodzakelijke workflows en het terugdringen van de ontwikkelkosten.
De eerste tool is Realtime API, nu in bèta. Deze stelt ontwikkelaars in staat multimodale ervaringen met weinig latency in hun apps in te bouwen. Hiermee kunnen ontwikkelaars dan apps ontwikkelen die bijvoorbeeld lijken op de spraakfeature Advanced Voice Mode in ChatGPT. De tool maakt het mogelijk natuurlijke spraak-tot-spraak conversaties op te zetten met zes vooraf gedefinieerde stemmen.
Voor ontwikkelaars die geen lage latency van Realtime API voor hun applicaties nodig hebben, biedt OpenAI audio-input en -output in de tevens aangekondigde Chat Completions API.
De kosten van de tekst-tokens voor Realtime API zijn 5 dollar voor 1 miljoen input-tokens en 20 dollar per 1 miljoen output-tokens. Audio-input kost 100 dollar per 1 miljoen tokens, audio-output 200 dollar per 1 miljoen tokens. De kosten per minuut liggen dan op 0,06 dollar voor 1 minuut aan audio-input en 0,24 dollar voor -output.
Vision-finetuning
De tweede aankondiging is Vision Fine-Tuning voor het GPT-4o LLM. Hiermee is het voor ontwikkelaars mogelijk het LLM te finetunen met behulp van beelden en tekst. Dit is vooral van belang voor verbeterde visuele zoekfunctionaliteit, verbeterde objectdetectie voor autonome voertuigen en zeer accurate medische analyse.
De feature is nu beschikbaar voor het laatste GPT-4o snapshot, gpt-4o-2024-08-06, binnen de betaalde versies van GPT-4o. Tot het einde van deze maand beidt de AI-gigant ook gratis 1 miljoen trainingstokens per dag, zodat ontwikkelaars GPT-4o het finetunen met beelden kunnen testen.
Vanaf november kost het trainen 25 dollar per 1 miljoen tokens, inference kost dan 3,75 dollar per 1 miljoen input-tokens. Voor output geldt een prijs van 15 dollar per 1 miljoen output-tokens.
Prompt Caching
Een andere nieuwe AI-tool voor ontwikkelaars is Prompt Caching in de API. Hiermee volgt OpenAI eindelijk concurrenten als Google en Anthropic die deze feature al langer aanbieden. Prompt Caching moet ontwikkelaars helpen met het reduceren van latency en kosten voor de API. Zij krijgen met deze dienst 50 procent korting op hun verwerkingstijden. Ook worden deze verwerkingstijden versneld.
Prompt Caching staat automatisch ingeschakeld voor de laatste versies van OpenAI’s GPT-4o-, GPT-4o mini-, o1-, en o1 mini-LLM’s. Ook de gefinetunde versie van deze specifieke modellen hebben automatisch de Prompt Caching-functionaliteit aan staan.
Model Distillation-suite
Last, but not least, komt OpenAI met een nieuwe Model Distillation-suite. Deze suite helpt ontwikkelaars kleinere LLM’s te finetunen met behulp van de outputs van de grotere modellen. Deze functionaliteit stelt ontwikkelaars in staat de kleinere LLM’s toch de prestaties van de grotere modellen te geven voor speciale taken, maar tegen veel lagere kosten.
Waar model distillation eerder een ingewikkeld proces was en vaak tools nodig had die niet zomaar met elkaar kunnen praten, zorgt de nu uitgebrachte suite ervoor dat de gehele ‘distillatie’-pipeline binnen het platform kan plaatsvinden.
Model Distillation is voor alle ontwikkelaars beschikbaar. Ook hier biedt de AI-gigant tot het einde van deze maand 2 miljoen gratis trainingstokens per dag aan voor GPT-4o mini en 1 miljoen gratis tokens voor GPT-4o. Vanaf november kost het trainen en draaien van een gedistilleerd model hetzelfde als het huidige finetunen. Tijdens DevDay 2024 heeft OpenAI geen nieuwe LLM’s aangekondigd.