OpenAI geeft ontwikkelaars nieuwe onderdelen om naar hun AI-apps te brengen door een update aan de Realtime API. Daarnaast voert het een prijsverlaging door bij gebruik van ‘prompt caching’. OpenAI brengt tot slot nog meer spraakmogelijkheden naar zijn eigen chatbot-app ChatGPT.
De Realtime API blijft nog steeds in bèta beschikbaar. De update voegt alvast vijf nieuwe stemmen toe. Deze zijn inzetbaar bij apps die volledig draaien rondom spraak, zowel de input als de output is dus een spraakbericht.
Prompt caching verlaagt kosten
Daarnaast verlagen de kosten voor het gebruik van de API door de inzet van caching. Onderdelen van de prompt die in eerdere prompts al terugkwamen, worden zo aan een lagere prijs aangerekend. De herhaling wordt door de tool opgemerkt doordat OpenAI voor een korte periode dezelfde servers gebruikt om API-verzoeken van een gebruiker te verwerken.
“Dit kan de latency tot 80% verminderen en de kosten met 50% bij lange prompts”, aldus het bedrijf. De prijzen worden 2,50 dollar per miljoen gecachede input tokens in tekst en 20 dollar per miljoen gecachede input tokens in gesproken taal. Deze techniek is bij concurrent Anthropic sinds augustus beschikbaar voor Claude 3.5 Sonnet om kosten voor spraakapplicaties te verlagen.
Lees ook: OpenAI introduceert reeks AI-tools voor ontwikkelaars
ChatGPT krijgt een stem op de desktop
OpenAI zet in zijn eigen ChatGPT-app ook steeds meer in op spraak. De functionaliteit voegt het bedrijf nu toe aan de app op Mac en Windows. De mogelijkheid was beperkt wel beschikbaar, maar door de update moet ChatGPT een natuurlijkere stem krijgen en kan het ook gesprekken begrijpen waarin de gebruiker pauzeert in de prompt.
Gebruikers met een ChatGPT Plus- of Team-account kunnen vanaf nu ook hulp vragen bij het vinden van een oud chatgesprek. De functie is beschikbaar in de webapplicatie door op het vergrootglas te klikken in het menu waar de chatgeschiedenis staat opgesomd. Enterprise-gebruikers krijgen vanaf volgende week toegang en volgende maand komt de functie ook beschikbaar voor gratis gebruikers.
Tip! Kapitaal of veiligheid: OpenAI ondergaat de gevolgen van kiezen voor kapitaal