New Relic introduceert een nieuwe observability-oplossing die is gericht op applicaties die binnen ChatGPT draaien. Met deze uitbreiding speelt het bedrijf in op een groeiend probleem voor organisaties die generatieve AI gebruiken als distributiekanaal: het gebrek aan inzicht in wat er gebeurt zodra een applicatie wordt uitgevoerd in een AI-gestuurde omgeving.
Steeds meer bedrijven ontwikkelen maatwerkapplicaties die direct vanuit ChatGPT toegankelijk zijn. Daarmee verplaatsen zij onderdelen van hun dienstverlening naar de infrastructuur van OpenAI. Dat vergroot het bereik, maar maakt het ook lastiger om inzicht te krijgen in prestaties en gebruik. Traditionele browsermonitoring werkt namelijk slechts beperkt binnen de afgeschermde context waarin ChatGPT-apps worden uitgevoerd.
Volgens New Relic verdwijnen applicaties na integratie vaak in een technische blinde vlek. Ontwikkelaars zien niet goed hoe hun software presteert, waar fouten ontstaan of hoe gebruikers zich gedragen, terwijl juist die informatie nodig is om conversies te verbeteren en problemen vroegtijdig te signaleren. De nieuwe oplossing moet dit inzicht herstellen door prestaties, betrouwbaarheid en gebruikerservaring zichtbaar te maken, ook wanneer een applicatie draait binnen een i-frame of sandbox-omgeving.
Een belangrijk knelpunt bij ChatGPT-apps is dat veel gebruikelijke signalen ontbreken. Layoutproblemen, niet-werkende knoppen of waarom gebruikers de interactie voortijdig beëindigen, zijn moeilijk te achterhalen wanneer een applicatie geen controle heeft over de volledige browseromgeving. Dit wordt versterkt door de aard van generatieve AI, waarbij dynamisch gegenereerde interfaces er correct uitzien maar technisch niet goed functioneren. Ook kan de AI verwijzen naar gegevens die nooit door de backend zijn aangeleverd, zonder dat dit direct zichtbaar is voor ontwikkelteams.
Browsertelemetrie toegepast op ChatGPT-context
New Relic adresseert dit probleem door bestaande browsertelemetrie toe te passen binnen de ChatGPT-context. De browseragent van het bedrijf verzamelt onder meer gegevens over PageViews, PageViewTimings en AjaxRequests. Zo ontstaat inzicht in latency en connectiviteit binnen het GPT-i-frame. Daarnaast signaleert de agent wanneer AI-gegenereerde output leidt tot script- of syntaxisfouten aan de clientzijde. Ook legt het deze gebeurtenissen vast via consolelogs. Volgens New Relic ontstaat zo realtime zicht op de daadwerkelijke gebruikerservaring, ook in een omgeving die normaal gesproken weinig transparantie biedt.
Naast prestatiegegevens biedt het platform inzicht in hoe gebruikers omgaan met de inhoud van een ChatGPT-app. Ontwikkelteams kunnen vastleggen welke interacties voor hen van belang zijn en deze koppelen aan meetpunten. Daarmee wordt het mogelijk om het functioneren van AI-gegenereerde content te relateren aan gebruikersgedrag, zoals doorgaan of afhaken, zonder afhankelijk te zijn van aannames.
De oplossing is opgezet voor end-to-end zichtbaarheid. Interacties die binnen ChatGPT plaatsvinden, zijn te volgen tot aan backenddiensten, zodat duidelijk wordt hoe gebruikersacties doorwerken in onderliggende systemen. Volgens New Relic gebeurt dit binnen de bestaande beveiligings- en privacykaders van het platform, ondanks de beperkingen die gelden binnen i-frames en sandbox-omgevingen.
Monitoring voor ChatGPT-apps maakt deel uit van het Intelligent Observability Platform van New Relic en is per direct beschikbaar. Gebruikers moeten hiervoor de nieuwste browseragent installeren en zelf bepalen welke interacties cruciaal zijn. Daarmee richt New Relic zich nadrukkelijk op observability voor AI-gedreven applicaties, een gebied dat steeds relevanter wordt naarmate generatieve AI vaker als interface voor zakelijke diensten wordt ingezet.