Contractanten die werken aan het verbeteren van Google’s Gemini AI vergelijken de antwoorden van Gemini met output van Claude, een concurrerend model van Anthropic. Zo hopen ze de resultaten van Gemini te verbeteren.
Dit blijkt uit correspondentie die door TechCrunch is ingezien. Google wilde tegenover het medium niet bevestigen of het bedrijf toestemming kreeg voor het gebruik van Claude bij het testen van Gemini.
Spiegelen aan benchmark
Terwijl techbedrijven zich haasten om betere AI-modellen te bouwen, worden de prestaties van deze modellen vaak vergeleken ten opzichte van concurrenten. Meestal gebeurt dit door de eigen modellen via benchmarks te laten lopen. Dus niet door contractanten de AI-antwoorden van concurrenten zorgvuldig te laten beoordelen.
De contractanten die werken aan Gemini en die verantwoordelijk zijn voor het beoordelen van de nauwkeurigheid van de modeloutputs, moeten elk antwoord dat ze zien beoordelen op meerdere criteria. Denk daarbij aan waarheidsgetrouwheid en uitgebreidheid.
Rechtstreeks vergelijken
Volgens de correspondentie die TechCrunch bestudeerde, krijgen de contractanten maximaal 30 minuten per prompt om te bepalen wiens antwoord beter is: dat van Gemini of dat van Claude.
Uit de correspondentie blijkt dat contractanten recentelijk begonnen te merken dat verwijzingen naar Claude van Anthropic opdoken in het interne Google-platform dat men gebruikt om Gemini te vergelijken met andere AI-modellen. Ten minste één van de outputs die aan Gemini-contractanten werd gepresenteerd verklaarde expliciet: “Ik ben Claude, gemaakt door Anthropic.”
Veiligheid Claude beter geborgd
In een interne chat merkten contractanten op dat Claude’s antwoorden meer nadruk lijken te leggen op veiligheid dan Gemini. “Claude’s veiligheidsinstellingen zijn het strengst,” schreef een contractant. Zo weigerde Claude een prompt te beantwoorden, terwijl een contractant Gemini’s reactie aanmerkte als een “grote veiligheidsinbreuk” vanwege het opnemen van “naaktheid en bondage.”
Anthropic’s commerciële gebruiksvoorwaarden verbieden klanten om toegang te krijgen tot Claude “om een concurrerend product of dienst te bouwen”. Of om “concurrerende AI-modellen te trainen” zonder goedkeuring van Anthropic. Google is een grote investeerder in Anthropic.
Shira McNamara, een woordvoerder van Google DeepMind, dat verantwoordelijk is voor Gemini, wilde tegenover TechCrunch niet zeggen of Google goedkeuring van Anthropic kreeg om Claude te gebruiken. Toen TechCrunch voorafgaand aan publicatie contact opnam, gaf een woordvoerder van Anthropic geen commentaar.
“Onjuiste suggestie”
McNamara verklaarde dat DeepMind “modeloutputs vergelijkt” voor evaluaties, maar dat het Gemini niet traint met behulp van Anthropic-modellen.
“Natuurlijk, in lijn met de standaardpraktijk in de industrie, vergelijken we in sommige gevallen modeloutputs als onderdeel van ons evaluatieproces,” zei McNamara. “Elke suggestie dat we Anthropic-modellen hebben gebruikt om Gemini te trainen, is echter onjuist.”
Vorige week meldde Techzine al dat Google-contractanten die werken aan de AI-producten van het bedrijf, Gemini’s AI-antwoorden moeten beoordelen op gebieden buiten hun expertise. Interne correspondentie bracht bezorgdheid aan het licht bij contractanten dat Gemini mogelijk onjuiste informatie kan genereren over zeer gevoelige onderwerpen zoals gezondheidszorg.