Anthropic zou op het punt staan een model te ontwikkelen dat in staat is tot recursieve zelfverbetering (RSI). Dit zou neerkomen op een forse versnelling van de AI-mogelijkheden.
Dit blijkt volgens TechCrunch uit een waarschuwing in de rapportage van de financiële resultaten, die Anthropic deze week presenteerde. Volgens tegenstanders van AI heeft RSI een dystopisch effect. De technologie ontwikkelt zichzelf tot een systeem dat zo krachtig is dat het buiten menselijke controle raakt en ongekende schade zou kunnen aanrichten. Voor AI-enthousiastelingen vertegenwoordigt RSI echter de grote belofte van de technologie. De modellen kunnen bijvoorbeeld wetenschappelijke doorbraken mogelijk maken.
Anthropic lijkt rekening te houden met beide effecten die RSI kan hebben in de toekomst. In het document staat dat het bedrijf AI gebruikt in zijn R&D, maar koppelt dit wel aan de waarschuwing dat het gebruik van AI om nog betere modellen te ontwikkelen een veiligheidsrisico kan vormen. Anthropic hanteert een Responsible Scaling Policy. Hierin heeft waarin bedrijf methoden vastgelegd om de risico’s te monitoren en te beperken naarmate recursieve zelfverbetering dichterbij komt.
Mensen blijven nog betrokken bij R&D
Anthropic verklaarde in de publicatie dat geen van zijn modellen de RSI-drempel tot nu toe overschreed. Ook belooft het bedrijf dat mensen in de nabije toekomst bij het R&D-proces betrokken blijven.
Sceptici zouden er volgens TechCrunch op kunnen wijzen dat een financiële rapportage niet alleen een noodzakelijke presentatie is, maar ook als marketinginstrument fungeert. De bewering dat Anthropic dicht bij een model staat dat zo krachtig is dat het zichzelf kan ontwikkeling zou weleens een marketingstunt kunnen zijn.
Niettemin is duidelijk dat de capaciteiten van Claude, vooral op het gebied van programmeren, wiskunde en cyberbeveiliging, dit jaar met sprongen vooruit zijn gegaan. Als Anthropic denkt dat de mogelijkheid van RSI binnen handbereik is, moeten we dat misschien geloven en dienovereenkomstig handelen, bijvoorbeeld door middel van wet- en regelgeving.