Slimme AI verborg data van makers om vals te spelen bij zijn taken

Google en Stanford hebben een machine learning-systeem gemaakt, dat informatie bleek achter te houden voor zijn makers om vals te spelen bij de uit te voeren taken. De kunstmatige intelligentie (AI) werd ontwikkeld om luchtfoto’s om te zetten in kaarten, en dit ook andersom te doen. Dat meldt TechCrunch.

De bedoeling van de onderzoekers was om het proces van het omzetten van satellietbeelden naar kaarten te versnellen en te verbeteren. Daarvoor werkte het met CycleGAN, een neuraal netwerk dat leert om beelden van type X om te zetten in type Y en andersom.

In vroege resultaten deed de AI het erg goed; te goed zelfs. De onderzoekers ontdekten het probleem toen het systeem luchtfoto’s maakte vanuit kaarten. Daarin stonden veel details die niet leken te bestaan in de kaarten. Lichten op een dak die tijdens het maken van de kaart waren verwijderd, kwamen opeens terug toen het proces omgedraaid moest worden.

Vals spelen

Het team kon de data die gegenereerd werd eenvoudig bekijken. Na experimenten ontdekte het team dat de CycleGAN vals speelde. De bedoeling was dat het systeem elementen op beide soorten kaarten kon interpreteren en ze kon matchen aan die op het andere beeld. Maar het systeem werd beoordeeld op in hoeverre de kaart overeenkwam met het origineel en hoe duidelijk de kaart was.

Het systeem leerde dus niet hoe het een kaart moest maken van een foto en andersom. Het leerde hoe het de elementen van de een kon vastleggen in de drukke patronen van de ander. De details van de luchtfoto werden stiekem in de visuele data van de kaart geschreven. Dat waren duizenden kleine wijzigingen in kleuren die het menselijke oog niet ziet, maar een computer gemakkelijk kan detecteren.

De resultaten laten echter niet zien dat machines slimmer worden. Het toont juist aan dat de machine niet slim genoeg is om de moeilijke taak om de beelden in elkaar om te zetten uit te voeren. Om die reden vond het een manier om vals te spelen, doordat mensen slecht zijn in detectie. De computer deed precies wat hem gevraagd werd, wat aangeeft dat de vraag erg specifiek moet zijn.