Mag IBM Watson fouten maken bij kankerdiagnoses?

Vorige week stond het nieuws overal online, maar het is belangrijker om verder te kijken dan enkel roepen dat AI niet deugt. IBM Watson is een beloftevolle technologie die afhankelijk is van menselijke interactie om beter te worden. Het is dus niet altijd de schuld van AI.

Ongeveer zeven jaar geleden startte IBM met een experiment rond artificial intelligence (AI) en gezondheidszorg onder de noemer Watson for Healthcare. De afgelopen jaren heeft IBM heel hard gesleuteld aan de dienst en sinds vorige zomer wordt de AI ook effectief aangeboden in ziekenhuizen en andere plaatsen waar het van dienst kan zijn. Van zodra die stap wordt gezet, lijkt het product klaar te zijn. Dat is niet zo.

Belangrijk probleem

Een rapport van Stat toont dat Watson for Healthcare in het verleden al meermaals onveilige en incorrecte behandelingen heeft voorgesteld. Omdat het rond gezondheidszorg gaat wordt dit dramatisch uitvergroot, maar er gebeuren fouten in elk project. Zeker wanneer het iets fonkelnieuw is zoals AI. Combineer dat met de enorme complexiteit van kanker en je kan de conclusie op voorhand al trekken.

Kanker is namelijk niet één ziekte maar een verzamelnaam van heel wat aandoeningen. Elk orgaan kan verschillende kanker anders ontwikkelen en elke kankers heeft andere karakteristieken. Resultaat: elke patiënt vereist een specifieke behandeling die dokters grondig moeten analyseren.

 

Kanker is het perfecte voorbeeld van een belangrijk probleem dat AI zou kunnen oplossen.

 

Net om die reden is kanker een van de focuspunten van Watson. Het is het perfecte voorbeeld van een belangrijk probleem dat AI zou kunnen oplossen op termijn. Net dat laatste detail zorgt ervoor dat dokters die met Watson werken gefrustreerd zijn.

Piece of shit

Gizmodo brak het nieuws vorige week dat een dokter op het Jupiter Hospital in Florida IBM Watson een piece of shit noemde. “We kochten het voor marketing en met de hoop dat we kunnen helpen aan het product om zijn toekomstvisie te realiseren. We kunnen het voor geen van beide gebruiken nu.”

Het grote vraagteken is nu wat de marketingafdeling van IBM aan het ziekenhuis heeft beloofd qua functionaliteit. Watson heeft namelijk niet als bedoeling om een dokter te vervangen en automatisch diagnoses voor te stellen. Het heeft vandaag als belangrijkste functie om dokters bij te staan bij consultaties en om suggesties voor te stellen wanneer een dokter twijfelt. Het is nog lang niet zelf de dokter.

De reden waarom IBM Watson ineens in het nieuws is verschenen, is omdat de AI een behandeling had voorgesteld met Bevacizumab. De patiënt had in het verleden al chemotherapie gekregen en heeft een historiek van hevige bloedingen. Bevacizumab heeft hevige bloedingen als bijwerking en mag enkel gebruikt worden bij heel specifieke patiënten met longkanker. Een bijzonder slechte suggestie van Watson.

Datasets

Het is belangrijk om te benadrukken dat elke AI getraind moet worden. In het beste geval kan dat met echte situaties uit het dagelijkse leven, maar dat lukt niet altijd. In dit specifieke geval werd Watson mogelijk getraind op hypothetische scenario’s. Maar dat doet er niet toe: kankerbehandelingen zijn bijzonder lastig en complex en vereisen ontzettend veel datasets. Elke dokter (AI of menselijk) moet de data aansturen wanneer er fouten worden gemaakt, om zo verbeteringen door te voeren. De hamvraag is echter: hoe dikwijls maakt Watson fouten en hoe succesvol is IBM met het trainen van het systeem?

 

Hoe dikwijls maakt Watson fouten en hoe succesvol is IBM met het trainen van het systeem?

 

Het is daarom niet eerlijk om nu al te roepen dat AI slecht is en beter niet wordt ingezet in de gezondheidszorg. Dokters moeten het net omarmen en slimmer maken met hun eigen expertise. Het zal niet lang duren voordat AI ook de expertise van een dokter verbeterd met interessante suggesties. Zeker een ziekte zo complex als kanker kan elke dataset gebruiken om beter te presteren in de toekomst.

AI is geen sprint, maar een marathon. Vandaag kunnen er af en toe spectaculaire resultaten worden gepubliceerd, maar het belangrijkste moet nog komen. Het menselijk lichaam is nu eenmaal een complex geheel. Geef Watson tijd, zorg voor juiste datasets en blijf het mee ontwikkelen. Pas dan kan AI meer levens redden.