Computeralgoritmen presteren beter dan mensen in realistischere scenario’s
Computeralgoritmen zijn beter dan mensen in het voorspellen van welke criminelen toekomstige misdaden zullen plegen – althans in sommige situaties, vindt een nieuwe studie.
Computeralgoritmen kunnen beter presteren dan mensen om te voorspellen welke criminelen opnieuw zullen worden gearresteerd, zo blijkt uit een nieuwe studie.
Risicobeoordelingsalgoritmen die toekomstige misdaden voorspellen, helpen rechters en voorwaardelijke besturen vaak om te beslissen wie er achter de tralies blijft (SN: 9/6/17). Maar deze systemen zijn onder vuur komen te liggen vanwege het vertonen van raciale vooroordelen (SN: 3/8/17), en sommige onderzoeken hebben aanleiding gegeven om te betwijfelen dat algoritmen beter zijn in het voorspellen van arrestaties dan mensen. Een studie uit 2018 waarin menselijke vrijwilligers tegen de risicobeoordelingstool COMPAS werden geplaatst, ontdekte dat mensen criminele recidive over zowel als de software voorspelden (SN: 20-2-18).
De nieuwe reeks experimenten bevestigt dat mensen recidivisten voorspellen over zowel algoritmen als de mensen onmiddellijke feedback krijgen over de nauwkeurigheid van hun voorspellingen en wanneer ze beperkte informatie over elke crimineel te zien krijgen. Maar mensen zijn slechter dan computers als individuen geen feedback krijgen of als ze meer gedetailleerde criminele profielen te zien krijgen.
In werkelijkheid krijgen rechters en paroolbesturen ook geen onmiddellijke feedback en hebben ze meestal veel informatie om mee te werken bij het nemen van hun beslissingen. De bevindingen van de studie suggereren dus dat, onder realistische voorspellingsomstandigheden, algoritmen overtreffen mensen bij het voorspellen van recidive, rapporteren onderzoekers online op 14 februari Wetenschappelijke vooruitgang.
Computationele sociale wetenschapper Sharad Goel van Stanford University en collega’s begonnen met het nabootsen van de opzet van de studie van 2018. Online vrijwilligers lezen korte beschrijvingen van 50 criminelen – inclusief kenmerken als geslacht, leeftijd en aantal arrestaties in het verleden – en raadden of elke persoon waarschijnlijk binnen twee jaar voor een andere misdaad zou worden gearresteerd. Na elke ronde kregen vrijwilligers te horen of ze het goed hadden geraden. Zoals te zien in 2018, waren mensen vergelijkbaar met de prestaties van COMPAS: ongeveer 65 procent van de tijd nauwkeurig.
Maar in een iets andere versie van deze mens-computercompetitie ontdekte het team van Goel dat COMPAS een voorsprong had op mensen die geen feedback kregen. In dit experiment moesten deelnemers voorspellen welke van de 50 criminelen zouden worden gearresteerd voor gewelddaden, in plaats van zomaar voor welke misdaad dan ook.
Met feedback voerden mensen deze taak uit met een nauwkeurigheid van 83 procent – bijna 89 procent van COMPAS. Maar zonder feedback daalde de menselijke nauwkeurigheid tot ongeveer 60 procent. Dat komt omdat mensen het risico overschatten dat criminelen gewelddadige misdaden plegen, ondanks dat hen werd verteld dat slechts 11 procent van de criminelen in de dataset in dit kamp viel, aldus de onderzoekers. In de studie is niet onderzocht of factoren zoals raciale of economische vooroordelen aan die trend hebben bijgedragen.
In een derde variant van het experiment lieten risicobeoordelingsalgoritmen de overhand zien bij meer gedetailleerde criminele profielen. Deze keer werden vrijwilligers geconfronteerd met een risicobeoordelingsinstrument genaamd LSI-R. Die software kan 10 meer risicofactoren in overweging nemen dan COMPAS, waaronder middelenmisbruik, opleidingsniveau en arbeidsstatus. LSI-R en menselijke vrijwilligers beoordeelden criminelen op een schaal van zeer onwaarschijnlijk tot zeer waarschijnlijk tot recidive.
Toen vrijwilligers criminele profielen vertoonden die slechts een paar risicofactoren bevatten, presteerden vrijwilligers op gelijke voet met LSI-R. Maar toen meer gedetailleerde criminele beschrijvingen werden getoond, won LSI-R. De criminelen met het grootste risico om opnieuw gearresteerd te worden, gerangschikt door mensen, omvatten 57 procent van de feitelijke recidivisten, terwijl de lijst van LSI-R met de meest waarschijnlijke arrestanten ongeveer 62 procent van de werkelijke recidivisten in de pool bevatte. Bij een vergelijkbare taak waarbij werd voorspeld welke criminelen niet alleen zouden worden gearresteerd, maar opnieuw zouden worden opgesloten, bevatte de lijst met het hoogste risico voor mensen 58 procent van de werkelijke recidivisten, vergeleken met 74 procent van LSI-R.
Computerwetenschapper Hany Farid van de Universiteit van Californië, Berkeley, die aan de studie van 2018 heeft gewerkt, is niet verbaasd dat algoritmen een voordeel hebben opgeleverd wanneer vrijwilligers geen feedback kregen en meer informatie hadden om te jongleren. Maar alleen omdat algoritmen ongetrainde vrijwilligers overtreffen, wil nog niet zeggen dat hun voorspellingen automatisch moeten worden vertrouwd om strafrechtelijke beslissingen te nemen, zegt hij.
Tachtig procent nauwkeurigheid klinkt misschien goed, zegt Farid, maar ‘je moet jezelf afvragen of je 20 procent van de tijd fout zit, ben je bereid dat te tolereren?’
Aangezien noch mensen, noch algoritmen verbazingwekkende nauwkeurigheid vertonen bij het voorspellen of iemand twee jaar later een misdaad zal plegen, “zouden we moeten gebruiken [those
forecasts] als metriek om te bepalen of iemand vrij gaat? ‘ Farid zegt. ‘Mijn argument is nee.’
Misschien zouden andere vragen, zoals hoe waarschijnlijk het is dat iemand een baan krijgt of borgtocht krijgt, zwaarder moeten meespelen in strafrechtelijke beslissingen, stelt hij.
