Eenvoudige aanpassingen aan het machine-learningprogramma kunnen de ongelijkheid wegnemen, zeggen onderzoekers
Een veelgebruikt algoritme dat ziekenhuizen helpt bij het identificeren van risicopatiënten die het meeste baat kunnen hebben bij toegang tot speciale gezondheidszorgprogramma’s, is raciaal bevooroordeeld, zo blijkt uit een onderzoek.
Raciale vooringenomenheid in dat algoritme elimineren zou het percentage zwarte patiënten dat automatisch in aanmerking komt voor gespecialiseerde programma’s meer dan verdubbelen gericht op het verminderen van complicaties door chronische gezondheidsproblemen, zoals diabetes, bloedarmoede en hoge bloeddruk, rapporteren onderzoekers op 25 oktober Wetenschap.
Dit onderzoek “laat zien hoe als je eenmaal het algoritme openbreekt en de bronnen van vooringenomenheid en de mechanismen waarmee het werkt begrijpt, je het kunt corrigeren”, zegt bio-ethicus Stanford University David Magnus, die niet betrokken was bij het onderzoek.
Om te identificeren welke patiënten extra zorg zouden moeten krijgen, zijn gezondheidszorgsystemen in het afgelopen decennium afhankelijk geworden van algoritmen voor machine learning, die voorbeelden uit het verleden bestuderen en patronen identificeren om te leren hoe ze een taak moeten volbrengen.
De top 10 algoritmen voor gezondheidszorg op de markt – waaronder Impact Pro, degene die in de studie is geanalyseerd – gebruiken medische kosten van patiënten in het verleden om toekomstige kosten te voorspellen. Voorspelde kosten worden gebruikt als proxy voor zorgbehoeften, maar uitgaven zijn misschien niet de meest nauwkeurige maatstaf. Onderzoek toont aan dat zelfs wanneer zwarte patiënten zo ziek of zieker zijn dan blanke patiënten, ze minder uitgeven aan gezondheidszorg, inclusief doktersbezoeken en geneesmiddelen op recept. Die ongelijkheid bestaat om vele redenen, zeggen de onderzoekers, waaronder ongelijke toegang tot medische diensten en een historisch wantrouwen onder zwarte mensen van zorgverleners. Dat wantrouwen komt deels voort uit gebeurtenissen zoals het Tuskegee-experiment (SN: 3/1/75), waarin honderden zwarte mannen met syfilis decennia lang geen behandeling kregen.
Als gevolg van deze foutieve statistiek ‘krijgen de verkeerde mensen hier de prioriteit voor [health care] programma’s ”, zegt studieauteur Ziad Obermeyer, een expert op het gebied van machine learning en gezondheidsbeleid aan de University of California, Berkeley.
Bezorgdheid over vooringenomenheid in algoritmen voor machine learning – die nu onder andere helpen bij het diagnosticeren van ziekten en het voorspellen van criminele activiteiten – zijn niet nieuw (SN: 9/6/17). Maar het isoleren van bronnen van vertekening is een uitdaging gebleken, omdat onderzoekers zelden toegang hebben tot gegevens die worden gebruikt om de algoritmen te trainen.
Obermeyer en collega’s werkten echter al aan een ander project met een academisch ziekenhuis (dat de onderzoekers weigeren te noemen) dat Impact Pro gebruikte en besefte dat de gegevens die werden gebruikt om dat algoritme in de lucht te krijgen, beschikbaar waren op de servers van het ziekenhuis.
Dus analyseerde het team gegevens van patiënten met huisartsen in dat ziekenhuis van 2013 tot 2015 en zoomde het in op 43.539 patiënten die zichzelf identificeerden als blank en 6.079 die zich identificeerden als zwart. Het algoritme had alle patiënten, die verzekerd waren via een particuliere verzekering of Medicare, een risicoscore gegeven op basis van kosten uit het verleden van de gezondheidszorg.
Patiënten met dezelfde risicoscores zouden in theorie even ziek moeten zijn. Maar de onderzoekers ontdekten dat zwarte patiënten met dezelfde risicoscores als blanke patiënten in hun steekproef van zwart-witte patiënten gemiddeld meer chronische ziekten hadden. Voor risicoscores die het 97e percentiel overschreden, bijvoorbeeld het punt waarop patiënten automatisch zouden worden geïdentificeerd voor inschrijving in gespecialiseerde programma’s, hadden zwarte patiënten 26,3 procent meer chronische ziekten dan blanke patiënten – of een gemiddelde van 4,8 chronische ziekten vergeleken met blanke patiënten ‘3.8. Minder dan een vijfde van de patiënten boven het 97e percentiel was zwart.
Obermeyer vergelijkt de vooringenomen beoordeling van het algoritme met patiënten die in de rij wachten om in gespecialiseerde programma’s te komen. Iedereen stelt zich op volgens zijn risicoscore. Maar “vanwege de vooringenomenheid”, zegt hij, “kunnen gezondere blanke patiënten voor zwarte patiënten in de rij gaan staan, ook al worden die zwarte patiënten zieker.”
Toen het team van Obermeyer patiënten rangschikte op basis van het aantal chronische ziekten in plaats van de uitgaven voor gezondheidszorg, gingen zwarte patiënten van 17,7 procent van de patiënten boven het 97e percentiel naar 46,5 procent.
Het team van Obermeyer werkt samen met Optum, de maker van Impact Pro, om het algoritme te verbeteren. Het bedrijf repliceerde de nieuwe analyse onafhankelijk en vergeleek chronische gezondheidsproblemen bij zwart-witte patiënten in een nationale dataset van bijna 3,7 miljoen verzekerden. Over risicoscores hadden zwarte patiënten bijna 50.000 meer chronische aandoeningen dan blanke patiënten, wat wijst op raciale vooringenomenheid. Door het algoritme opnieuw te trainen om te vertrouwen op zowel kosten voor gezondheidszorg in het verleden als andere maatstaven, waaronder reeds bestaande aandoeningen, werd het verschil in chronische gezondheidsproblemen tussen zwarte en blanke patiënten bij elke risicoscore met 84 procent verminderd.
Omdat de infrastructuur voor gespecialiseerde programma’s al aanwezig is, toont dit onderzoek aan dat het repareren van algoritmen voor de gezondheidszorg de meest behoeftige patiënten snel zou kunnen verbinden met programma’s, zegt Suchi Saria, een machine-learning- en gezondheidszorgonderzoeker aan de Johns Hopkins University. ‘In korte tijd kunt u deze ongelijkheid wegnemen.’