De overheid maakt steeds meer gebruik van kunstmatige intelligentie (artificial intelligence, AI) om te helpen met het maken van beslissingen. Het lijkt een veelbelovend terrein, maar recente schandalen laten ook zien dat het gebruik van computerintelligentie niet vrijblijvend is.

Deze week onthulde het online platform Vers Beton nog dat het algoritme van de gemeente Rotterdam dat bijstandsfraude moet opsporen jonge alleenstaande vrouwen discrimineert. En in 2020 verbood de rechter al het gebruik van fraude-detectiesysteem SyRI omdat het in strijd was met het Europees Verdrag voor de Rechten voor de Mens.

‘Ik denk dat er veel te winnen is op het gebruik van AI binnen de overheid’, zegt promovendus en bestuurskundige Friso Selten. Vorige maand publiceerde hij een onderzoek in Public Administration Review over het gebruik van AI door de politie. ‘Er zijn ook veel risico’s aan verbonden. Het kan leiden tot meer ongelijkheid en bevooroordeelde beslissingen. Ik wil juist onderzoeken hoe het op een waardevolle manier iets kan toevoegen.’

Een van de systemen waarmee de overheid nu werkt is het criminaliteits-anticipatiesysteem (CAS). Dat zou de politie kunnen helpen te voorspellen waar misdaden worden gepleegd. De politie wil onderzoeken hoe zij AI op een verantwoorde manier ook voor andere doelen kan inzetten. Voor Selten aanleiding om te kijken hoe goed agenten eigenlijk het advies van een computer opvolgen.

De onderzoeker schotelde twee groepen agenten een scenario voor: er is een plofkraak op een pinautomaat gepleegd en de daders zijn voortvluchtig. De AI geeft beide groepen een suggestie waar de agenten de boeven het best kunnen onderscheppen.

Vluchtroute

‘Ons experiment is gebaseerd op een systeem dat de politie nu ontwikkelt’, vertelt Selten. ‘Dat voorspelt de vluchtroute van een verdachte en kan vervolgens een agent assisteren bij het vinden daarvan. Wij hebben daar een proefopstelling van gebouwd. Door verschillende agenten verschillende voorspellingen te geven, wilde ik kijken wat de invloed was van de AI op hun keuze.’

De ene groep kreeg te horen dat ze het best richting een snelwegoprit konden rijden. Die tip komt overeen met de ervaring van de agenten, de snelweg is een veelgebruikte ontsnappingsroute na een plofkraak. De andere helft kreeg juist te horen dat ze het best via een provinciale weg naar een nabijgelegen stad moesten rijden, informatie die niet directe strookte met de intuïtie van de agenten. 

Om de keuze van de AI verder te onderbouwen gaf de proefopstelling ook uitleg over de keuze voor de locatie. Selten: ‘Voor mensen is het vaak moeilijk om te zien waarom een algoritme een bepaalde uitkomst geeft. Ons idee was dat de agenten door duidelijke uitleg vaker het advies van AI zouden overnemen.'

‘We hebben eerst een vrij lange uitleg geprobeerd, maar in het echt worden dit soort keuzes in een split second gemaakt, dus dat werkt niet. Daarom hebben we uiteindelijk gekozen voor een vrij directe uitleg. Het systeem zegt: “Ik weeg deze factoren mee en daarom denk ik dat de vluchtroute zo loopt.” Als je snel moet beslissen, wil je niet eerst een hele tekst doorlezen.’ 

Koppig

Ondanks de bondige uitleg blijkt uit het experiment dat de agenten eigenlijk alleen luisterden naar wat de AI voorstelde als het overeenkwam met hun eigen intuïtie: het snelweg-advies volgden ze op. Adviseerde de computer de andere richting, dan reden ze alsnog richting snelweg.

‘Politieagenten zijn eigenlijk best koppig, wat niet per se slecht is’, zegt Selten. ‘We wilden weten of ze luisteren naar een algoritme terwijl ze zelf denken dat een andere beslissing beter is. Dat bleek niet zo te zijn. Zelfs als we uitleg gaven over de keuze van AI maakte dat eigenlijk niet uit. Daaruit concluderen we dat politieagenten vertrouwen hebben in hun eigen professionele oordeel. Ze luisteren niet blind naar een computer. Een algoritme kan helpen door bijvoorbeeld bij te sturen, maar als het in de ogen van een agent een foute aanbeveling doet, nemen ze dat niet klakkeloos over.’

Hoewel het positief is om niet blind te varen op advies van een computer, heeft die koppigheid ook nadelen. Selten: ‘Stel dat je een positief beeld van agenten hebt en een AI-systeem op een bepaalde manier bevooroordeeld is. Dan is dit een goede uitkomst, want de agenten nemen het slechte advies niet over. Maar omgekeerd, als een AI heel goed en onbevooroordeeld zou werken en juist de menselijke besluiten twijfelachtig zouden zijn, dan blijven agenten hun fouten maken omdat ze niet luisteren naar de correctie.’

Maar als agenten niet geneigd zijn advies over te nemen dat niet met hun eigen ideeën strookt blijft wel de vraag hangen: wat heb je aan een AI als niemand ernaar luistert?

Selten: ‘Het flauwe antwoord is dat je meer onderzoek nodig hebt hoe je dit op een goede manier inricht. Als je bijvoorbeeld op zoek bent naar frauderende burgers kun je het systeem zo inrichten dat één helft van de controles op basis van de AI-voorspellingen gedaan wordt en één helft willekeurig. Als je dan bij de AI-groep meer fraude aantreft dat weet je dat je op het goede spoor zit met het algoritme.

‘Een andere mogelijkheid is kijken naar hoe het bij CAS is geregeld. Daar wordt de informatie uit het systeem niet direct aan agenten op straat gegeven, maar aan een specialist. Dat is iemand die het systeem heel goed snapt, die weet hoe de AI werkt en hoe je de informatie moet interpreteren. Als die expert dan iets tegenkomt wat niet strookt met de eigen intuïtie kun je gaan doorvragen. Waarom geeft het systeem dat aan? Is dat een fout of vooroordeel in de AI, of is dat een blinde vlek van ons mensen?’