Marie is een ervaren chirurg. Ze zit midden in een bittere voogdijstrijd en volgt daar therapie voor. Na opnieuw een zware ochtend loopt ze het ziekenhuis binnen. Als ze werkt, kan ze haar hoofd leegmaken. Maar nog voordat ze aan haar eerste operatie begint, geeft een emotie-monitor een waarschuwing: ‘Not emotionally ready to proceed.’ Marie mag niet opereren. Haar privéleven is haar, zonder dat ze daar zelf wat aan kon doen, gevolgd naar de operatiekamer.

Het is een gedachte-experiment van filosoof en promovendus Alexandra Prégent. ‘Emotieherkenningstechnologie (ERT) probeert met AI te achterhalen wat mensen voelen, wat ze van plan zijn en wat hen motiveert. Grote bedrijven benadrukken graag de voordelen van dit soort technologie. Maar wij moeten ons ook afvragen: is dit wenselijk?’

Volgens Prégent kunnen mensen nu eenmaal verschillende rollen innemen. ‘Je kunt een moeder zijn, je kunt een partner zijn die gaat scheiden, maar je kunt ook een goede chirurg zijn. En die wisselwerking tussen emoties hoort altijd bij het leven. Kun je op ieder moment een chirurg zijn die geen emoties ervaart?’

Emotional privacy

Ze noemt de mogelijkheid om zelf te bepalen wat anderen van je gevoelsleven te zien krijgen ‘emotional privacy’: wat we voelen, hoeft namelijk niet altijd overeen te komen met wat we laten zien. ‘Je kunt een emotie hebben zonder die te uiten. Je kiest er bijvoorbeeld voor om even diep adem te halen in plaats van iemand te confronteren, of om beleefd te zijn in plaats van iemand te kwetsen. Er is ook ruimte om in eerste instantie een emotie te voelen, te reflecteren en later je gevoel bij te stellen. Dat kan bij ERT niet.’

Emotionele uitdrukkingen communiceren bovendien meer dan gevoelens alleen. ‘Met een glimlach kan je iemand op zijn gemak stellen, ook als je zelf niet blij bent. En met een boze blik kun je laten merken dat je bepaald gedrag afkeurt, zonder dat je daadwerkelijk boos bent.’

Ze vreest dat we die ruimte uit handen geven door te veel te vertrouwen op algoritmes. ‘Het grootste risico is dat we stoppen met vragen stellen, stoppen met onszelf trainen om de emoties van anderen te begrijpen en stoppen met daarop te reflecteren. We moeten niet volledig vertrouwen op de output van technologie.’

ERT is daar bovendien nog lang niet betrouwbaar genoeg voor. Ze haalt onderzoek van Lauren Rhue aan, die emotieherkenningstechnologie losliet op twee professionele basketbalteams en zag dat zwarte spelers gemiddeld systematisch negatievere emoties kregen toegeschreven dan witte spelers.

Volgens Prégent kan zo’n vooringenomen systeem gevaarlijke gevolgen hebben bij grenscontroles, waarvoor binnen de Europese Unie al plannen bestaan. ‘Als je dezelfde technologie gebruikt als bij de basketballers, is er een serieus risico dat ERT een vicieuze cirkel van discriminatie versterkt. Iemand met een donkere huidskleur weet dat hij sneller wordt gecontroleerd en kan daardoor nerveuzer worden. Die nervositeit wordt vervolgens door de technologie opgepikt, waardoor de kans op een controle opnieuw toeneemt.’

Toch is de promovendus niet tegen ERT. Ze ziet vooral mogelijkheden voor specifieke medische toepassingen, bijvoorbeeld bij mensen met autisme, Parkinson of dementie. ‘Ik wil echt niet de boodschap uitdragen dat het slecht is. Ik denk dat het veel potentie heeft, maar dan wel in zeer specifieke gebieden. Dit soort technologieën wordt vaak eerst goedgekeurd in de medisce sector, maar wordt later voor andere doeleinden gebruikt.’

Emotioneel profileren

Het probleem ontstaat volgens haar wanneer bedrijven de technologie inzetten voor onder meer HR, digitale marketing en beveiliging. Daarmee wordt een hulpmiddel voor mensen die moeite hebben emoties te herkennen of uiten opeens een manier om grote groepen mensen emotioneel te profileren. 

‘Dat heeft vaak veel minder een legitieme reden. Het probleem is dat we informatie over mensen gaan verzamelen om er vervolgens conclusies uit te trekken. 

‘Stel je voor dat HR emotionele profilering wil gebruiken om te kijken of iemand een goede kandidaat is. Ze zien tijdens een sollicitatie een piek in nervositeit. Maar het is natuurlijk helemaal niet vanzelfsprekend dat je daaruit iets betekenisvols kunt afleiden, bijvoorbeeld dat iemand slecht met strakke deadlines kan omgaan.’

De discussie gaat wat haar betreft veel verder dan alleen de technische ontwikkeling. ‘Wanneer ERT ooit volledig betrouwbaar is, is nu nog onduidelijk. Maar als het zover is, moeten we al bedenken of we willen leven in een wereld waarin we onze emoties niet langer voor onszelf mogen houden.’

Alexandra Prégent, Emotional Privacy: A Philosophical Investigation of Emotion Recognition Technology. Promotie was 2 september