Minister Dijkgraaf (OCW) benoemde haar onlangs tot kwartiermaker van het Nationaal Centrum voor Wetenschapscommunicatie dat dialoog stimuleert tussen wetenschap en samenleving. Een rol die haar agenda zal vullen. Gelukkig had Ionica Smeets nog wel tijd voor de Datadag van het Verbond. “Ik vind het Ethisch kader voor verzekeraars hoopgevend, maar blijf over Artificial Intelligence in gesprek.”

Om de 120 aanwezige data professionals te prikkelen, geeft Smeets (hoogleraar wetenschapscommunicatie aan Universiteit Leiden) de nodige stof tot nadenken. Met ongemakkelijke, soms lachwekkende, maar ook rake praktijkvoorbeelden illustreert ze de impact van AI op ons dagelijks leven en hoe dit vaak misloopt. Om ook na afloop van de Datadag meer dan genoeg gespreksstof te hebben, deelt ze tips. Van een AI game tot museumbezoek.

Maar eerst geeft Smeets context en valt meteen met de deur in huis met het onderwerp etnisch profileren. “Een tijdje geleden wilde ik een column schrijven over etnisch profileren. Een gevoelig onderwerp, dus bedacht ik een land ver weg van hier. Wiskundig gezien een ideaal land, want de bevolking bestaat uit twee gelijke groepen: de Huffelpuffers en de Ravenklauwers. Ook de criminaliteitscijfers zijn opvallend. Van de Huffelpuffers is 51 procent betrokken bij criminele activiteiten. En bij de Ravenklauwers is dat 49 procent. In de misdaadstatistieken is dan ook 51% Huffelpuffer en 49% Ravenklauwer."

"De politie besluit datagedreven preventieve controles uit te voeren en elke maand 100 mensen staande te houden. Omdat volgens de statistieken 51% van de criminelen een Huffelpuffer is, zorgen ze ook dat 51% van de mensen die ze staande houden een Huffelpuffer is. In de eerste maand houdt de politie dus 51 Huffelpuffers staande, waarvan 51 procent crimineel is (afgerond 26 misdadigers). Ook worden er 49 Ravenklauwers gecontroleerd en daarvan is 49 procent crimineel (ook weer afgerond 24 misdadigers)."

Ze vervolgt: “De politie concludeert hieruit dat hun methode werkt. Ze zien dat de afgelopen maand zelfs 52 procent van de 100 criminelen een Huffelpuffer was: 26 van de 50 is immers 52% van het totaal. De volgende maand worden er daarom 52 Huffelpuffers en 48 Ravenklauwers gecontroleerd. En ja, die maand blijkt dus zelfs 53 procent van de gevonden misdadigers een Huffelpuffer te zijn.” Welke impact heeft deze aanpak van de politie op langere termijn?

“Nu hoop ik dat je denkt: dit is toch wel echt een hele domme manier van werken”, zegt Smeets. Ze ontving dan ook veel reacties op deze column. Zelfs een aantal boze brieven, want dit voorbeeld is volgens lezers wel héél erg fictief… of toch niet? “Het is fictief en de meetmethode dom, maar in de praktijk gebeurt het nog vaak genoeg. Wil je weten waar? Lees dan eens het boek Weapons of Math Destruction van Cathy O’Neill. Hierin beschrijft ze de maatschappelijke impact van algoritmen. Waar gaat het fout en wat betekent dat voor mensen?” Smeets noemt de Toeslagenaffaire als bekend Nederlands voorbeeld en laat een quote zien van Cynthia Liem, universitair hoofddocent Kunstmatige Intelligentie, die betrokken is geweest bij de reconstructie:

‘Toeslagen controleerde alleen de hoogste risicoscores die door het model werden bepaald. De uitkomsten daarvan werden gebruikt om het model verder te trainen. Het model versterkt zo zijn eigen vooroordelen: als het vermoedt dat bij lagere inkomens meer kans is op fraude, worden vooral die aanvragen gecontroleerd en zoomt het steeds verder in op lage inkomens.’

Met andere woorden: bij het opsporen van fraude of criminaliteit is het belangrijk om modellen te hertrainen, om te voorkomen dat je zelfversterkende feedbackloops creëert. Gelukkig blijken verzekeraars zich daar bewust van, maar het voorbeeld illustreert precies hoe makkelijk het fout kan gaan.

Waarom het nog steeds fout kan gaan met algoritmen, wordt volgens Smeets onder andere duidelijk in de columns van Ilyaz Nasrullah, een informaticus die veel aandacht heeft voor ethiek en data. In één van zijn columns schreef hij: ‘In het gepruts van de Belastingdienst zag ik duidelijk de hand van mijn verdwaalde vakgenoten, die geloven dat álle vraagstukken door zelflerende algoritmen beantwoord kunnen worden zolang er maar voldoende data beschikbaar zijn. Al vanaf hun studententijd zien ze de maatschappelijke impact en ethische implicaties van de systemen die zij ontwikkelen als slap geouwehoer waar ‘échte bèta’s’ zich niet mee bezig moeten houden. Homo informaticus, noem ik deze mensen.’

Het zijn allemaal lachwekkende, soms tenenkrommende, maar ook rake voorbeelden die aanzetten tot beter nadenken over AI. “Dat is belangrijk,” vindt smeets, “want er kan tegenwoordig heel veel, maar stel jezelf altijd de vraag: wil ik het ook echt?” Met deze tips geeft ze zeker weten stof tot nadenken:

Smeets sluit af met een quote van haar favoriete informaticus Edsger W. Dijkstra. In de jaren 70 zei hij al: ‘As the power of available machines grew by a factor of more than a thousand, society’s ambition to apply these machines grew in proportion. And it was the poor programmer who found his job in this exploded field of tension between ends and means.’

“Deze uitspraak van Dijkstra is vandaag de dag nog steeds toepasselijk,” merkt Smeets op. “Ik ben er daarom van overtuigd dat je de best mogelijke programmeur wordt als je beseft hoe moeilijk het is. En als je er bewust van bent dat er heel veel kan, maar jezelf de vraag blijft stellen: wil ik het ook? Sta vervolgens ook op als het management of de baas verkeerde dingen wil doen met data. Ik vind het Ethisch kader voor verzekeraars echt hoopgevend, dus neem als sector het voortouw. Mijn advies in deze tijden is, laat zien waar je mee bezig bent, zodat anderen ervan kunnen leren. Praat erover. En ik hoop dat ik jullie vandaag genoeg stof tot nadenken en dialoog heb gegeven.”

Tekst: Ellen Jonges | Portretfotografie: Ivar Pel