Voorkomen van discriminatie

“Belastingdienst ging vooral achter lage inkomens aan”, kopte Trouw dinsdag boven een uitgebreid achtergrondartikel. Het risicoklassificatiemodel dat de dienst gebruikte, heeft geleid tot een pijnlijk extra hoofdstuk in de veelbesproken Toeslagenaffaire. Vanzelfsprekend vragen verzekeraars zich ook wel eens af of een dergelijke affaire hun kan overkomen. Want hoe voorkom je discriminatie?

Onder de noemer Voorkomen van discriminatie in theorie en praktijk organiseerde het Verbond vorige week nog een webinar, waarin termen als algoritmes, bias, datascience en datagedreven discriminatie veelvuldig over tafel gingen. Het was al weer het achtste webinar in een serie over het Ethisch kader voor datagedreven toepassing dat het Verbond van Verzekeraars in de zomer van 2020 voor zijn leden introduceerde.

Concrete handreiking

Bart van der Sloot (Tilburg University) trapte het webinar af met een heldere toelichting op de handreiking AI-systeemprincipes voor non-discriminatie die het Tilburg Institute for Law, Technology and Society heeft ontwikkeld. “Het ministerie van Binnenlandse Zaken heeft ons verzocht om die handreiking te maken om ervoor te zorgen dat er nooit meer een Toeslagenaffaire plaatsvindt.”
Samen met juristen, techneuten en ethici is Van der Sloot aan de slag gegaan om te werken aan een goede standaard, waarin alle disciplines aan bod komen. “Onze eerste vraag was of er wel behoefte was aan nog een standaard, naast alle guidelines, boeken en standaarden die er al zijn. Dus hebben we een enquête gehouden onder een paar honderd respondenten en tot onze eigen verrassing kwam daar een duidelijk ‘ja’ uit. Het probleem is dat er weliswaar al veel standaarden zijn, maar deze zijn veel te algemeen. Met adviezen als ‘je moet transparant zijn’ kun je ook niet zoveel. Want waarover moet je dan transparant zijn? En voor wie?”

"Met adviezen als 'je moet transparant zijn', kun je niet zoveel"

“Denk na en leg vast”

In de ‘nieuwe’ standaard hebben de makers zich dan ook gefocust op de dagelijkse praktijk. Van der Sloot: “Hoe richt je je proces in? Welke vragen moet je stellen? Wat voor team stel je samen? Wij hebben vooral heel veel vragen gesteld. Vaak voor de hand liggende vragen, maar we stellen ze toch, omdat ze meestal worden vergeten.”
De handreiking, die is gestoeld op het denk na & leg vast-principe, bestaat uit vier kernprincipes: diversiteit, contextgevoeligheid, controleerbaarheid en evaluatie. “De diversiteit heeft zowel op de eigen organisatiestructuur als op de buitenwereld betrekking”, lichtte Van der Sloot toe. “Betrek intern diverse mensen van verschillende disciplines bij je proces, maar vraag ook professionals, techneuten en (kritische) burgers naar hun mening.”
De tweede (contextgevoeligheid) vraagt vooral om een vertaling naar de praktijk. “De AI is aan de tekentafel bedacht. Maar hoe werkt het in de praktijk? Wat mis je nog? Wat is discriminatie? Stel vragen!” Bij de controleerbaarheid staat, zoals het woord al zegt, de controle centraal. “Leg het vast. Voor jezelf en voor anderen, zodat je ook de vierde stap kunt maken: evalueren. Dat laatste moet permanent en altijd.”

“Wat is het probleem?”

Van der Sloot vervolgde zijn relaas met zes stappen die moeten worden gezet en die standaard moeten beginnen met de vraag: Wat is het probleem? “Het klinkt weer zo voor de hand, maar bij die eerste vraag gaat het vaak al fout. Wat is je probleem? En gaat AI je daarbij helpen of kan het ook zonder?”
De zes stappen (1. Probleemdefinitie, 2. Dataverzameling, 3. Datavoorbereiding, 4. Modellering, 5. Implementatie en 6. Evaluatie) worden in de handreiking uitvoerig behandeld en dat levert al met al een stevig document op van bijna zeventig pagina’s. “Dat was nodig om alle concrete vragen te stellen en de benodigde links op te nemen, maar natuurlijk hebben we ook een tien-pagina document en zelfs een one-pager gemaakt. Al met al is het vooral een handige tool voor publieke en private partijen en voor grote en kleine bedrijven.”

Differentiatie of discriminatie?

Dat laatste was Quirine Eijkman volledig met hem eens. Eijkman, die ondervoorzitter is bij het College voor de Rechten van de Mens, legde het verschil uit tussen discriminatie en differentiatie. “Discriminatie is in de volksmond anders dan wat de wet eronder verstaat. Wij toetsen op verboden onderscheid, want soms is onderscheid namelijk wel toegestaan.”
Ze noemde onder meer “het bekende voorbeeld van mannen die meer voor hun autoverzekering moeten betalen dan vrouwen”, maar ging ook nader in op het oordeel van het college in de zogenoemde Dazure-zaak (2014). Een verzekeraar differentieerde zijn premie voor de overlijdensrisicoverzekering in een bepaald postcodegebied. Vraag aan het college was: mag dat? “Ja”, antwoorde Eijkman, “want de postcode valt niet onder de bescherming van de Algemene Wet Gelijke Behandeling. Maar postcodeselectie kan indirect wel discriminatie op etniciteit betekenen. Vraag is dan of het doel legitiem is, en het middel (onderscheid) passend en noodzakelijk. Het bleek dat de premiedifferentiatie objectief kan worden gerechtvaardigd. Bovendien is er in dit specifieke geval geen sprake van het afwijzen van klanten en zijn de premieverschillen ook niet onevenredig groot.”

"Een postcode valt niet onder de bescherming van de Algemene Wet Gelijke Behandeling"

Bandbreedte voor solidariteit

Haar collega Guido Terpstra vulde daarbij aan, dat het College niet over één nacht ijs is gegaan met dit oordeel. “We hebben daar veel werk van gemaakt en ook externe experts, waaronder demografen, gevraagd ernaar te kijken. In dit geval is er geen belemmering, omdat het bij een overlijdensrisicoverzekering nadrukkelijk gaat over het risico van overlijden. Daarnaast telt mee dat de betreffende verzekeraar zich heeft gehouden aan de bandbreedte die nodig is voor solidariteit: er werd niet afgewezen, het product was bereikbaar voor iedereen, alleen was het duurder. Overigens is die bandbreedte wel van belang: als het product honderd procent duurder was geweest in sommige postcodes, waren we misschien tot een ander oordeel gekomen. Als een verzekeraar te ver onder die bandbreedte komt, dus als het premieverschil te groot wordt, dan kan het postcodeonderscheid verboden onderscheid opleveren.”

Great power, great responsibility

Marc van Meel (KPMG) had ten slotte nog wat praktische tips voor de datascientist in petto. Hij had enkele best practices van de wetenschapsfilosofie en van de software-engineer gekozen om tot vier tips te komen. Of, zoals hij het zelf noemt, een mini-framework.
1.With great power, comes great responsibilty. Van Meel: “De uitspraak zegt genoeg. Als datascientist heb je impact op het dagelijks leven van mensen en daar hoort een verantwoordelijkheid bij. Een goede vraag om jezelf te stellen, kan zijn: wanneer ben je gerechtvaardigd om te handelen op de correlatie die uit jouw systeem komt? Als het antwoord bevestigend is, vind ik dat je je nog moet afvragen of je het ook moet doen. Ik waarschuw altijd voor te grote beloftes en te gemakkelijke voorspellingen. AI kan veel taken overnemen, maar als partijen beweren dat ze emoties van mensen kunnen inschatten, zou ik zeggen: doe het niet!”
2.Garbage in, garbage out. “Let op wat je doet”, waarschuwt Van Meel. “Garbage in, garbage out is slechts één onderdeel van het probleem. Het kan namelijk zomaar zijn dat je de historische data van mannen gebruikt voor vrouwen. Vraag je daarom altijd af hoe representatief je data is voor het probleem dat je wilt oplossen. Is één jaar terug te oud? Of vijf jaar? Of heb je alleen data van Amerikanen voorhanden en is dat eigenlijk niet toepasbaar op ons?” Zijn belangrijkste tip is echter wel: maak een keuze, “bijvoorbeeld tussen het minimaliseren van je bias en het optimaliseren van je accuraatheid”.
3.Transparantie is een middel, geen doel. “Het wordt soms als de heilige graal gezien, maar transparantie lost vaak het echte probleem niet op. Je kunt wel heel transparant zijn over je model, maar dat is alleen zinnig voor experts. Een eindgebruiker heeft daar niks aan. Leg liever meer focus op reproduceerbaarheid en auditeerbaarheid. Met andere woorden: leg vast wat je hebt gedaan en waarom, zodat je dat desgewenst aan critici kunt laten zien.”
4.Oneerlijk? “Ook al heb je goede redenen om aan te nemen dat jouw systeem overtuigend is, doorgrondelijk en niet-misleidend, dan nog kan jouw systeem discriminerend zijn. De grote vraag is wat je er dan mee doet? Maar wat je ook doet, maak keuzes en leg die vast. Niks doen en hopen dat het probleem zich niet voordoet, is echt de slechtste optie!”

"Transparantie is een middel, geen doel. Het lost vaak het echte probleem niet op"