teeds vaker maakt de overheid gebruik van algoritmes en AI om mensen te selecteren (bijvoorbeeld als ‘risico’) of in te delen in groepen. Het is belangrijk dat de overheid dat rechtmatig doet en daar transparant over is. Want het gevaar van discriminatie ligt op de loer. Bovendien kunnen mensen zich niet verweren als zij niet weten dat zij er door een algoritme zijn uitgepikt. Dat maakt dat we daar allemaal extra alert op moeten zijn.
Het onderzoek van de AP naar de Toeslagenaffaire heeft aangetoond dat de Belastingdienst discriminerend te werk ging bij het beoordelen van aanvragen voor kinderopvangtoeslag en bij het selecteren van mensen voor (fraude)onderzoek.
Discriminerend omdat dubbele nationaliteit ten onrechte een rol speelde bij het bestempelen van mensen als ‘risico’ of als ‘potentiële fraudeur’.
Discriminatie bleef onder de radar
Veel slachtoffers van de Toeslagenaffaire zijn in beroep gegaan tegen besluiten tot stopzetting of terugvordering van kinderopvangtoeslag. Bijna allemaal hadden zij een migratieachtergrond. Toch is toen niet getoetst of er wellicht een discriminerende verwerking in het spel was.
De slachtoffers zelf wisten niet dat ze op basis van een algoritme als ‘risico’ of voor (fraude)onderzoek waren geselecteerd. Al hebben velen wel het (terechte) vermoeden gehad dat hun dubbele nationaliteit daarbij een rol heeft gespeeld. Maar een burger is natuurlijk geen rechercheur – die zoekt gewoon rechtsbescherming.
Gat in de rechtsbescherming
Als noch de slachtoffers zelf, noch de rechters weten dat selectie heeft plaatsgevonden, op welke manier dat is gebeurd en hoe dat heeft doorgewerkt in de besluitvorming erna – en ook niemand daarnaar vraagt – kunnen de slachtoffers zich daar niet tegen verweren.
Dan is er een gat in de rechtsbescherming. En is bij digitale selectie bescherming tegen discriminatie feitelijk een illusie. Zelfs vermoedens van discriminerend gebruik van persoonsgegevens bij een selectie moeten subiet worden ontzenuwd.
Zoals het bij bijvoorbeeld preventief fouilleren ook vanzelfsprekend is dat actief wordt getoetst of er discriminatie in het spel is of niet.
Kennis over selectiecriteria
Kennis over hoe mensen worden geselecteerd is dus zeer belangrijk. Dat geldt des te sterker als de selectie anders plaatsvindt dan spontaan of op basis van een feit, signaal of vermoeden.
Selectie door de overheid op basis van een algoritme of AI mag uiteraard alleen als de wet de mogelijkheid biedt voor het besluit om zo te selecteren.
En mensen hebben er recht op om te weten dat er op deze manier is geselecteerd en wat de selectiecriteria zijn geweest. Waarom staat dat niet duidelijk in of onder het besluit?
De consequenties van die selectie kunnen namelijk heel groot zijn, zoals in de Toeslagenaffaire zeer pijnlijk is gebleken. Geen fraudeur, wel geselecteerd – voor het leven getekend.
En als dat wél bekend was geworden, die vragen wél waren gesteld, dan had dit waarschijnlijk een rol gespeeld bij de beoordeling van de rechtmatigheid van (onderzoeks)handelingen en/of besluiten die volgden op zo’n selectie.
Wees scherp
De noodzaak om scherp te zijn op selectiecriteria geldt bij het selecteren met een algoritme of AI nog sterker dan bij bijvoorbeeld preventief fouilleren. Preventief fouilleren is namelijk voor burgers wel openlijk zichtbaar en daardoor toetsbaar.
Burgers kunnen het selecteren alleen ter discussie stellen als ze zien of weten dat er is geselecteerd. En alleen dan is mogelijk wat moet, namelijk de (on)rechtmatigheid hiervan beoordelen.
Het onbekend blijven van selecteren leidt tot schijnzekerheid voor de overheid. Want burgers zullen alsnog in bezwaar gaan zodra het wordt ontdekt. Of om een herziening van een rechterlijke uitspraak vragen, schadevergoeding vragen of alsnog een klacht indienen bij de AP.
Waarschuwing voor risico’s AI & algoritmes
Als samenleving zullen we steeds vaker worden geconfronteerd met zaken waarin burgers met algoritmes en AI zijn geselecteerd.
Dan moet steeds buiten iedere twijfel zijn dat dat eerlijk en rechtmatig heeft plaatsgevonden. Dus moet dat bekend zijn en toetsbaar. Voor alle criteria en selectieregels moet een objectieve rechtvaardiging zijn.
Daarom deze waarschuwing voor de (potentiële) gevaren van het gebruik van algoritmen en de mogelijke discriminerende werking ervan. Die waarschuwing geldt voor ons allemaal.
Zo houden we elkaar scherp, wordt er eerlijk en rechtmatig geselecteerd en kunnen rechters mensen adequaat beschermen tegen onrechtmatige inbreuken op grondrechten, waaronder het grondrecht op non-discriminatie.
Daarmee houden we samen de rechtsstaat en de bescherming van grondrechten hoog.
