Misschien wel het meest besproken aspect van big data, algoritmen, machine learning en AI: het risico op bias, ofwel vooringenomenheid. Al in 1996 zetten Batya Friedman en Helen Nissenbaum met hun baanbrekende artikel Bias in Computer Systems het onderwerp op de kaart. Ook mensen discrimineren, soms bewust, vaak onbewust. Maar Cathy O’Neil liet in Weapons of Math Destruction (zie ook haar TedTalk) als een van de eersten zien dat de risico’s van discriminatie door algoritmen veel groter zijn, vanwege de schaal en intransparantie ervan, en hun neiging om bestaande ongelijkheid te verergeren. In Automating Poverty liet The Guardian zien dat (ook) overheden met hun inzet van algoritmes vaak juist de zwakkere partijen in de samenleving het meest in de kou laten staan. In haar boek Automating Inequality doet Virginia Eubanks iets soortgelijks.

Hoewel het een "unfinished work" betreft, is er veel – vooral technisch georiënteerde – informatie te vinden in Fairness and Machine Learning van Solon Barocas e.a. Carsten Orwat schreef voor de Duitse Antidiskriminierungsstelle met Risks of Discrimination through the Use of Algorithms een uitstekend, uitgebreid en goed gedocumenteerd rapport. Het brengt niet alleen de problematiek breed in kaart, maar illustreert die ook aan de hand van tientallen praktijkvoorbeelden, én verkent een aantal oplossingsrichtingen. Ook Unfairness by algorithm: Distilling the harms of automated decision-making van het Future of Privacy Forum biedt een mooi overzicht, inclusief oplossingsrichtingen. Op Diginomica deelt Neil Raden geregeld interessante inzichten over bias en fairness. Een goede en toegankelijke inleiding biedt de Algorithmic Bias and Fairness CrashCourse op YouTube.  In Moving beyond “algorithmic bias is a data problem” gaat Sara Hooker in tegen de opvatting die je geregeld tegenkomt dat bias alleen in de data zit, en niet in het "neutrale"algoritme.

Een belangrijke uitdaging is dat er niet alleen talrijke noties van eerlijkheid (fairness) zijn, maar dat een algoritme nooit aan al die noties tegelijk kan voldoen. Hoe dan vergelijken en kiezen? Een recente en toegankelijke inleiding is The Myth of Complete AI-Fairness van Viriginia Dignum. Arvind Narayanan’s mooie FAT*2018 Tutorial gaat in op zowel de technische als de beleids- en ethische aspecten. Sorelle Friedler e.a. leggen in The (Im)possibility of Fairness de verbinding met aannames over de populatie. In If Your Company Uses AI, It Needs an Internal Review Board plaatst Reid Blackman de discussie mooi in een bredere context, al zal hij hopelijk niet iedereen weten te overtuigen van de Institutional Review Board als panacee.

Met Algorithmic Bias: On the Implicit Biases of Social Technology schreef Gabbrielle Johnson een mooi artikel over het verband tussen technische en menselijke bias. In Beyond Debiasing (EDRi, 2021) leggen Agathe Balayn and Seda Gürses het hele onderwerp uitgebreid op een constructief kritische wijze onder de loep.

Zie ook onder mensenrechten.

Tools 

Gelukkig komen er steeds meer tools beschikbaar om algoritmes eerlijker te maken en vooringenomenheid terug te dringen. Onze selectie:

• AI Fairness 360 ∙ IBM
• Fairlearn ∙ Fairlearn.org
• What-If Tool ∙ Google ∙ Focus op het automatisch visualiseren van datasets en de gevolgen van wijzigingen in data.
• ‍FairML ∙ Julius Adebayo, MIT
• Digital Inclusion Card Game ∙ Kenniscentrum Data & Maatschappij

Zie ook onder Tools.

Nederland

• AI, gender en de arbeidsmarkt ∙ WOMEN Inc. ∙ 2021

Laatst bijgewerkt: 8 oktober 2021