Aspect

:

bias, fairness en diversiteit

Misschien wel het meest besproken aspect van big data, algoritmen, machine learning en AI: het risico op bias, ofwel vooringenomenheid. Al in 1996 zetten Batya Friedman en Helen Nissenbaum met hun baanbrekende artikel Bias in Computer Systems het onderwerp op de kaart. Ook mensen discrimineren, soms bewust, vaak onbewust. Maar Cathy O’Neil liet in Weapons of Math Destruction (zie ook haar TedTalk) als een van de eersten zien dat de risico’s van discriminatie door algoritmen veel groter zijn, vanwege de schaal en intransparantie ervan, en hun neiging om bestaande ongelijkheid te verergeren. In Automating Poverty liet The Guardian zien dat (ook) overheden met hun inzet van algoritmes vaak juist de zwakkere partijen in de samenleving het meest in de kou laten staan. In haar boek Automating Inequality doet Virginia Eubanks iets soortgelijks.

Hoewel het een "unfinished work" betreft, is er veel – vooral technisch georiënteerde – informatie te vinden in Fairness and Machine Learning van Solon Barocas e.a. Carsten Orwat schreef voor de Duitse Antidiskriminierungsstelle met Risks of Discrimination through the Use of Algorithms een uitstekend, uitgebreid en goed gedocumenteerd rapport. Het brengt niet alleen de problematiek breed in kaart, maar illustreert die ook aan de hand van tientallen praktijkvoorbeelden, én verkent een aantal oplossingsrichtingen. Ook Unfairness by algorithm: Distilling the harms of automated decision-making van het Future of Privacy Forum biedt een mooi overzicht, inclusief oplossingsrichtingen. Op Diginomica deelt Neil Raden geregeld interessante inzichten over bias en fairness. Een goede en toegankelijke inleiding biedt de Algorithmic Bias and Fairness CrashCourse op YouTube.  In Moving beyond “algorithmic bias is a data problem” gaat Sara Hooker in tegen de opvatting die je geregeld tegenkomt dat bias alleen in de data zit, en niet in het "neutrale"algoritme.

Een belangrijke uitdaging is dat er niet alleen talrijke noties van eerlijkheid (fairness) zijn, maar dat een algoritme nooit aan al die noties tegelijk kan voldoen. Hoe dan vergelijken en kiezen? Een recente en toegankelijke inleiding is The Myth of Complete AI-Fairness van Viriginia Dignum. Arvind Narayanan’s mooie FAT*2018 Tutorial gaat in op zowel de technische als de beleids- en ethische aspecten. Sorelle Friedler e.a. leggen in The (Im)possibility of Fairness de verbinding met aannames over de populatie. In If Your Company Uses AI, It Needs an Internal Review Board plaatst Reid Blackman de discussie mooi in een bredere context, al zal hij hopelijk niet iedereen weten te overtuigen van de Institutional Review Board als panacee.

Met Algorithmic Bias: On the Implicit Biases of Social Technology schreef Gabbrielle Johnson een mooi artikel over het verband tussen technische en menselijke bias. In Beyond Debiasing (EDRi, 2021) leggen Agathe Balayn and Seda Gürses het hele onderwerp uitgebreid op een constructief kritische wijze onder de loep.

Zie ook onder mensenrechten.

Tools 

Gelukkig komen er steeds meer tools beschikbaar om algoritmes eerlijker te maken en vooringenomenheid terug te dringen. Onze selectie:

Zie ook onder Tools.

Nederland

Laatst bijgewerkt: 8 oktober 2021

bias, fairness en diversiteit

Hoogrisico algoritmes Justitie pas over twee jaar in Algoritmeregister

Eind 2025 moeten alle ‘hoog risico’-algoritmes geregistreerd zijn.

Autoriteit Persoonsgegevens pleit voor deltaplan AI

Er moet een deltaplan komen voor algoritmes en kunstmatige intelligentie (AI). Daarvoor pleit de AP.

Belastingdienst overtreedt wet met fraude-algoritmen

Het organisatiebelang woog zwaarder dan de naleving van de wet en bescherming van grondrechten.

Rathenau Instituut: Generatieve AI Scan

Deze scan maakt de balans op: Welke kansen, risico’s voor publieke waarden en beleidsopties zijn met generatieve AI verbonden?

Politie experimenteert met gezichtsherkenningstechnologie

De Autoriteit Persoonsgegevens is kritisch over het ontbreken van een specifieke wettelijke grondslag.

Tedx: 'ERROR 404: HUMAN FACE NOT FOUND'

Robin Pocornie vertelt over haar strijd tegen bias in AI.

Nicpet: veilige en ethische data-uitwisseling met PET

Met Privacy Enhancing Technologies (PET’s) kun je veilig en rechtmatig data analyseren met waarborg van privacy.

Groningen stelt ethische commissie voor data en technologie in

De commissie bestaat uit experts op het gebied van technologie, data en algoritmes, maar ook inclusie, diversiteit en discriminatie.