Antispieksoftware Proctorio werkt beduidend minder goed bij Mensen Met Een donkere huidskleur. Zodoende is er impliciet sprake van discriminatie, zo zeggen experts. Proctorio zegt in een reactie dat het onderzoek ‘geen juiste weergave is’ van hoe het systeem werkt.

Dat blijkt uit onderzoek van RTL Nieuws naar de werking van de tentamensoftware.

Studente klaagt over discriminatie door software Proctorio

Surveillancesoftware die is ontwikkeld om studenten te monitoren die examen afleggen, wordt ook wel proctoringsoftware genoemd. Dergelijke programma’s kunnen foto’s en video’s maken met de webcam, de microfoon afluisteren, nagaan wat er op het beeldscherm is te zien, toetsaanslagen registreren en de surfgeschiedenis van de student bekijken. Tijdens de coronapandemie maakten veel hogescholen en universiteiten gebruik van deze antispieksoftware. Nu de pandemie achter ons ligt, gebruiken onderwijsinstanties deze software voor onder meer toelatingsexamens voor opleidingen, of studenten die in het buitenland stage lopen.

In de zomer van 2022 haalde Proctorio, een van de bekendste ontwikkelaars van proctoringsoftware, het nieuws. Robin Pocornie, studente aan de Vrije Universiteit Amsterdam, klaagde dat het programma haar niet als mens herkende vanwege haar donkere huidskleur. Medestudenten met een blanke huidskleur zouden daarentegen nergens last van hebben.

Samen met het Racism and Technology Center in Amsterdam diende Pocornie een klacht in bij de VU en vroeg om te stoppen met deze software. Toen het College van Bestuur niets deed met hun klacht, besloten ze om naar het College van de Rechten van de Mens te stappen. Die doet op dinsdag 17 oktober uitspraak in deze zaak. Minister van Onderwijs, Cultuur en Wetenschap Robbert Dijkgraaf schreef in een brief aan de Tweede Kamer dat er geen bewijs is dat de antispieksoftware van Proctorio discrimineert.

Experts: ‘Zwarte gezichten worden het slechtst gedetecteerd’

Proctorio heeft een onafhankelijke audit laten uitvoeren naar haar surveillancesoftware. Daaruit zou blijken dat de gezichtsdetectiesoftware niet slechter presteert bij mensen met een donkere huidskleur. Het bedrijf wil het rapport echter niet prijsgeven aan Rtl Nieuws. Daarom besloot het medium om zelf een onderzoek te doen naar het programma.

De conclusie liegt er volgens RTL Nieuws niet om: gezichtsdetectie van Proctorio werkt beduidend minder goed op mensen met een zwart gezicht. RTL Nieuws heeft de bevindingen voorgelegd aan verschillende experts. Zij ondersteunen de uitkomst van het onderzoek.

“Dit onderzoek bevestigt het punt van de student: het is voor zwarte mensen moeilijker om met deze software te werken”, zo zegt Virginia Dignum, expert op het gebied van verantwoorde inzet van kunstmatige intelligentie. Lucas Noldus, hoogleraar Gedrag, Informatietechnologie en Innovatie aan de Radboud Universiteit, komt tot dezelfde slotsom. “De conclusie is dat zwarte gezichten het slechtst worden gedetecteerd van alle etniciteiten. Dan is er dus impliciet sprake van discriminatie. In deze context kan ik dat niet anders uitleggen.”

Tessa Verhoef, universitair docent aan het Leiden Institute of Advanced Computer Science (LIACS), sluit zich daarbij aan. “Het lijkt me duidelijk dat blijkt dat de gezichtsdetectie voor donkere gezichten significant slechter werkt in vergelijking met andere categorieën. Dat betekent dat er een onrechtmatig onderscheid wordt gemaakt.”

Proctorio ontkent ‘significante vooringenomenheid’

Proctorio laat in een reactie weten dat het onderzoek van RTL Nieuws niet deugt. Zo zouden de afbeeldingen in de database die het medium heeft gebruikt niet ‘de ervaring van een examenkandidaat op afstand’ simuleren.

“Geen enkele afbeelding is met een webcam gemaakt. Dit onderzoek heeft het verkeerde materiaal gebruikt en een volkomen onrealistische dataset getest. Als gevolg is het bij lange na geen juiste weergave van hoe ons systeem werkt en de resultaten ervan, hoe interessant ook, mogen niet in verband worden gebracht met onze producten en diensten”, zo laat het bedrijf weten.

In een blog zegt Proctorio dat vertekening een serieus probleem is, maar dat er geen sprake is van ‘significante vooringenomenheid’. “Proctorio is actief bezig met het aanpakken van problemen met betrekking tot onze gezichtsdetectie algoritmen en het waarborgen van een eerlijke en inclusieve online proctoring ervaring voor alle studenten. Hoewel de uitdagingen blijven bestaan, erkennen we de noodzaak van voortdurende verbeteringen en werken we actief aan dat doel.”