De Vrije Universiteit Amsterdam (VU) heeft een zwarte studente niet gediscrimineerd door gebruik te maken van antispieksoftware van Proctorio. De universiteit heeft aangetoond dat de studente tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten, en dat die problemen niet veroorzaakt werden door haar huidskleur. Wel had de universiteit haar klacht over discriminatie zorgvuldiger moeten behandelen.

Tot deze conclusie komt Het College van de Rechten van de Mens in de zaak tussen de VU en masterstudente Robin Pocornie.

Studente dient klacht in wegens discriminatie door VU

Door de coronapandemie was het voor onderwijsinstellingen onmogelijk om tentamens op reguliere manier te organiseren. Studenten kregen daarom de gelegenheid om vanuit hun huis of studentenkamer examen af te leggen. Daarvoor moesten ze inloggen bij hun onderwijsinstelling, één of meerdere camera’s op hun werkplek richten en surveillancesoftware installeren op hun computer. Dergelijke software kijkt of studenten niet stiekem spieken tijdens tentamens. Dergelijke programma’s kunnen hiervoor foto’s en video’s maken met de webcam, de microfoon afluisteren, nagaan wat er op het beeldscherm is te zien, toetsaanslagen registreren en de surfgeschiedenis van studenten bekijken.

Robin Pocornie, studente aan de Vrije Universiteit Amsterdam, was van mening dat de VU haar discrimineerde. De surveillancesoftware die de universiteit gebruikte, Proctorio, herkende haar niet als mens vanwege haar donkere huidskleur. Een melding als ‘face not found’ of ‘room too dark’ verscheen dan in beeld. Om dat op te lossen moest de studente een felle lamp in haar gezicht schijnen. Tot overmaat van ramp werd ze meerdere keren door de antispieksoftware uit de online tentamenomgeving verwijderd. Studenten met een blanke huidskleur hadden nergens last van.

Samen met het Racism and Technology Center in Amsterdam diende Pocornie in juli 2022 een klacht in bij de VU en vroeg om te stoppen met deze software. Toen Het College Van Bestuur niets deed met hun klacht, besloten ze om naar het College van de Rechten van de Mens te stappen.

College van de Rechten van de Mens komt tot ander eindoordeel

Het College kwam in december 2022 met een tussenvonnis. Daarin stelde toezichthouder vast dat er voldoende aanwijzingen waren voor het vermoeden dat de VU de studente discrimineerde op grond van haar huidskleur. Wetenschappelijk onderzoek zou hebben aangetoond dat gezichtsdetectiesoftware minder goed werkt bij mensen met een donkere huidskleur. De VU kreeg de gelegenheid om te bewijzen dat zij de studente niet discrimineerde door gebruik te maken van Proctorio.

Vandaag heeft het College van de Rechten van de Mens zijn eindoordeel over deze zaak openbaar gemaakt. In tegenstelling tot het tussenoordeel komt de belangenorganisatie tot de conclusie dat de VU Robin Pocornie niet heeft gediscrimineerd door het surveillanceprogramma van Proctorio te gebruiken.

“De VU heeft met behulp van gegevens over het inlogproces kunnen aantonen dat de student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten. Dat de student bij een van haar tentamens langer deed over het verificatieproces en tijdens het tentamen een herstart moest maken kwam door andere dingen, die geen verband hielden met haar huidskleur. Zoals een slechte internetverbinding of het dragen van een bril”, zo schrijft het College.

VU verzaakte haar zorgplicht niet, klachtafhandeling was wel onzorgvuldig

Verder stelt het College van de Rechten van de Mens dat de VU haar zorgplicht niet heeft verzaakt. Pocornie stelde dat de universiteit een onafhankelijk onderzoek had moeten laten uitvoeren voordat zij de software van Proctorio in gebruik nam. “Het door de VU uitgevoerde eigen onderzoek heeft geen aanknopingspunten opgeleverd om aan te nemen dat gebruik van Proctorio mogelijk zou leiden tot verboden onderscheid op grond van persoonskenmerken. Volgens de huidige gelijkebehandelingswetgeving hoeft zo’n onderzoek niet door een onafhankelijke instantie te worden gedaan”, aldus het College.

Tot slot concludeert het College van de Rechten van de Mens dat de VU de klachtafhandeling onzorgvuldig was. “Mede gezien de ernst van de klacht was het volgens het College aan de studentenombudsman om de student naar de juiste instantie te verwijzen. Pas na 11 mei 2022 heeft de VU de klacht voortvarend opgepakt.”

Pocornie en Appelman hoopten op een andere uitkomst

Pocornie vertelt dat ze op een andere uitkomst had gerekend. “De feiten blijven staan zoals ze zijn: ik moest met een lamp in mijn gezicht mijn tentamens maken, terwijl mijn witte medestudenten dat niet hoefden te doen. Het College heeft ook aangegeven dat ik gediscrimineerd ben door mijn eigen universiteit in hoe die mijn klacht heeft behandeld, en dat is pijnlijk.” Verder vertelt ze dat ze blij is met alle aandacht die haar zaak heeft gekregen en ze ziet dat onderwijsinstellingen daardoor “een stuk bewuster” zijn gaan nadenken over de uitwerking van technologie op gebruikers.

Naomi Appelman, jurist en voorzitter van het Racism and Technology Center, is evenmin blij met de uitspraak. “Het oordeel laat zien hoe moeilijk het is om ook juridisch te bewijzen dat een algoritme discrimineert. Er is een overweldigende hoeveelheid wetenschappelijk bewijs dat gezichtsdetectie minder goed werkt voor mensen met een donkere huidskleur, zie ook het recente onderzoek van RTL Nieuws. Dit inzicht deelt het College. Hoewel volgens het College in dit specifieke geval niet onomstotelijk bewezen is dat er gediscrimineerd zou zijn, sluit dit volgens het College niet uit dat het gebruik van Proctorio of vergelijkbare AI-software in andere situaties wel tot discriminatie kan leiden.”

Pocornie zet haar strijd tegen racisme voort. “Als computerwetenschapper en als persoon van kleur begrijp ik heel goed hoe institutioneel racisme zich kan manifesteren in technologie. Ik blijf me dus hard maken voor een samenleving waarin iedereen gelijk behandeld wordt.”