La Vrije Universiteit Amsterdam n’a pas discriminé une étudiante en raison de sa couleur de peau foncée grâce à son logiciel anti-triche. L’Institut néerlandais des droits de l’homme a exclu cette hypothèse après une plainte déposée par l’étudiant auprès de l’institut en juillet 2022.
Cependant, l’université n’a pas traité la plainte pour discrimination de l’étudiant avec suffisamment de soin.
La décision du Conseil est surprenante. Lors d’une évaluation intermédiaire en décembre, le superviseur indépendant a soupçonné que l’étudiante avait été victime de discrimination en raison de sa couleur de peau. Selon le Conseil, des recherches scientifiques ont montré que les logiciels de reconnaissance faciale fonctionnent généralement moins bien pour les personnes à la peau foncée.
Robin Pocornie, étudiante à la maîtrise, a déclaré dans sa plainte qu’elle avait eu des difficultés à activer le logiciel anti-triche obligatoire Proctorio lors des examens en ligne. Ce n’est qu’en pointant une lumière sur son visage qu’elle a pu prouver son identité au logiciel.
Selon l’étudiant en bioinformatique, la Vrije Universiteit Amsterdam (VU) aurait dû vérifier au préalable si les étudiants à la peau noire sont reconnus au même titre que les étudiants blancs. Cela n’aurait pas été le cas et constituerait donc une discrimination.
Mais selon le Conseil, l’université a démontré que Pocornie n’a pas rencontré plus de problèmes lors de ses examens que les autres étudiants.
« Dans la mesure où l’étudiante a mis plus de temps à réaliser le processus de vérification lors d’un de ses examens et a dû recommencer pendant l’examen, il a été établi que ces problèmes étaient dus à des faits qui n’étaient pas liés à sa couleur de peau », peut-on lire. jugement du Conseil. « Comme une mauvaise connexion Internet ou le port de lunettes. »
Afran Groenewoud is verslaggever samenleving en inclusie
Afran schrijft over ongelijkheid in de maatschappij en koloniale geschiedenis. Lees hier meer verhalen van Afran.
Pocornie déçue, mais heureuse de l’attention et de la sensibilisation
Pocornie dit qu’elle s’attendait à un résultat différent. « Les faits restent les mêmes : j’ai dû passer mes examens avec une lampe pointée vers le visage, alors que mes camarades blancs n’étaient pas obligés de le faire. Le Conseil a également indiqué que j’ai été victime de discrimination de la part de ma propre université dans la manière dont il a traité ma plainte, traité, et c’est douloureux.
L’étudiant est satisfait de toute l’attention que son cas a reçue. Elle remarque qu’à cause de son cas, les établissements d’enseignement ont commencé à réfléchir « beaucoup plus consciemment » à la question de savoir si la technologie qu’ils utilisent fonctionne de la même manière pour tout le monde.
Pocornie est assisté juridiquement par le Centre contre le racisme et la technologie. Cela montre également qu’il est déçu par la décision du Conseil. « Le jugement montre à quel point il est difficile de prouver légalement qu’un algorithme est discriminatoire », déclare l’avocate et présidente Naomi Appelman.
NU.nl attend une réponse de la Vrije Universiteit.
VU n’avait pas pensé à une éventuelle discrimination
Le VU a admis en octobre qu’il n’avait pas envisagé une éventuelle discrimination due aux logiciels. L’université a déclaré qu’elle avait essayé de limiter autant que possible les risques de dysfonctionnements des logiciels. Les étudiants pourraient s’entraîner avec lors d’un examen blanc. Si cela posait des problèmes, l’université a déclaré qu’elle avait la possibilité de passer le véritable examen dans un bâtiment universitaire.
Le journaliste technique de NU.nl, Rutger Otto, reçoit souvent des signaux provenant de logiciels qui font une distinction en fonction de la couleur de la peau. Selon lui, il est difficile de déterminer si cela est conscient ou inconscient. « Souvent, la manière dont les algorithmes sont formés et avec quelles données n’est pas transparente. »