Imaginemos empresas que construyen tecnología que es fundamentalmente racista: se sabe que esa tecnología es Los negros tienen casi un 30 por ciento más de probabilidades de no trabajar. que para los blancos. Luego imagine que esta tecnología se implementa en un área crucial de su vida: su trabajo, educación, atención médica. Y finalmente, imagina que eres una mujer negra y la tecnología funciona como se espera: no para ti. Presentas una denuncia. Sólo para que el organismo nacional de derechos humanos le dijera que probablemente no se trataba de racismo en este caso.
Bienvenido al mundo de Robin Pocornie, a quien el Instituto de Derechos Humanos le dijo a principios de esta semana que el Instituto cree que las empresas de tecnología, y no las mujeres negras, son víctimas de la discriminación algorítmica.
Sobre el Autor
Nani Jansen Reventlow es el fundador y director de Systemic Justice, una organización que trabaja en toda Europa por el antirracismo y la justicia social y económica a través del litigio estratégico. En octubre será columnista invitada en volkkrant.nl/opinie.
Los columnistas tienen la libertad de expresar sus opiniones y no tienen que cumplir con las reglas periodísticas de objetividad. Lea más sobre nuestra política aquí.
Las contribuciones anteriores a esta discusión se pueden encontrar al final de este artículo.
En 2020, cuando el Covid-19 hizo que muchos trabajaran y estudiaran de forma remota, la Vrije Universiteit compró un software llamado ‘Proctorio’, con la intención de utilizarlo para detectar ‘fraude en exámenes’. Este software utiliza tecnología de detección facial para comprobar si un estudiante está frente a su computadora durante el examen y calcula una «puntuación de sospecha» para cada estudiante, indicando hasta qué punto el software cree que el estudiante estaba haciendo trampa.
Cuando Robin Pocornie, una mujer negra que estudiaba en la Vrije Universiteit, hacía los exámenes en casa, Proctorio no podía encontrar su rostro. Para que el sistema la reconociera como humana, tenía que realizar sus exámenes con una luz brillante brillando en su rostro. Fue admitida a los exámenes con retraso porque el sistema no podía verla e incluso fue eliminada de un examen una vez.
Pocornie Se defendió y presentó una denuncia. en el Instituto Holandés de Derechos Humanos, en el que explicó cómo la VU la discriminó por motivos de raza al utilizar a Proctorio para administrar los exámenes. Exigió una disculpa y el compromiso de la universidad de que no volvería a utilizar una tecnología tan discriminatoria.
A principios de esta semana el consejo rechazó el reclamo de Pocornie, con un ejemplo notable de razonamiento intencionado para justificar el racismo estructural automatizado. Aunque el ayuntamiento intenta disimularlo, su decisión se reduce a negarse a encontrar discriminación porque han encontrado razones más ‘neutrales’ para justificar el fallo del software, en lugar de reconocer la experiencia vivida que Pocornie planteó en su denuncia. Esto perpetúa una dinámica en la que se minimizan las experiencias individuales dañinas mientras no se reconoce el impacto del racismo sistémico, una forma de iluminación con gas que las mujeres negras conocen muy bien.
Sabemos que la detección de rostros no funciona para las personas que no se ajustan al estándar «blanco, masculino y cis». La científica informática y activista digital Joy Buolamwini fue uno de los primeros investigadores en identificar el grave problema que tenía tecnología de reconocimiento facial con rostros negros, y mujeres negras en particular: el software informático que inspiró su investigación la reconocía mejor cuando Buolamwini, que es negra, llevaba una máscara blanca que cuando aparecía sin ella. resultó la semana pasada investigación de Noticias RTL que el software de Proctorio tampoco pudo reconocer correctamente los rostros negros.
Incluso si dejamos de lado la cuestión de por qué una universidad querría ser tan negligente en su deber de cuidar a sus estudiantes, el caso plantea preguntas importantes sobre cómo las instituciones holandesas abordan las quejas sobre racismo y qué perspectiva tiene prioridad cuando se investigan esas quejas. . Tanto la Vrije Universiteit como el Instituto de Derechos Humanos decidieron tomar más en serio las declaraciones poco fiables de una empresa de tecnología comercial que vende un producto conocido por ser racista que las experiencias de una mujer negra, aunque se sabe que precisamente estas tecnologíase pone en desventaja a las mujeres negras.
En lugar de utilizar el caso de Pocornie como una oportunidad para afirmar que las instituciones grandes y poderosas deberían abandonar los sistemas que afianzan y refuerzan aún más las estructuras de poder racistas en nuestra sociedad, nuestra principal institución de derechos humanos vio esto como una oportunidad para aliarse con las grandes tecnologías y brindar una salida fácil para las principales instituciones que tienen la capacidad, los recursos y la obligación moral de hacerlo mejor.
Las condiciones que creamos y los sistemas que utilizamos para garantizar una “educación y una evaluación justas” nunca deben realizarse a expensas de las mujeres negras. O de cualquiera. ¿Por qué nuestros órganos de derechos humanos no pueden entender esto?
¿Le gustaría responder? Envíe una contribución de opinión (máximo 700 palabras) a [email protected] o una carta (máximo 200 palabras) a [email protected]