Manténgase informado con actualizaciones gratuitas
Simplemente regístrate en Tecnología myFT Digest: entregado directamente a su bandeja de entrada.
Imagínese (o, si vuela con frecuencia y tiene mucha mala suerte, recuerde) este escenario. Su vuelo tiene overbooking y, para liberar espacio, se eliminarán pasajeros. Aquellos con menos millas de viajero frecuente salen primero. Puede quejarse, por supuesto, pero la persona que implementa la política no la ha establecido y tampoco puede cambiarla. Incluso si tienes el número de teléfono móvil del director ejecutivo de la aerolínea, no es culpa de ella: es política de la empresa.
Este es el experimento mental que utiliza Dan Davies en su nuevo y entretenido libro. La máquina de la irresponsabilidad, para ilustrar lo que él denomina “el sumidero de la rendición de cuentas”: libros de reglas, procedimientos y, en algunos casos, instituciones enteras de la vida moderna que esencialmente han eliminado la responsabilidad individual en la toma de decisiones. La azafata que te acompaña desde el avión no es responsable, ni tampoco su manager. Después de todo, usted se inscribió en esta posibilidad cuando reservó su billete.
Aunque el “sumidero de rendición de cuentas” es una acuñación nueva, otros pensadores hablan de problemas similares. Los investigadores de FAT ML (imparcialidad, responsabilidad y transparencia en el aprendizaje automático) hablan tanto de “responsabilidad” (tener una idea clara de a quién dirigirse cuando un algoritmo escupe una decisión que no le gusta) como de “explicabilidad” (esa persona debe ser explicar por qué se adoptó la decisión en un lenguaje accesible) por este motivo. A otros les preocupa que el aprendizaje automático cree una “brecha de responsabilidad” en la que los tomadores de decisiones humanos ya no tengan que dar cuenta, o incluso comprender, las decisiones que están implementando.
Hay cosas peores en la vida que un viaje retrasado. Un ejemplo más grave de sumidero de rendición de cuentas podría ser el escándalo Windrush, en el que decenas de miles de británicos nacidos en las Indias Occidentales sufrieron malos tratos, muchos de ellos perdieron sus empleos y sus hogares, y algunos fueron deportados injustamente del Reino Unido. ¿De quién fue la culpa? ¿Los artífices de la política ambiental hostil, que traspasó las fronteras del país a todos los lugares de trabajo, propietarios y servicios públicos? ¿Los burócratas que destrozaron las tarjetas de aterrizaje que podrían haber servido como formas alternativas de identificación? ¿La multitud de gobiernos que legislaron para restringir el derecho de los ciudadanos del imperio británico a moverse libremente dentro de él? La única persona que renunció por la injusticia fue Amber Rudd, cuyo principal delito fue ser ministra del Interior cuando el escándalo llegó a las noticias, en lugar de implementar cualquiera de las políticas ofensivas, y pronto regresó a un alto cargo después de una breve ausencia, dirigiendo otro departamento grande. Un sumidero de rendición de cuentas similar está funcionando ahora en el plan de compensación Windrush, que se ha visto afectado por retrasos.
Pero no todos los sumideros de rendición de cuentas son malos. El proceso de contratación que permite a mi amigo director ejecutivo descartar la solicitud de mi sobrino incompetente sin ofenderme también es un sumidero de responsabilidad. Las reglas claras establecidas en libros de reglas, procedimientos y algoritmos pueden producir graves injusticias. Pero al menos son mensurables y detectables, a diferencia de los juicios precipitados que todos hacemos todos los días. Las directrices para la imposición de sentencias en casos penales son en parte una forma de eliminar prejuicios personales e injusticias arbitrarias del proceso judicial, aunque pueden introducir, y de hecho de hecho, injusticias arbitrarias propias.
Los sumideros de rendición de cuentas son un subproducto de vivir en una sociedad más compleja, y la implementación del aprendizaje automático y la toma de decisiones algorítmicas en las políticas públicas creará muchos más. Un juez, cuya autonomía en casi todas las sociedades está fuertemente limitada por pautas de sentencia y límites obligatorios, aún puede seguir siendo el que decide en última instancia, incluso si cuenta con la ayuda de modelos algorítmicos. Pero ¿quién tiene la culpa si esos sistemas fallan o se inclinan fuertemente en una dirección u otra?
Un buen ejemplo de los beneficios y dificultades se puede ver en el uso de software de reconocimiento facial. Aunque hoy en día esta tecnología casi siempre funciona mejor que el juicio humano por sí solo, todavía es más probable que identifique erróneamente a personas con tonos de piel más oscuros y a mujeres. ¿Quién tiene la culpa si esto conduce a un error judicial? ¿Y quién debería ser responsable de garantizar que el software sea mejor mañana que hoy?
Pero un ser humano normal, que no esté limitado por un libro de reglas, también cometerá muchísimos errores. Y prefiero someterme a las injusticias ocasionales del libro de reglas promedio (que en la práctica es todo lo que es un algoritmo) que a la toma de decisiones humana desenfrenada. Pero para los líderes, ya sean de empresas o de estados, explicar qué ha ido mal en la toma de decisiones asistida por máquinas significará poder hablar con fluidez sobre lo que significan los sumideros de rendición de cuentas, por qué los tenemos y si debemos deshacernos de ellos.
About the Author
