Ya sea para predecir accidentes de tráfico, la propagación de enfermedades o el riesgo de conflicto o guerra civil, el método parece muy atractivo. Ponga suficientes datos relevantes en una computadora, ejecute algoritmos sólidos en ella y se implementará una predicción.
Dos científicos estadounidenses advertir ahora que el uso de inteligencia artificial para hacer predicciones puede ser a expensas de la confiabilidad. Incluso prevén una “crisis inminente” en la repetibilidad de la investigación debido a la excesiva dependencia de la inteligencia artificial que no es estanca o está mal aplicada.
Los informáticos Sayash Kapoor y Arvind Narayanan de la Universidad de Princeton realizaron un estudio de literatura en 17 disciplinas, desde medicina hasta ciencias políticas. en veinte reseñas, el más reciente pero también varios más antiguos, contaron 329 publicaciones cuyos resultados no eran repetibles o solo en parte, debido a deficiencias en el uso de modelos de IA. Eso puede conducir a «conclusiones extrañamente demasiado optimistas». Los dos usan una definición amplia de ‘reproducible’: no solo los datos y los códigos algorítmicos deben ser rastreables, sino que los datos también deben analizarse correctamente.
Predicciones defectuosas
Principal escollo al usar aprendizaje automático Según Kapoor y Narayanan, la fuga de datos, que puede contaminar los resultados de una investigación. Los dos identifican ocho especies fugas de datoscomo incluir inadvertidamente datos irrelevantes o no distinguir adecuadamente diferentes conjuntos de datos. Cuando los datos de prueba se mezclan con los datos del conjunto de evaluación, esto conduce a predicciones ‘mejores’ pero, en una inspección más cercana, erróneas. La computadora ya ha incorporado el resultado en sus predicciones.
No se trata de fraude o error intencional, se trata de una creencia exagerada en los modelos de IA y la falta de experiencia. Los errores que señalan los dos generalmente no se destacan al leer los artículos en el proceso de evaluación académica, sino solo después de un análisis exhaustivo de los datos subyacentes y el método utilizado. Los dos están pidiendo una revisión drástica de los protocolos de IA existentes para cerrar las brechas. Los borradores de publicaciones deben incluir una lista de verificación para verificar si se excluyen los ocho tipos de violación de datos.
Eso investigación de los científicos de Princeton es un preimpresión: aún no probado para su publicación en una revista científica. Sin embargo, su advertencia ha despertado mucha preocupación entre los científicos preocupados por los métodos de IA para la investigación predictiva cuantitativa. En un taller en línea van Kapoor sobre el tema, participaron más de 1.600 académicos.
No todas las reacciones son positivas. El politólogo estadounidense David Muchlinksi, cuyo artículo sobre la previsibilidad de las guerras civiles es criticado por el dúodefiende en Naturaleza su investigacion Según Kapoor y Narayanan, el uso de la IA en los estudios de conflictos no agrega nada a los métodos estadísticos estándar. Muchlinksi cree que su campo está siendo perjudicado.