El reconocimiento confiable de textos de IA parece matemáticamente imposible

La inteligencia artificial (IA) genera textos en un instante. Como resultado, los detectores de IA serán tan malos para reconocer un texto de IA como alguien que lanza una moneda.

Determinar de manera confiable si un texto está hecho por AI o no puede ser imposible. que aparece de nueva demostración matemática.

La facilidad con la que los modelos de IA generan textos que son indistinguibles de los textos humanos ya está generando problemas: los estudiantes sacan sus ensayos de chatGTP y masivamente campañas de desinformación ponerse de pie.

Las ideas para combatir ese abuso incluyen una especie de marca de agua oculta en los textos de la IA, o la búsqueda de patrones en los textos que solo produciría una IA.

Científico de la computación Soheil Feizi y sus colegas de la Universidad de Maryland en los Estados Unidos afirman ahora que han probado matemáticamente que estas técnicas de desenmascaramiento de IA no son confiables. Esto se debe a la combinación de programas de paráfrasis y modelos de IA. Si un estudiante tiene un ensayo escrito por chatGTP y luego lo pasa por un programa de paráfrasis, reduce drásticamente la efectividad de una marca de agua. Además, los textos de los modelos de lenguaje se volverán matemáticamente más similares al lenguaje humano a medida que mejoren los modelos.

Errores del detector

Para demostrar esto, Feizi y su equipo utilizaron herramientas de paráfrasis basadas en IA para reformular un texto generado por IA. Ingresaron ese nuevo texto en varios detectores de texto de IA. La mayoría de los detectores entonces solo tenían una eficiencia del 50 por ciento. “Vemos una gran caída en el rendimiento de los detectores. Se reducen a la precisión de un predictor arbitrario”, dice Feizi.

Los investigadores han utilizado una prueba matemática, la llamada resultado imposible, muestran que los detectores de IA son cada vez más difíciles. La razón es que la elección de palabras de los modelos de IA se está volviendo cada vez más humana. Es por eso que los detectores etiquetarán incorrectamente demasiados textos como IA, o muy pocos, de modo que los textos reales de IA ya no se destacarán. La demostración matemática es una prepublicación, por lo que aún no se ha publicado. revisión por pares someterse.

Consecuencias

“A todos los efectos prácticos, incluso el mejor detector, ya sea que exista o esté por desarrollarse, no va a ser muy bueno”, dice Feizi. ‘Tal modelo en realidad estará muy cerca de lanzar una moneda al aire. Nunca podremos determinar de manera confiable si un texto fue creado por un humano o por un modelo de IA. Creo que tenemos que aprender a vivir con ese hecho”, dice Feizi.

Científico de la computación Yulan He del King’s College London sugiere que deberíamos tratar de comprender las consecuencias de los modelos de IA, en lugar de dedicar mucho tiempo a construir detectores de IA. “¿Qué riesgos traen estos modelos de IA a nuestras vidas y cómo podemos usarlos como IA útiles para nosotros mismos?”