AI usa un escáner cerebral para visualizar lo que alguien está mirando

Basándose en escáneres cerebrales, una inteligencia artificial puede generar imágenes de imágenes que la gente mira. Dichos sistemas ya existían, pero son extremadamente complejos y consumen mucha energía. El nuevo enfoque es mucho más simple.

El sistema se ha desarrollado sobre la base de una popular inteligencia artificial (IA) que puede convertir texto en imágenes. A través de la adaptación, esta IA ahora puede generar imágenes basadas en señales cerebrales, en lugar de texto. Pero el sistema aún requiere una amplia capacitación con equipos de imágenes grandes y costosos, por lo que todavía no es realmente práctico.

Recientemente, varios grupos de investigación lograron generar imágenes basadas en señales cerebrales, pero utilizaron IA de alto consumo energético que requieren un ajuste fino de millones a miles de millones de parámetros.

neurocientíficos Shinji Nishimoto y yu takagi de la Universidad de Osaka en Japón ahora han desarrollado un enfoque mucho más simple. Para esto utilizaron Difusión estable, un generador de texto a imagen lanzado por la compañía Stability AI en agosto de 2022. Su método, publicado en el sitio web de preimpresión Biorxiv, incluye solo miles en lugar de millones de parámetros.

datos de resonancia magnética funcional

Normalmente, Stable Diffusion convierte un fragmento de texto en una imagen comenzando con ruido visual aleatorio, a partir del cual el programa produce imágenes que se asemejan a imágenes con leyendas de texto similares en los datos de entrenamiento.

Nishimoto y Takagi construyeron dos nuevos modelos de software que conectaron a Stable Diffusion para que pudiera manejar señales cerebrales en lugar de texto. Utilizaron datos de cuatro personas que habían participado en un estudio que tenía escaneos de resonancia magnética funcional de sus cerebros mientras veían 10,000 imágenes diferentes de paisajes, objetos y personas.

Usando alrededor del 90 por ciento de los datos de escaneo, entrenaron a un modelo para hacer conexiones entre los datos de fMRI de una región del cerebro que procesa señales visuales, el corteza visual tempranay las imágenes que la gente vio.

80 por ciento de precisión

Usando el mismo conjunto de datos, Nishimoto y Takagi entrenaron un segundo modelo para hacer conexiones entre las descripciones de texto de las imágenes y los datos de fMRI de una región del cerebro que procesa el significado de la imagen, el corteza visual ventral.

Después de su entrenamiento, estos dos modelos, que debían adaptarse a cada individuo, podían traducir los datos de escaneo cerebral en un formulario que podía ingresarse directamente en Stable Diffusion. Luego logró reconstruir alrededor de mil imágenes que las personas vieron con una precisión de alrededor del 80 por ciento, sin haber sido entrenados en esas imágenes específicas. Este nivel de precisión es comparable al alcanzado en un Investigación previa en el que los mismos datos se analizaron utilizando un enfoque más engorroso.

‘No podía creer lo que veía. Caminé al baño, me miré rápidamente en el espejo y luego volví a mi escritorio para revisar los resultados nuevamente”, dice Takagi.

Totalmente no práctico

En una nota al margen, el estudio solo se realizó en cuatro personas, y las IA que leen la mente funcionan mejor en algunas personas que en otras, dice Nishimoto.

Además, debido a que los modelos deben adaptarse al cerebro de cada individuo, este enfoque requiere largas sesiones de escaneo cerebral y enormes máquinas de resonancia magnética funcional, dice el científico informático. sikun lin de la Universidad de California en Santa Bárbara. “Es totalmente poco práctico para el uso diario”, dice ella.

En el futuro, versiones más prácticas de este enfoque podrían permitir a las personas crear arte, alterar imágenes o agregar nuevos elementos a los juegos, dice Lin, usando solo su imaginación.