En la década de 1960, un científico del Instituto Tecnológico de Massachusetts creó un programa de procesamiento de lenguaje natural que podía imitar una conversación humana. Nombrada ELIZA, fue una iteración temprana de los chatbots que proliferaron en el sector tecnológico este año. ELIZA no fue una empresa rentable. Las versiones actuales tampoco.
Hay claras posibilidades de transformación en la inteligencia artificial generativa. Los chatbots desarrollados utilizando modelos de lenguaje grande (LLM) podrían permitir comunicaciones fluidas entre humanos y computadoras.
La pregunta para los inversores es si los LLM propietarios pueden generar dinero de manera confiable para la gran tecnología. Los LLM de código abierto podrían ser una alternativa más económica para las empresas que desarrollan aplicaciones a medida.
Los LLM no tienen una definición formal. Se describen como programas entrenados en grandes volúmenes de datos disponibles en línea y capaces de predecir la siguiente palabra en una oración.
A medida que ha aumentado la potencia informática, las IA han podido llevar a cabo un aprendizaje no supervisado a partir de datos no estructurados. Producen algunas respuestas que sorprenden incluso a sus creadores.
La complejidad de LLM ha dado un salto adelante. En 2020, OpenAI lanzó su Transformador preentrenado generativo 3, o GPT-3. Este LLM tenía 175 mil millones de parámetros.
Cuantos más parámetros, más datos puede procesar y generar un LLM. PaLM de Google, que impulsa su chatbot Bard, tiene 540 mil millones. La última versión de OpenAI de su LLM es GPT-4. La empresa no ha especificado el número de parámetros. Los expertos creen que 100tn sería una cifra precisa.
El poder de procesamiento requerido para dichos LLM es enorme. La regla general es que cuanto mayor sea el conjunto de datos utilizado, mejor será el rendimiento. Esto, en teoría, limita a los LLM a un pequeño número de empresas bien financiadas.
Pero las aplicaciones de nicho pueden funcionar utilizando conjuntos de datos más pequeños. BloombergGPT, que está destinado a ayudar en el análisis de información en terminales de datos de Bloomberg, tiene 50.000 millones de parámetros. El modelo base LLM de Cohere AI, una empresa emergente con sede en Toronto, tiene 52.000 millones de parámetros.
Más preocupantes para empresas como Google son los LLM de código abierto. Meta regaló su sistema, LLaMA, como un software de código abierto que cualquiera puede copiar y usar. Se pueden construir LLM más pequeños sobre él.
Supongamos que los usuarios empresariales deciden que hay poca diferencia entre los LLM patentados y de código abierto al desarrollar sus propios servicios de IA, Google y OpenAI perderían su ventaja inicial antes de tener la oportunidad de alcanzar el punto de equilibrio.
Nuestro popular boletín para suscriptores premium se publica dos veces por semana. El miércoles analizamos un tema candente de un centro financiero mundial. El viernes diseccionamos los grandes temas de la semana. Por favor regístrese aquí.