El éxito de ChatGPT supondría un serio revés para OpenAI, es extremadamente caro. El proceso de «inferencia» de generar texto para un programa de aprendizaje automático requiere una enorme potencia informática, multiplicada por la cantidad de usuarios. El uso de IA generativa por parte de un motor de búsqueda estaría lejos de ser un buen negocio… todavía.
Los costes invisibles de la IA
En enero, según el analista de Forrester Rowan Curran, el procesamiento de las solicitudes enviadas a ChatGPT podría haber costado hasta 40 millones de dólares. CNBC, que transmitió la estimación, informa que la startup Latitude, detrás del juego de rol impulsado por IA AI Dungeon, tuvo que desembolsar, en su punto máximo, casi $ 200,000 por mes. Su cofundador, Nick Walton informó a los medios estadounidenses “ Bromeamos diciendo que teníamos empleados humanos y empleados de IA, y gastamos lo mismo por cada uno de ellos. «.
Estas sumas se dispararían con la gran cantidad de usuarios de un motor de búsqueda. En una entrevista con Reuters, John Hennessy, presidente de Alphabet, estimó que un modelo de lenguaje grande costaría 10 veces más que la investigación de palabras clave. Morgan Stanley estima que si una IA similar a ChatGPT procesara la mitad de las consultas de Google, con respuestas de 50 palabras, su gasto aumentaría en $ 6 mil millones para 2024.
Como explica John Hennessy, » Estos son los costos de inferencia que necesita reducir «. Este es el precio de la potencia informática necesaria para ejecutar IA con varias decenas de miles de millones de parámetros, 175 mil millones para ChatGPT-3. Esta potencia la ejecutan principalmente las GPU proporcionadas por Nvidia. Son utilizados por el 95% de los sistemas de IA por su capacidad para realizar múltiples cálculos simultáneamente. El chip A100, el más extendido, cuesta 10.000 dólares la unidad.
Según un cálculo de CNBC, según información revelada por Meta, el entrenamiento de su modelo LLaMa, a 65 mil millones de parámetros, requirió 2.048 GPU, durante un millón de horas. Al precio de AWS, arrendar dicha capacidad habría costado más de 2,4 millones de dólares. Para OpenAI, la factura por entrenar su modelo podría haber alcanzado los 4 millones de dólares.
Un problema a resolver en los próximos años
El precio para entrenar y operar un modelo, especialmente uno popular, puede plantear un problema de concentración. En un momento en que la economía es preocupante, cuando los inversores esperan retornos de inversión más rápidos de las empresas tecnológicas, solo las estructuras más grandes podrán desarrollar modelos grandes, Meta, Google o Microsoft a través de su soporte para OpenAI.
Sin embargo, este costo podría contraerse en los próximos años. La ley de Moore, según la cual el poder de los chips solo aumenta a un precio constante, es invocada, por ejemplo, en particular por Jensen Huang, el CEO de Nvidia. También es una vía para que las nuevas empresas actuales y futuras se especialicen en reducir los precios de inferencia. Los empleados de OpenAI, por ejemplo, habrían logrado reducir los precios gracias a un código que hace que los chips sean más eficientes. Finalmente, muchas empresas simplemente deciden operar modelos más pequeños, más especializados y, por lo tanto, más económicos.