Los retadores de Nvidia est\u00e1n aprovechando una nueva oportunidad para descifrar su dominio de las chips de inteligencia artificiales despu\u00e9s de que Deepseek de Startup china aceler\u00f3 un cambio en los requisitos inform\u00e1ticos de la IA. <\/p>\n
Deepseek’s R1 y otros llamados modelos de “razonamiento”, como el O3 de OpenAI y Claude 3.7 de Anthrope, consumen m\u00e1s recursos inform\u00e1ticos que los sistemas de IA anteriores en el momento en que un usuario hace su solicitud, un proceso llamado “inferencia”. <\/p>\n
Eso ha volcado el enfoque de la demanda de computaci\u00f3n de IA, que hasta hace poco se centr\u00f3 en la capacitaci\u00f3n o en la creaci\u00f3n de un modelo. Se espera que la inferencia se convierta en una mayor parte de las necesidades de la tecnolog\u00eda a medida que la demanda crece entre individuos y empresas para aplicaciones que van m\u00e1s all\u00e1 de los chatbots populares de hoy, como ChatGPT o Xai’s Grok. <\/p>\n
Es aqu\u00ed donde los competidores de Nvidia, que van desde nuevas empresas de chips de IA, como cerebras y groq hasta procesadores de aceleradores personalizados de grandes compa\u00f1\u00edas tecnol\u00f3gicas, incluidas Google, Amazon, Microsoft y Meta, est\u00e1n centrando sus esfuerzos para interrumpir la compa\u00f1\u00eda de semiconductores m\u00e1s valiosa del mundo. <\/p>\n
“La capacitaci\u00f3n hace que la IA y la inferencia usen IA”, dijo Andrew Feldman, director ejecutivo de Cerebras. \u201cY el uso de la IA se ha ido por el techo. . . La oportunidad en este momento de hacer un chip que sea mucho mejor para la inferencia que para el entrenamiento es m\u00e1s grande de lo que ha sido anteriormente “.<\/p>\n
Nvidia domina el mercado de grandes grupos inform\u00e1ticos como la instalaci\u00f3n XAI de Elon Musk en Memphis o el proyecto Stargate de OpenAi con SoftBank. Pero sus inversores est\u00e1n buscando la seguridad de que puede continuar superando a sus rivales en centros de datos mucho m\u00e1s peque\u00f1os en construcci\u00f3n que se centrar\u00e1n en la inferencia. <\/p>\n
Vipul Ved Prakash, director ejecutivo y cofundador de Together AI, un proveedor de la nube centrado en la IA que fue valorado en $ 3.3 mil millones el mes pasado en una ronda dirigida por el Catalyst General, dijo que la inferencia fue un “gran enfoque” para su negocio. “Creo que ejecutar la inferencia a escala ser\u00e1 la mayor carga de trabajo en Internet en alg\u00fan momento”, dijo. <\/p>\n
Los analistas de Morgan Stanley han estimado que m\u00e1s del 75 por ciento de la demanda de potencia y computaci\u00f3n de centros de datos en los Estados Unidos ser\u00e1 por inferencia en los pr\u00f3ximos a\u00f1os, aunque advirtieron sobre “incertidumbre significativa” sobre c\u00f3mo se desarrollar\u00e1 la transici\u00f3n. <\/p>\n
A\u00fan as\u00ed, eso significa que cientos de miles de millones de d\u00f3lares en inversiones podr\u00edan fluir hacia instalaciones de inferencia en los pr\u00f3ximos a\u00f1os, si el uso de IA contin\u00faa creciendo a su ritmo actual. <\/p>\n
Los analistas de Barclays estiman el gasto de capital por inferencia en “Frontier AI”, que se refieren a los sistemas m\u00e1s grandes y avanzados, exceder\u00e1n el de la capacitaci\u00f3n en los pr\u00f3ximos dos a\u00f1os, saltando de $ 122.6 mil millones en 2025 a $ 208.2 mil millones en 2026. <\/p>\n Si bien Barclays predice que Nvidia tendr\u00e1 “cuota de mercado esencialmente al 100 por ciento” en la capacitaci\u00f3n de IA fronteriza, solo servir\u00e1 al 50 por ciento de la inform\u00e1tica de inferencia “a largo plazo”. Eso deja a los rivales de la compa\u00f1\u00eda con casi $ 200 mil millones en gastos de chips para jugar para 2028. <\/p>\n “Hay un gran tir\u00f3n hacia mejor, m\u00e1s r\u00e1pido y m\u00e1s eficiente [chips]”, Dijo Walter Goodwin, fundador de la nueva empresa de chips con sede en el Reino Unido Fractup. Los proveedores de computaci\u00f3n en la nube est\u00e1n ansiosos por “algo que corta la sobredependencia” en Nvidia, agreg\u00f3. <\/p>\n El presidente ejecutivo de NVIDIA, Jensen Huang, insisti\u00f3 en que los chips de su compa\u00f1\u00eda son tan poderosos para la inferencia como para capacitar, ya que mira una nueva oportunidad de mercado gigante. <\/p>\n Los \u00faltimos chips Blackwell de la compa\u00f1\u00eda estadounidense fueron dise\u00f1ados para manejar mejor la inferencia y muchos de los primeros clientes de esos productos los est\u00e1n utilizando para servir, en lugar de entrenar, sistemas de inteligencia artificial. La popularidad de su software, basada en su arquitectura CUDA patentada, entre los desarrolladores de IA tambi\u00e9n presenta una barrera formidable para los competidores. <\/p>\n “La cantidad de c\u00f3mputo de inferencia necesaria ya es 100 veces m\u00e1s” que cuando comenz\u00f3 los modelos de idiomas grandes, dijo Huang en la llamada de ganancias del mes pasado. “Y ese es solo el comienzo”. <\/p>\n El costo de servir respuestas de LLMS ha ca\u00eddo r\u00e1pidamente en los \u00faltimos dos a\u00f1os, impulsado por una combinaci\u00f3n de chips m\u00e1s potentes, sistemas de IA m\u00e1s eficientes y una intensa competencia entre desarrolladores de IA como Google, OpenAi y Anthrope. <\/p>\n “El costo de usar un nivel dado de AI cae alrededor de 10 veces cada 12 meses, y los precios m\u00e1s bajos conducen a mucho m\u00e1s uso”, dijo Sam Altman, director ejecutivo de OpenAi, en una publicaci\u00f3n de blog el mes pasado. <\/p>\n Los modelos V3 y R1 de Deepseek, que desencadenaron un p\u00e1nico en el mercado de valores en enero en gran parte debido a lo que se percibi\u00f3 como costos de capacitaci\u00f3n m\u00e1s bajos, han ayudado a reducir a\u00fan m\u00e1s los costos de inferencia, gracias a las innovaciones arquitect\u00f3nicas y la eficiencia de codificaci\u00f3n de la nueva empresa china. <\/p>\n Al mismo tiempo, el tipo de procesamiento requerido por las tareas de inferencia, que pueden incluir requisitos de memoria mucho mayores para responder consultas m\u00e1s largas y m\u00e1s complejas, abri\u00f3 la puerta a alternativas a las unidades de procesamiento de gr\u00e1ficos de NVIDIA, cuyas fortalezas radican en el manejo de vol\u00famenes muy grandes de c\u00e1lculos similares. <\/p>\n “El rendimiento de la inferencia en su hardware es una funci\u00f3n de lo r\u00e1pido que puede [move data] hacia y desde la memoria “, dijo Feldman de Cerebras, cuyos chips han sido utilizados por la empresa francesa de IA Mistral para acelerar el rendimiento de su chatbot, le chat. <\/p>\n