En büyük temel açık kaynaklı büyük dil modellerinden biri olan Llama’yı geliştiren Meta, gelecekte modelleri eğitmek için önemli ölçüde daha fazla bilgi işlem gücüne ihtiyaç duyacağına inanıyor.
Mark Zuckerberg, Salı günü Meta’nın ikinci çeyrek kazanç görüşmesinde, Llama 4’ü eğitmek için şirketin Llama 3’ü eğitmek için gerekenden 10 kat daha fazla hesaplama gücüne ihtiyaç duyacağını söyledi. Ancak yine de Meta’nın rakiplerinin gerisinde kalmak yerine modelleri eğitmek için kapasite oluşturmasını istiyor.
Zuckerberg, “Llama 4’ü eğitmek için gereken hesaplama miktarı, Llama 3’ü eğitmek için kullandığımız miktarın yaklaşık 10 katı olacak ve gelecekteki modeller bundan daha da fazla büyümeye devam edecek” dedi.
“Bunun gelecekte birden fazla nesil boyunca nasıl bir eğilim göstereceğini tahmin etmek zor. Ancak bu noktada, yeni çıkarım projelerinin başlatılması için uzun ön hazırlık süreleri göz önüne alındığında, çok geç olmaktansa ihtiyaç duyulmadan önce kapasite oluşturma riskini almayı tercih ederim.”
Meta, Nisan ayında 80 milyar parametreye sahip Llama 3’ü yayınladı. Şirket geçen hafta, 405 milyar parametreye sahip olan ve onu Meta’nın en büyük açık kaynaklı modeli yapan Llama 3.1 405B adlı modelin yükseltilmiş bir sürümünü yayınladı.
Meta’nın CFO’su Susan Li, şirketin farklı veri merkezi projeleri ve gelecekteki AI modellerini eğitmek için kapasite oluşturmayı düşündüğünü söyledi. Meta’nın bu yatırımın 2025’te sermaye harcamalarını artırmasını beklediğini söyledi.
Büyük dil modellerini eğitmek maliyetli bir iş olabilir. Meta’nın sermaye harcamaları, sunuculara, veri merkezlerine ve ağ altyapısına yapılan yatırımlarla yönlendirilen bir yıl önceki 6,4 milyar dolardan 2024’ün 2. çeyreğinde yaklaşık %33 artarak 8,5 milyar dolara çıktı.
Bir rapora göre BilgiOpenAI, eğitim modelleri için 3 milyar dolar ve Microsoft’tan indirimli fiyatlarla sunucu kiralamak için ek 4 milyar dolar harcıyor.
Li, görüşme sırasında “Temel modellerimizi ilerletmek için üretken AI eğitim kapasitesini ölçeklendirdikçe, altyapımızı zaman içinde nasıl kullandığımız konusunda bize esneklik sağlayacak şekilde oluşturmaya devam edeceğiz. Bu, eğitim kapasitesini, bunu yapmanın daha değerli olacağını düşündüğümüzde, genel AI çıkarımına veya temel sıralama ve öneri çalışmalarımıza yönlendirmemize olanak tanıyacak” dedi.
Görüşme sırasında Meta, tüketiciye yönelik Meta AI’nın kullanımından da bahsetti ve Hindistan’ın chatbot’unun en büyük pazarı olduğunu söyledi. Ancak Li, şirketin Gen AI ürünlerinin gelire önemli bir katkıda bulunmasını beklemediğini belirtti.