Mark Zuckerberg, bu hafta başında yapılan bir Meta kazanç görüşmesinde şirketin Llama 4 modellerini “100.000 H100 AI GPU’dan daha büyük veya başkalarının yaptıklarına göre rapor edilenlerden daha büyük bir kümede” eğittiğini söyledi. Facebook kurucusu Llama 4’ün neler yapabileceğine dair herhangi bir ayrıntı vermezken, kablolu Zuckerberg, Lama 4’ün “yeni yöntemlere”, “daha güçlü akıl yürütmeye” ve “çok daha hızlı” olduğuna değindiğini aktardı. Meta, Microsoft, Google ve Musk’un xAI’si gibi diğer teknoloji devleriyle yeni nesil AI LLM’leri geliştirmek için rekabet ederken bu çok önemli bir gelişme.
Meta, 100.000 Nvidia H100 GPU’lu yapay zeka eğitim kümesine sahip ilk şirket değil. Elon Musk, Temmuz ayı sonlarında benzer büyüklükte bir kümeyi harekete geçirerek, boyutunu ikiye katlayarak 200.000 AI GPU’ya çıkarmayı planlayarak buna ‘Bilgisayarın Giga Fabrikası’ adını verdi. Ancak Meta, bu yılın başlarında 2024 yılı sonuna kadar yarım milyondan fazla H100 eşdeğeri AI GPU’ya sahip olmayı beklediğini, dolayısıyla Llama 4’ü eğitmek için çalışan önemli sayıda AI GPU’ya sahip olmayı beklediğini belirtmişti.
Meta’nın Llama 4’ü, Llama modellerini tamamen ücretsiz olarak yayınlayarak diğer araştırmacıların, şirketlerin ve kuruluşların bunun üzerine geliştirme yapmasına olanak tanıyarak yapay zekayı geliştirmeye benzersiz bir yaklaşım benimsiyor. Bu, OpenAI’nin GPT-4o ve Google’ın Gemini gibi yalnızca bir API aracılığıyla erişilebilen diğer modellerinden farklıdır. Ancak şirket, Llama’nın lisansına ticari kullanımını kısıtlamak ve nasıl eğitildiğine dair herhangi bir bilgi vermemek gibi sınırlamalar getiriyor. Bununla birlikte, “açık kaynak” doğası, yapay zekanın geleceğine hükmetmesine yardımcı olabilir. Bunu, kıyaslama testlerinde GPT-4o ve Llama-3 ile eşleşebilecek açık kaynak kodlu Çin yapay zeka modellerinde gördük.
Güç tüketimi endişeleri
Tüm bu bilgi işlem gücü, özellikle tek bir modern AI GPU’nun yılda 3,7 MWh’ye kadar güç kullanabileceği göz önüne alındığında, çok büyük bir güç talebine neden oluyor. Bu, 100.000 AI GPU kümesinin yılda en az 370 GWh kullanacağı anlamına geliyor; bu, ortalama 34 milyondan fazla Amerikan hanesine güç sağlamaya yetecek kadar. Bu, özellikle yeni güç kaynaklarının çevrimiçi hale getirilmesinin zaman alması nedeniyle, bu şirketlerin bu kadar büyük malzemeleri nasıl bulabileceği konusunda endişeleri artırıyor. Sonuçta Zuckerberg bile güç kısıtlamalarının yapay zekanın büyümesini sınırlayacağını söyledi.
Örneğin Elon Musk, Memphis’teki 100.000 güçlü bilgisayarına güç sağlamak için birkaç büyük mobil güç jeneratörü kullandı. Google, 2019’dan bu yana sera gazı emisyonlarını %48 artırarak karbon hedeflerinin gerisinde kalıyor. Hatta eski Google CEO’su bile iklim hedeflerimizden vazgeçmemizi, yapay zeka şirketlerinin tam hız çalışmasına izin vermemizi ve ardından geliştirdiğimiz yapay zeka teknolojilerini kullanmamızı önerdi. İklim krizini çözmek için.
Ancak Meta yöneticileri, bir analist onlara şirketin bu kadar büyük bir bilgi işlem kümesine nasıl güç verebildiğini sorduğunda bu soruyu geçiştirdiler. Öte yandan, Meta’nın Microsoft, Google, Oracle ve Amazon gibi yapay zeka rakipleri de nükleer kervana katılıyor. Gelecekteki gelişmeleri için yeterli elektriğe sahip olduklarından emin olmak için ya küçük modüler reaktörlere yatırım yapıyorlar ya da eski nükleer santralleri yeniden başlatıyorlar.
Bunların geliştirilmesi ve dağıtılması zaman alacak olsa da, yapay zeka veri merkezlerine küçük nükleer santraller vermek, enerjiye aç olan bu kümelerin ulusal elektrik şebekesi üzerindeki yükünü azaltmaya yardımcı olacaktır.
