Bu bir yatırım tavsiyesi değildir. Yazarın bahsi geçen hisse senetlerinin hiçbirinde pozisyonu bulunmamaktadır. Wccftech.com’un bir bilgilendirme ve etik politikası vardır.
Her ne kadar GPT-4 şu anda giderek karmaşıklaşan üretken yapay zeka dünyasının zirvesinde olsa da, Anthropic’in Claude’u ve Meta’nın açık kaynaklı Llama’sı da dahil olmak üzere rakipleri daha iyi olmaya devam ediyor ve OpenAI’nin amiral gemisi olan Büyük Dil Modeli’nin (LLM) bir kez daha yinelenmesini gerektiriyor. Birçok iken beklemek Sam Altman’ın kar amacı gütmeyen GPT-5’i 2024’te piyasaya sürmesine rağmen, bazı analistler artık bu beklentilerin, özellikle de gerekli kaynakların boyutu göz önüne alındığında, çok uzak kaldığını iddia ediyor.
GPT-5, GPT-4’ün Yaklaşık ~100 Katı Hesaplama Kaynağına veya 3 Aylık ~1 Milyon H100’e İhtiyaç Duyar
GPT-5’in bu yıl çıkması pek olası görünmüyor.
GPT-1’den bu yana, hesaplama açısından GPT-n ile GPT-n+0,5 arasındaki fark ~10 kattır.
Bu, GPT-5’in GPT-4 hesaplamasının yaklaşık ~100 katı veya 3 aylık ~1 milyon H100’e sahip olacağı anlamına gelir.
OpenAI’nin 1 milyon GPU’luk hazır bir sunucusu olduğundan şüpheliyim. https://t.co/asJWNLkO23— Dan Hendrycks (@DanHendrycks) 22 Nisan 2024
Yapay Zeka Güvenliği Merkezi direktörü Dan Hendrycks’e göre, OpenAI’nin GPT LLM’sinin her artan yinelemesi, hesaplama kaynaklarında 10 kat artış gerektiriyordu. sonuç olarak, eğer OpenAI GPT-4.5’i atlayıp doğrudan GPT-5’e geçerse, bu, GPT-4’e göre hesaplama gereksinimlerinde yaklaşık 100 kat artış anlamına gelecektir; bu, art arda üç ay boyunca yaklaşık 1 milyon H100 yongasının çalıştırılmasına eşdeğerdir.
Sam, bu yıl harika bir model çıkaracaklarını söyledi ancak adının ne olacağını bilmiyor. Dario, şu anda antrenman yapanların 1 milyar dolarlık koşular olduğunu söyledi. Bu da GPT-4.5’in GPT-4’ten 10 kat daha fazla işlem gücüne sahip olmasıyla paralellik gösterir.https://t.co/Nyvv3j2uri
— MachDiamonds (@andromeda74356) 22 Nisan 2024
Bu tez, Anthropic’in CEO’su Dario Amodei’nin son teknolojiye sahip bir Yüksek Lisans eğitiminin şu anda yaklaşık 1 milyar dolara mal olduğunu ve bu maliyetin 2017 yılına kadar 5 milyar ila 10 milyar dolar arasına çıkmasının beklendiğini belirten yorumlarıyla destekleniyor. 2025/26. En önemlisi, eğitim maliyetlerinin 1 milyar doları, GPT-4.5 için makul bir şekilde çıkarsanabilecek hesaplama kaynaklarındaki 10 kat artışla uyumludur.
Geçtiğimiz günlerde NVIDIA’nın bu yıl konuşlandırılan H100 ünitelerinin yılda yaklaşık 13.000 GWh elektrik tüketmesinin beklendiğini, bunun da Litvanya ve Guatemala gibi ülkelerin yıllık elektrik tüketimine eşdeğer olduğunu belirtmiştik. 2027 yılına gelindiğinde, veri merkezlerinin küresel güç tüketiminin 85 ila 134 TWh (terawatt-saat) arasına fırlaması bekleniyor!
Llama3-70B 5. sıraya yerleşti. Sırada 405B varken…
GPT-4’ün Mart 2023’te piyasaya sürüldüğü zamanı hatırlıyorum, aynı performansa ulaşmanın neredeyse imkansız gibi göründüğünü hatırlıyorum.
O zamandan beri gördüm @Ahmad_Al_Dahle ve GenAI organizasyonunun geri kalanı kaotik bir şekilde odaklanmaya başlıyor,… https://t.co/xUMHhW8sIX
— Soumith Chintala (@soumithchintala) 22 Nisan 2024
Elbette GPT-4’ün rekabeti hızla yaklaşıyor. Artık Arena liderlik kurulunda beşinci sırada yer alan Meta’nın Llama 3 LLM’sinden (70 milyar parametre) başka bir yere bakmayın. Kritik olarak, Llama 3 şu anda diğer tüm açık kaynaklı LLM’lerden daha iyi performans gösteriyor ve bu, yaklaşmakta olan 405 milyar parametreli modelin yokluğunda gerçekleşiyor.
GPT-5’in GPU kaynaklarının eksikliğinden daha fazla gecikeceğinden şüpheleniyorum. Bu, GPT-4’ün yayınlanmasından sonra orijinal müfredatı değiştirme ihtiyacının farkına varılmasıdır. Kötü seçilmiş insan konuşmalarını özümsemek ve saf bir eğitim müfredatı, sonuçsuz kalan meyvelerdi. Diğerlerinin çoğu… https://t.co/7QO7Zykk2e
— Carlos E. Perez (@IntuitMachine) 22 Nisan 2024
Dahası, bazı uzmanlar artık GPT-5 için OpenAI’nin “kötü seçilmiş insan konuşmalarından” ve genel olarak “naif” eğitim sürecinden yararlanmayı içeren “orijinal müfredatı” değiştirmek zorunda kalacağına inanıyor. Bu, OpenAI’nin GPT-5 ile riskleri tamamen yükseltmek yerine bu yıl yinelemeli bir GPT-4.5 modeli yayınlayacağı yönündeki orijinal tezimize ekleniyor.