OpenAI, GPT-2’yi 2019’da başlattı ve bildirildiğine göre eğitim için saat başına 256 dolara mal oldu. Ancak, o zamandan bu yana beş yıl geçti ve biz zaten GPT-40’dayız. Donanım, yazılım ve verilerdeki gelişmeler, aynı modeli eğitmenin daha az zaman ve daha az para alacağı anlamına geliyor, çünkü Andrej KarpathyGPT-2’yi llm.c’de yeniden üretme projesinin arkasındaki geliştirici, bunu kanıtladı.
Maliyet tasarruflarının birincil itici gücü, eğitimi yapmak için tek bir 8XH100 düğümü kullanmaktır; bu da maliyeti saatte sadece 28 dolara düşürmüştür; beş yıl gibi kısa bir sürede neredeyse %90 indirim. Nvidia, H100’ü 2023’te piyasaya sürdü, bu nedenle OpenAI, GPT-2 üzerinde çalışmaya başladığında muhtemelen çok daha az güce sahip donanım kullanmıştır. Ancak, GPT-2 için eğitimin kaç saat sürdüğü bilinmemektedir. Karşılaştırıldığında, GPT-4’ü eğitmenin maliyeti 100 milyon dolardan fazlaydı.
llm.c’yi eğitmeyi çok daha hızlı hale getiren bir diğer şey de GPT eğitimini doğrudan uygulamış olmasıdır. Karpathy, “llm.c, C/CUDA’da GPT eğitiminin doğrudan uygulanması olduğundan, gereksinimler asgari düzeydedir; conda ortamlarına, Python yorumlayıcılarına, pip kurulumlarına vb. gerek yoktur. Bir bulut GPU düğümü başlatırsınız, isteğe bağlı olarak NVIDIA cuDNN, NCCL/MPI kurarsınız, .bin veri parçalarını indirir, derler ve çalıştırırsınız ve dakikalar içinde işe koyulursunuz.” dedi. “Daha sonra 24 saat beklersiniz ve And Dağları’ndaki İngilizce konuşan Tekboynuzlar hakkında örneklerin tadını çıkarırsınız.” diye ekledi.
llm.c projesi hayatına bir eğitim videosunun parçası olarak başladı, ancak kısa süre sonra Karpathy’nin ‘bazı PyTorch şeylerine takılıp kalması’ sonrasında sıfırdan inşa ettiği bir şeye dönüştü. Andrej’in yapay zekaya olan tutkusunu ve projesini bitirmek için katlanmaya istekli olduğu uzunlukları gösteriyor. Yine de bunu tek başına başaramadı, çünkü dünyanın dört bir yanından birkaç geliştiricinin desteği vardı.
Yapay zeka eğitimi ucuzlamıyor
Donanım, yazılım ve eğitim verilerindeki gelişmeler, öncü AI eğitiminin daha ucuz hale geldiği anlamına gelmiyor. Anthropic CEO’su Dario Amodei, bugün eğitilen AI modellerinin maliyetinin halihazırda 1 milyar dolar olduğunu, daha pahalı modellerin ise 2025 gibi erken bir tarihte 100 milyar dolara ulaşacağını söyledi.
Bunun nedeni, donanım daha güçlü hale gelse de aynı zamanda daha pahalı hale gelmesidir. Örneğin, Nvidia H100’ler şu anda adet başına 40.000 dolara mal oluyor. Yine de, yeni nesil Blackwell AI çiplerinin 70.000 dolara, komple bir sunucu rafının ise 3.000.000 dolara ve üzerine çıkması bekleniyor, sadece transformatörler için çalışmak üzere tasarlanmış bir ASIC olan Sohu AI çipi gibi donanım atılımları bulmadığımız sürece.
Maliyet etkilerinin yanı sıra, AI veri merkezlerinin artan güç gereksinimleri de birçok uzmanı endişelendirmeye başlıyor. Ortalama %61 yıllık kullanım oranında çalışan tek bir H100 çipi yılda 3,7 MWh elektrik tüketiyor. Nvidia ve diğer tüm oyuncuların geçen yıl 3,8 milyondan fazla AI GPU satmasıyla bu, yılda 14,3 TWh elektrik anlamına geliyor ve 1,3 milyon ortalama Amerikan hanesine güç sağlamaya yetiyor.
Ancak yapay zekaya yatırılan tüm para ve güce rağmen, Google DeepMind CEO’su mevcut modellerin hala bir kedinin IQ seviyesinde olduğunu söylüyor. Yani, gelecekteki modellere hala milyarlarca dolar daha yatırmamız gerekiyor. Ancak eski modelleri kullanarak kendi LLM’nizi kurmayı denemek istiyorsanız, banka hesabınızda 12 haneye ihtiyacınız yok – sadece dili oluşturmak için gereken zekaya ve birkaç yüz dolara ihtiyacınız var.