Çinli şirket 01.ai, büyük üretken yapay zeka modellerinin eğitimi alanında devrim yapmış gibi görünüyor. En azından bu firmanın kendi açıklamaları tam da bunu gösteriyor.
Şirketin kurucusu ve genel müdürü Kai-Fu Lee, şirketinin yalnızca 2.000 GPU kullanarak ve yalnızca 3 milyon dolara mal olarak en ileri yapay zeka modellerinden birini eğittiğini söyledi.
Karşılaştırma yapmak gerekirse, çeşitli kaynaklara göre GPT-4, on binlerce Nvidia H100 hızlandırıcı kullanılarak eğitildi ve 80-100 milyon dolar harcandı ve GPT-5’e halihazırda yaklaşık 1 milyar dolar harcandığı iddia ediliyor.
01.ai’deki grafiğe göre Yi-Lightning modeli, Berkeley’deki Kaliforniya Üniversitesi’ndeki LMSIS tarafından ölçülen performansta altıncı sırada yer alıyor. Aynı zamanda elbette modern modeller birçok farklı parametreye göre karşılaştırılabiliyor, dolayısıyla burada henüz yeterli veri yok.
01.ai modeli GPT-4 ile tam olarak rekabet edemese bile sonuçlar yine de etkileyici. Model performansını iyileştirmek için 01.ai, çok katmanlı bir önbellekleme sistemi oluşturarak ve hızı ve kaynak tahsisini optimize etmek için özel bir çıkarım motoru geliştirerek çıkarım sürecindeki darboğazları azaltmaya odaklandı. Sonuç olarak, para çekme maliyetleri benzer modellere göre önemli ölçüde daha düşüktür (milyon jeton başına 10 sent). Bu, benzer rakip modellerin tipik fiyatının yaklaşık 1/30’u kadardır.
İlginçtir ki, bu tür başarılar aslında ABD yaptırımları sayesinde elde edildi, çünkü şirketin yalnızca 2.000 hızlandırıcısı vardı ve daha fazlasını satın alamıyordu.
Yalnızca 2.000 GPU’muz olduğunda, ekibin bunları tam potansiyelleriyle nasıl kullanacağını bulması gerekiyor
