Geçen ay, AI kurucuları ve yatırımcıları TechCrunch’a şu anda “yasaların ölçeklendirilmesinde ikinci çağda” olduğumuzu söylediler ve AI modellerini iyileştirmeye yönelik yerleşik yöntemlerin nasıl azalan getiriler gösterdiğine dikkat çektiler. Kazançları korumak için önerdikleri umut verici yeni yöntemlerden biri de “test zamanı ölçeklendirmesi” idi; bu, OpenAI’nin o3 modelinin performansının arkasında yatan şey gibi görünüyor – ancak bunun da kendi dezavantajları var.
Yapay zeka dünyasının büyük bir kısmı, OpenAI’nin o3 modelinin duyurusunu, yapay zeka ölçeklendirme ilerlemesinin “duvara çarpmadığının” kanıtı olarak kabul etti. o3 modeli kıyaslamalarda iyi bir performans sergiliyor, ARC-AGI adı verilen bir genel yetenek testinde diğer tüm modelleri önemli ölçüde geride bırakıyor ve genel değerlendirmede %25 puan alıyor. zor matematik testi başka hiçbir yapay zeka modelinin %2’den fazla puan alamadığı görüldü.
Elbette biz TechCrunch olarak o3’ü kendimiz test edene kadar tüm bunlara biraz şüpheyle yaklaşıyoruz (şu ana kadar çok az kişi bunu denedi). Ancak o3 yayınlanmadan önce bile yapay zeka dünyası büyük bir şeyin değiştiğine ikna olmuştu.
OpenAI’nin o-serisi modellerin ortak yaratıcısı Noam Brown Cuma günü, girişimin o3’ün etkileyici kazanımlarını, girişimin o1’i duyurmasından sadece üç ay sonra açıkladığını belirtti; bu, performansta böyle bir sıçrama için nispeten kısa bir zaman dilimiydi.
Brown, “Bu gidişatın devam edeceğine inanmak için her türlü nedenimiz var” dedi. cıvıldamak.
Anthropic’in kurucu ortağı Jack Clark şunları söyledi: blog yazısı Pazartesi günü o3’ün yapay zekanın “2025’te ilerlemesinin 2024’e göre daha hızlı olacağının” kanıtı olduğunu söyledi. (Clark bir rakibi tamamlıyor olsa bile yapay zeka ölçeklendirme yasalarının devam ettiğini öne sürmenin Anthropic’e, özellikle de sermaye artırma becerisine fayda sağladığını unutmayın.)
Gelecek yıl Clark, yapay zeka dünyasının, yapay zeka modellerinden daha fazla getiri elde etmek için test zamanı ölçeklendirmesi ile geleneksel eğitim öncesi ölçeklendirme yöntemlerini bir araya getireceğini söylüyor. Belki de Anthropic ve diğer AI model sağlayıcılarının, Google’ın geçen hafta yaptığı gibi 2025’te kendi muhakeme modellerini yayınlayacaklarını öne sürüyor.
Test süresi ölçeklendirmesi, OpenAI’nin ChatGPT’nin çıkarım aşamasında, yani bir komut isteminde enter tuşuna bastıktan sonraki süre boyunca daha fazla bilgi işlem kullandığı anlamına gelir. Perde arkasında tam olarak ne olduğu belli değil: OpenAI ya bir kullanıcının sorusunu yanıtlamak için daha fazla bilgisayar çipi kullanıyor, daha güçlü çıkarım çipleri çalıştırıyor ya da bu çipleri daha uzun süreler boyunca (bazı durumlarda 10 ila 15 dakika) çalıştırıyor. Yapay zeka bir cevap üretir. o3’ün nasıl yapıldığına dair tüm ayrıntıları bilmiyoruz ancak bu kıyaslamalar, test zamanı ölçeklendirmesinin yapay zeka modellerinin performansını artırmak için işe yarayabileceğinin ilk işaretleridir.
o3, bazılarına yapay zeka ölçeklendirme yasalarının ilerleyişine dair yenilenmiş bir inanç verebilirken, OpenAI’nin en yeni modeli aynı zamanda daha önce görülmemiş bir bilgi işlem düzeyi kullanıyor; bu da yanıt başına daha yüksek bir fiyat anlamına geliyor.
“Belki de buradaki tek önemli uyarı, O3’ün bu kadar iyi olmasının bir nedeninin, çıkarım zamanında çalıştırmanın daha fazla paraya mal olması olduğunu anlamaktır; test zamanı hesaplamasını kullanma yeteneği, bazı problemlerde hesaplamayı daha iyi bir cevaba dönüştürebileceğiniz anlamına gelir. Clark blogunda yazıyor. “Bu ilginç çünkü yapay zeka sistemlerini çalıştırmanın maliyetlerini biraz daha az öngörülebilir hale getirdi; önceden, yalnızca modele ve belirli bir çıktıyı üretmenin maliyetine bakarak üretken bir model sunmanın ne kadara mal olacağını hesaplayabiliyordunuz.”
Clark ve diğerleri, o3’ün ARC-AGI kriterindeki (AGI’deki atılımları değerlendirmek için kullanılan zor bir test) performansını ilerlemenin bir göstergesi olarak gösterdi. Yaratıcılarına göre bu testi geçmenin bir yapay zeka modeli anlamına gelmediğini belirtmekte fayda var. elde etti AGI, daha ziyade belirsiz hedefe doğru ilerlemeyi ölçmenin bir yoludur. Bununla birlikte o3 modeli, testi yapan önceki tüm yapay zeka modellerinin puanlarını geride bırakarak denemelerinden birinde %88 puan aldı. OpenAI’nin bir sonraki en iyi yapay zeka modeli o1 yalnızca %32 puan aldı.
Ancak bu grafikteki logaritmik x ekseni bazıları için endişe verici olabilir. o3’ün yüksek puan alan sürümü, her görev için 1000 dolardan fazla değerde bilgi işlem kullandı. o1 modelleri görev başına yaklaşık 5 ABD doları tutarında bilgi işlem kullanıyordu ve o1-mini yalnızca birkaç sent kullanıyordu.
ARC-AGI kıyaslamasının yaratıcısı François Chollet şöyle yazıyor: blog OpenAI’nin bu %88 puanı elde etmek için yalnızca %12 daha düşük puan alan o3’ün yüksek verimli sürümüne kıyasla yaklaşık 170 kat daha fazla bilgi işlem kullandığı görüldü. o3’ün yüksek puan alan sürümü, testi tamamlamak için 10.000 dolardan fazla kaynak kullandı; bu da yapay zeka modellerinin ARC testini geçmesi için yenilmez bir rekabet olan ARC Ödülü için rekabet etmeyi çok pahalı hale getiriyor.
Ancak Chollet, o3’ün yine de yapay zeka modelleri için bir atılım olduğunu söylüyor.
Blogda Chollet, “o3, daha önce hiç karşılaşmadığı görevlere uyum sağlayabilen, muhtemelen ARC-AGI alanında insan düzeyindeki performansa yaklaşan bir sistemdir” dedi. “Tabii ki, böylesi bir genellemenin yüksek bir maliyeti var ve henüz tam olarak ekonomik değil: ARC-AGI görevlerini çözmesi için bir insana görev başına kabaca 5 dolar ödeyebilirsiniz (biliyoruz, bunu yaptık), üstelik sadece birkaç sent harcayarak. enerjide.”
Tüm bunların kesin fiyatlandırmasını söylemek için henüz erken; geçen yıl AI modellerinin fiyatlarının düştüğünü gördük ve OpenAI henüz o3’ün gerçekte ne kadara mal olacağını açıklamadı. Ancak bu fiyatlar, günümüzün önde gelen yapay zeka modellerinin belirlediği performans engellerini az da olsa aşmak için ne kadar bilgi işlem gerektiğini gösteriyor.
Bu bazı soruları gündeme getiriyor. O3 gerçekte ne içindir? Ve o4, o5 veya OpenAI’nin bir sonraki akıl yürütme modeline verdiği isim ne olursa olsun, çıkarım konusunda daha fazla kazanç elde etmek için ne kadar daha fazla bilgi işlem gereklidir?
o3 veya onun halefleri, GPT-4o veya Google Arama gibi kimsenin “günlük sürücüsü” olacak gibi görünmüyor. Bu modeller, gün boyunca “Cleveland Browns nasıl hâlâ 2024 play-off’larına kalabiliyor?” gibi küçük soruları yanıtlamak için çok fazla bilgi işlem kullanıyor.
Bunun yerine, ölçeklendirilmiş test zamanı hesaplamasına sahip yapay zeka modelleri yalnızca “Cleveland Browns 2027’de nasıl Super Bowl serisi haline gelebilir?” gibi büyük resim soruları için iyi olabilir gibi görünüyor. O zaman bile, eğer Cleveland Browns’un genel müdürüyseniz ve bazı büyük kararlar almak için bu araçları kullanıyorsanız, belki de yüksek hesaplama maliyetlerine değer.
Wharton profesörü Ethan Mollick’in bir yazısında belirttiği gibi, en azından başlangıçta o3’ü karşılayabilenler yalnızca bütçesi geniş olan kurumlar olabilir. cıvıldamak.
OpenAI’nin o1’in yüksek hesaplamalı sürümünü kullanmak için 200 ABD doları değerinde bir katman yayınladığını zaten gördük, ancak girişim bildirildiğine göre 2.000 dolara varan abonelik planları oluşturmaya ağırlık verildi. O3’ün ne kadar bilgi işlem kullandığını gördüğünüzde OpenAI’nin bunu neden dikkate aldığını anlayabilirsiniz.
Ancak yüksek etkili işler için o3 kullanmanın dezavantajları vardır. Chollet’nin belirttiği gibi o3, AGI değildir ve bir insanın kolaylıkla yapabileceği bazı çok kolay görevlerde hâlâ başarısız olmaktadır.
Büyük dil modellerinde hâlâ büyük bir halüsinasyon sorunu bulunduğundan, bu pek de şaşırtıcı değil; o3 ve test zamanı hesaplaması bu sorunu çözmüş gibi görünmüyor. Bu nedenle ChatGPT ve Gemini, ürettikleri her yanıtın altına sorumluluk reddi beyanları ekleyerek kullanıcılardan yanıtlara göründüğü gibi güvenmemelerini ister. Muhtemelen AGI’ye ulaşılması durumunda böyle bir sorumluluk reddi beyanına ihtiyaç duyulmayacaktır.
Test zamanı ölçeklendirmesinde daha fazla kazanım elde etmenin bir yolu, daha iyi yapay zeka çıkarım çipleri olabilir. Groq veya Cerebras gibi sadece bu sorunla uğraşan startup’larda bir eksiklik yok; diğer startup’lar ise MatX gibi daha uygun maliyetli yapay zeka çipleri tasarlıyor. Andreessen Horowitz’in genel ortağı Anjney Midha daha önce TechCrunch’a bu girişimlerin test zamanı ölçeklendirmesinde daha büyük bir rol oynamasını beklediğini söylemişti.
o3, AI modellerinin performansında dikkate değer bir gelişme olsa da, kullanım ve maliyetlerle ilgili birçok yeni soruyu gündeme getiriyor. Bununla birlikte, o3’ün performansı, test zamanındaki hesaplamanın teknoloji endüstrisinin yapay zeka modellerini ölçeklendirmenin bir sonraki en iyi yolu olduğu iddiasına güven katıyor.
