Alibaba Perşembe günü, mantık yeteneği açısından OpenAI’nin GPT-o1 serisi modellerine rakip olacağı söylenen yeni bir yapay zeka (AI) modelini yayınladı. Önizleme aşamasında başlatılan QwQ-32B geniş dil modelinin (LLM), çeşitli matematiksel ve mantıksal akıl yürütmeyle ilgili kıyaslamalarda GPT-o1 önizlemesinden daha iyi performans gösterdiği söyleniyor. Yeni yapay zeka modeli Hugging Face’ten indirilebiliyor ancak tamamen açık kaynaklı değil. Yakın zamanda başka bir Çinli yapay zeka firması, ChatGPT üreticisinin akıl yürütme odaklı temel modellerine rakip olduğu iddia edilen açık kaynaklı yapay zeka modeli DeepSeek-R1’i piyasaya sürdü.
Alibaba QwQ-32B Yapay Zeka Modeli
bir blog yazısıAlibaba, akıl yürütme odaklı yeni LLM’yi ayrıntılı olarak anlattı ve yeteneklerini ve sınırlamalarını vurguladı. QwQ-32B şu anda önizleme olarak mevcuttur. Adından da anlaşılacağı gibi 32 milyar parametre üzerine kuruludur ve 32.000 tokenlik bir bağlam penceresine sahiptir. Model hem eğitim öncesi hem de eğitim sonrası aşamaları tamamlamıştır.
Mimarisine gelince Çinli teknoloji devi, yapay zeka modelinin transformatör teknolojisine dayandığını ortaya çıkardı. Konumsal kodlama için QwQ-32B, Anahtarlamalı Doğrusal Birim (SwiGLU) ve Ortalama Karekök Normalleştirme (RMSNorm) fonksiyonlarının yanı sıra, Dikkat Sorgu-Anahtar-Değer Sapması (Attention QKV) sapması ile birlikte Döner Konum Gömmeleri (RoPE) kullanır.
Tıpkı OpenAI GPT-o1 gibi, AI modeli de bir kullanıcı sorgusunu değerlendirirken ve doğru yanıtı bulmaya çalışırken kendi dahili monologunu gösterir. Bu dahili düşünce süreci, QwQ-32B’nin çeşitli teorileri test etmesine ve nihai cevabı sunmadan önce kendisinin doğruluğunu kontrol etmesine olanak tanır. Alibaba, LLM’nin dahili testler sırasında MATH-500 değerlendirmesinde yüzde 90,6 ve AI Matematiksel Değerlendirme (AIME) değerlendirmesinde yüzde 50 puan aldığını ve OpenAI’nin akıl yürütme odaklı modellerinden daha iyi performans gösterdiğini iddia ediyor.
Özellikle, daha iyi akıl yürütmeye sahip yapay zeka modelleri, modellerin daha akıllı veya yetenekli hale geldiğinin kanıtı değildir. Bu, test süresi hesaplaması olarak da bilinen ve modellerin bir görevi tamamlamak için ek işlem süresi harcamasına olanak tanıyan yeni bir yaklaşımdır. Sonuç olarak yapay zeka daha doğru yanıtlar verebilir ve daha karmaşık soruları çözebilir. Endüstrinin duayenlerinden bazıları, yeni LLM’lerin eski versiyonlarıyla aynı oranda gelişmediğine dikkat çekerek, mevcut mimarilerin bir doyum noktasına ulaştığını öne sürüyor.
QwQ-32B, sorgular üzerinde ek işlem süresi harcadığından çeşitli sınırlamalara da sahiptir. Alibaba, yapay zeka modelinin bazen dilleri karıştırabildiğini veya diller arasında geçiş yaparak dil karıştırma ve kod değiştirme gibi sorunlara yol açabildiğini belirtti. Aynı zamanda akıl yürütme döngülerine girme eğilimindedir ve matematik ve akıl yürütme becerilerinin yanı sıra diğer alanlarda da hâlâ iyileştirmeler gerekmektedir.
Alibaba’nın yapay zeka modelini Hugging Face aracılığıyla kullanıma sunması dikkat çekicidir. listeleme hem bireyler hem de şirketler Apache 2.0 lisansı kapsamında kişisel, akademik ve ticari amaçlarla indirebilir. Ancak şirket model ağırlıklarını ve verilerini kullanıma sunmadı; bu da kullanıcıların modeli kopyalayamayacağı veya mimarinin nasıl çalıştığını anlayamadığı anlamına geliyor.
