Yeni Bir’ye göre, Stanford ve Washington Üniversitesi’ndeki AI araştırmacıları, bulut hesaplama kredilerinde 50 doların altında bir AI “akıl yürütme” modeli eğitebildiler. araştırma makalesi Geçen Cuma çıktı.
S1 olarak bilinen model, matematik ve kodlama yeteneklerini ölçen testlerde Openai’s O1 ve Deepseek’in R1 gibi en son akıl yürütme modellerine benzer şekilde performans gösterir. S1 modeli GitHub’da mevcuteğitmek için kullanılan veriler ve kod ile birlikte.
S1’in arkasındaki ekip, hazır bir temel modelle başladıklarını, daha sonra damıtma yoluyla ince ayarladıklarını, cevapları üzerinde eğitim alarak başka bir AI modelinden “akıl yürütme” yeteneklerini çıkarma süreci.
Araştırmacılar, S1’in Google’ın akıl yürütme modellerinden biri olan Gemini 2.0 flaş düşünme deneyinden damıtıldığını söyledi. Damıtma, Berkeley araştırmacılarının geçen ay yaklaşık 450 dolarlık bir AI akıl yürütme modeli oluşturdukları yaklaşımla aynı.
Bazıları için, milyonlarca dolarlık birkaç araştırmacının arkasında AI alanında hala yenilik yapabileceği fikri heyecan verici. Ancak S1, AI modellerinin metalaştırılması hakkında gerçek sorular ortaya çıkarır.
Birisi göreceli cep değişikliğiyle milyonlarca dolarlık bir modeli yakından kopyalayabilirse hendek nerede?
Şaşırtıcı olmayan bir şekilde, Big AI laboratuvarları mutlu değil. Openai, Deepseek’i API’sından yanlış hasat etmekle suçladı. model damıtma.
S1’in arkasındaki araştırmacılar, güçlü akıl yürütme performansı ve “test zamanı ölçeklendirme” elde etmek için en basit yaklaşımı bulmak veya bir AI modelinin bir soruyu cevaplamadan önce daha fazla düşünmesine izin vermek istiyorlardı. Bunlar, Deepseek ve diğer AI laboratuvarlarının çeşitli tekniklerle çoğaltmaya çalıştığı Openai’nin O1’deki atılımlardan birkaçı idi.
S1 makalesi, akıl yürütme modellerinin, bir AI modelinin bir veri kümesindeki belirli davranışları taklit etmesi için açıkça talimat verildiği denetimli ince ayar (SFT) adı verilen bir işlem kullanılarak nispeten küçük bir veri kümesi ile damıtılabileceğini düşündürmektedir.
SFT, Deepseek’in rakibini Openai’nin O1 modeli R1’e eğitmek için kullandığı büyük ölçekli takviye öğrenme yönteminden daha ucuz olma eğilimindedir.
Google, Google AI stüdyo platformu aracılığıyla günlük ücret sınırları olsa da Gemini 2.0 flaş düşünme deneyine ücretsiz erişim sunar.
Google’ın şartları, şirketin kendi AI teklifleriyle rekabet eden hizmetler geliştirmek için modellerini tersine dönüştürmeyi yasaklıyor. Yorum için Google’a ulaştık.
S1, ücretsiz indirilebilecek Alibaba-sahip olduğu Çin AI Lab Qwen’den küçük, hazır bir AI modeline dayanmaktadır. S1’i eğitmek için araştırmacılar, bu soruların cevaplarıyla eşleştirilmiş, sadece 1.000 özenle küratörlü sorudan oluşan bir veri kümesi ve Google’ın Gemini 2.0 Flash Düşünme deneyinden her cevabın arkasındaki “düşünme” sürecini oluşturdular.
Araştırmacılara göre, 16 NVIDIA H100 GPU’yu kullanarak 30 dakikadan az süren S1’i eğittikten sonra S1, bazı AI ölçütlerinde güçlü performans elde etti. Projede çalışan bir Stanford araştırmacısı olan Niklas Muennighoff, TechCrunch’a bugün gerekli hesaplamayı yaklaşık 20 $ karşılığında kiralayabileceğini söyledi.
Araştırmacılar, S1’in çalışmalarını iki kez kontrol etmek ve “düşünme” zamanını uzatmak için şık bir hile kullandılar: beklemesini söylediler. S1’in akıl yürütmesi sırasında “bekle” kelimesini eklemek, modelin makaleye göre biraz daha doğru cevaplara ulaşmasına yardımcı oldu.
2025’te Meta, Google ve Microsoft AI altyapısına yüz milyarlarca dolar yatırmayı planlayınkısmen yeni nesil AI modellerini eğitmeye gidecek.
AI inovasyonunun zarfını zorlamak için bu yatırım seviyesi hala gerekli olabilir. Damıtma, bir AI modelinin yeteneklerini ucuz bir şekilde yeniden oluşturmak için iyi bir yöntem olduğunu göstermiştir, ancak bugün mevcut olandan çok daha iyi yeni AI modelleri oluşturmaz.
