Bu hafta, VC firmalarından yüz milyonlarca dolar toplayan Nvidia destekli bir girişim olan Sakana Ai, dikkate değer bir iddiada bulundu. Şirket, bazı AI modellerinin eğitimini 100x’e kadar etkili bir şekilde hızlandırabilecek bir AI sistemi olan AI Cuda Mühendisi oluşturduğunu söyledi.
Tek sorun, sistem işe yaramadı.
Kullanıcılar x üzerinde hızla keşfedildi Bu Sakana’nın sistemi aslında ortalamadan daha kötü model eğitim performansıyla sonuçlandı. Bir kullanıcıya göreSakana’nın yapay zekası 3 kat bir yavaşlama ile sonuçlandı – bir hızlanma değil.
Ne yanlış gitti? Koddaki bir hata, postalamak Openai Teknik Personel üyesi Lucas Beyer tarafından.
“Orig kodu yanlış [a] ince bir yol, ”diye yazdı Beyer,“ çılgınca farklı sonuçlarla iki kez kıyaslama yaptıkları gerçeği onları durdurmalı ve düşünmeli. ”
Bir Postmortem yayınlandı Sakana Cuma günü, sistemin – Sakana’nın açıkladığı gibi – “hile” olmanın bir yolunu bulduğunu itiraf etti ve sistemlerin “hack’i ödüllendirme” eğilimini suçladı – yani, istenen hedefe ulaşmadan yüksek metriklere ulaşmak için kusurları tanımlayın (model eğitimini hızlandırma) . Benzer fenomenler gözlendi Satranç oyunları oynamak için eğitilmiş AI.
Sakana’ya göre, sistem değerlendirme kodunda şirketin kullandığı, diğer kontrollerin yanı sıra doğruluk için doğrulamaları atlamasına izin verdiğini buldu. Sakana, sorunu ele aldığını ve iddialarını güncellenmiş materyallerde gözden geçirmeyi planladığını söylüyor.
“O zamandan beri değerlendirme ve çalışma zamanı profili oluşturma kablo demetini, bunların çoğunu ortadan kaldırmak için daha sağlam hale getirdik. [sic] boşluklar, ”diye yazdı şirket bir X yazısında. “Etkileri yansıtmak ve tartışmak için makalemizi ve sonuçlarımızı gözden geçirme sürecindeyiz. […] Okuyucularımıza gözetimimiz için derinden özür dileriz. Yakında bu çalışmanın bir revizyonunu sağlayacağız ve öğrenimlerimizi tartışacağız. ”
Hataya sahip olduğu için Sakana’ya sahne. Ancak bölüm, bir iddia doğru olamayacak kadar iyi geliyorsa, iyi bir hatırlatma, Özellikle AI’damuhtemelen öyle.
