OpenAI Perşembe günü yayınlanan yeni bir araştırma makalesi, insanüstü bir yapay zekanın geleceğini ve şirketin bunun insanlara karşı gelmemesini sağlayacak araçlar geliştirdiğini söylüyor. OpenAI’nin Baş Bilimcisi Ilya Sutskever, baş yazar olarak listeleniyor kağıtama değil Blog yazısı bu da beraberinde geldi ve şirketteki rolü belirsizliğini koruyor.
OpenAI, “Süper zekanın (insanlardan çok daha akıllı olan yapay zekanın) önümüzdeki on yıl içinde geliştirilebileceğine inanıyoruz” dedi. Blog yazısı. “Gelecekteki insanüstü yapay zeka sistemlerinin güvenli olacak şekilde nasıl hizalanacağını bulmak hiç bu kadar önemli olmamıştı ve bu sorun üzerinde ampirik ilerleme kaydetmek artık her zamankinden daha kolay.”
“Zayıftan güçlüye genelleme” Ilya Sutskever ve Jan Leike’nin “Süper Hizalama” ekibinin ilk makalesidir. Temmuz ayında oluşturuldu insanlardan çok daha akıllı olan yapay zeka sistemlerinin hâlâ insan kurallarına uymasını sağlamak. Önerilen çözüm? OpenAI’nin insanüstü yapay zeka modellerini öğretmek için küçük yapay zeka modelleri tasarlaması gerekiyor.
Şu anda OpenAI, ChatGPT’ye iyi geri bildirim veya olumsuz geri bildirim vererek “uyumlulaştırmak” için insanları kullanıyor. OpenAI, ChatGPT’nin insanlara evde napalm inşa etme talimatları veya diğer tehlikeli sonuçlar vermemesini bu şekilde sağlıyor. Ancak ChatGPT akıllılaştıkça OpenAI, insanların bu modelleri eğitmek için yeterli olmayacağını kabul ediyor, bu nedenle bunu bizim adımıza yapması için daha az karmaşık bir yapay zeka yetiştirmemiz gerekiyor.
Bu, Sam Altman’ın Sutskever’in statüsünden ayrılırken neredeyse herkesin OpenAI’ye geri döndüğünü duyurmasından bu yana Ilya Sutskever’in OpenAI’deki ilk yaşam belirtisi. havada kalmış. OpenAI’nin kurucu ortaklarından biri olan Sutskever, OpenAI’nin arkasındaki yönetim kurulu üyelerinden biriydi. Altman kovuyorKendisi, sorumlu yapay zeka dağıtımı konusunda yapay zeka topluluğunun önde gelen seslerinden biridir. Artık şirketi ileriye taşımıyor ama yine de orada bir rolü olabilir.
OpenAI’nin Superalignment ekibinin diğer lideri Leike, İlya’ya övgüler yağdırdı Perşembe günü “yangını körükledikleri” için, ancak diğerlerini “işleri her gün ileriye taşıdıkları için” övdü. Yorumlar, Sutskever’in bu projeyi başlatıp başlatmadığı ancak bitirmeye hazır olup olmadığı sorusunu gündeme getiriyor.
Kaynaklara göre, son birkaç haftadır şirkette görünmez olduğu ve bir avukat tuttuğu bildirildi İşletme İçeriği. Jan Leike ve OpenAI’nin Superalignment ekibinin diğer üyeleri bu dönüm noktası niteliğindeki makale hakkında kamuoyuna açıklamalarda bulundular ancak Sutskever tek bir kelime bile söylemedi; sadece retweet yaptı.
Çalışma, büyük yapay zeka modellerini daha küçük yapay zeka modelleriyle eğitmenin, “zayıftan güçlüye genelleme” olarak adlandırdıkları şeyin, insan eğitimine kıyasla birden fazla durumda daha yüksek düzeyde doğrulukla sonuçlandığını buldu. Çalışmanın çoğunda GPT-4’ü eğitmek için GPT-2 kullanıldı. OpenAI’nin bunun süper hizalama için bir “çözüm” olduğuna ikna olmadığını, bunun yalnızca insanüstü bir yapay zekayı eğitmek için umut verici bir çerçeve olduğunu söylediğini belirtmek önemlidir.
Çalışmadaki OpenAI araştırmacıları, “Genel olarak insanüstü modeller olağanüstü derecede güçlü olacaktır ve yanlış kullanılırsa veya insani değerlerle yanlış hizalanırsa, potansiyel olarak felaketle sonuçlanabilecek zararlara neden olabilir” dedi ve bu konunun ampirik olarak nasıl çalışılacağının belirsiz olduğunu belirtti. “Artık bu sorun üzerinde ilerleme kaydetmenin her zamankinden daha kolay olduğuna inanıyoruz.”
Bu konuda ciddi spekülasyonlar vardı OpenAI AGI’ye yakındı Kasım ayında, çoğu sonuçsuz olmasına rağmen. Bu makale, OpenAI’nin aktif olarak bir YGZ’yi kontrol etmek için araçlar geliştirdiğini doğruluyor ancak bir YGZ’nin varlığını doğrulamaıyor. Ilya Sutskever’in durumu hala garip bir belirsizlik içinde. OpenAI şirketteki konumunu doğrulamadı ancak ekibi, kurumsal duyuruları retweet ederken sessizce çığır açan bir araştırma ortaya koydu.
