Yatırımcılar, Sam Altman’ın OpenAI’den belirsiz bir şekilde ayrılmasının ardından nükleer enerjiye geçmeye hazırlanırken ve Altman şirkete geri dönüşünü planlarken, OpenAI’nin Superalignment ekibinin üyeleri, insanlardan daha akıllı olan yapay zekanın nasıl kontrol edileceği sorunu üzerinde titizlikle çalışıyorlardı.
Ya da en azından vermek istedikleri izlenim bu.
Bu hafta, New Orleans’ta bulunan Superalignment ekibinin üç üyesiyle (Collin Burns, Pavel Izmailov ve Leopold Aschenbrenner) bir telefon görüşmesi yaptım. Yıllık makine öğrenimi konferansı NeurIPS’te, Sunmak OpenAI’nin yapay zeka sistemlerinin amaçlandığı gibi davranmasını sağlamaya yönelik en yeni çalışması.
OpenAI, “süper zeki” yapay zeka sistemlerini, yani insanlarınkini çok aşan zekaya sahip teorik sistemleri yönlendirmek, düzenlemek ve yönetmek için yollar geliştirmek üzere Temmuz ayında Superalignment ekibini kurdu.
“Bugün, temel olarak bizden daha aptal olan modelleri veya belki de insan seviyesine yakın modelleri hizalayabiliyoruz. en fazla” dedi Burns. “Aslında bizden daha akıllı olan bir modeli hizalamak çok çok daha az açıktır; hatta bunu nasıl yapabiliriz?”
Superalignment çabası, Temmuz ayında kaşlarını kaldırmayan OpenAI kurucu ortağı ve baş bilim adamı Ilya Sutskever tarafından yönetiliyor – ancak Sutskever’in başlangıçta Altman’ın kovulması için baskı yapanlar arasında olduğu gerçeği ışığında şimdi kesinlikle kaşlarını kaldırıyor. Bazıları raporlama Sutskever’in, Altman’ın dönüşünün ardından bir “belirsizlik durumu” içinde olduğunu öne süren OpenAI’nin PR’ı bana Sutskever’in gerçekten de – en azından bugün itibariyle – Superalignment ekibinin başında olduğunu söylüyor.
Süper hizalama, yapay zeka araştırma topluluğu içinde biraz hassas bir konudur. Bazıları alt alanın erken olduğunu iddia ediyor; diğerleri bunun kırmızı bir ringa balığı olduğunu ima ediyor.
Altman, OpenAI ile Manhattan Projesi arasında karşılaştırmalar yapılması çağrısında bulunurken, kimyasal ve nükleer tehditler de dahil olmak üzere “felaket risklerine” karşı koruma sağlayacak yapay zeka modellerini araştırmak için bir ekip oluşturacak kadar ileri gitti; ancak bazı uzmanlar, girişimin teknolojisinin işe yarayacağını gösteren çok az kanıt olduğunu söylüyor Yakın zamanda veya gelecekte dünyanın sonunu getirecek, insanları geride bırakacak yeteneklere sahip olun. Bu uzmanlar, süper zekanın yakında olacağı iddialarının, yalnızca algoritmik önyargı ve yapay zekanın toksisiteye yönelik eğilimi gibi günümüzün acil yapay zeka düzenleyici sorunlarından kasıtlı olarak dikkati uzaklaştırmaya ve dikkati dağıtmaya hizmet ettiğini ekliyor.
Ne olursa olsun, Şüksever inanıyor gibi görünüyor ciddiyetle bu yapay zeka — OpenAI’nin kendisi değil, ama bazı düzenlemeler bir gün varoluşsal bir tehdit oluşturabilir. kadar ileri gittiği bildirildi devreye al ve yak Yapay Zekanın insanlığın başına gelmesini engelleme konusundaki kararlılığını göstermek için şirket dışındaki bir şirkette ahşap bir heykel ve Superalignment ekibinin araştırması için OpenAI’nin hesaplamasının önemli bir kısmını (mevcut bilgisayar çiplerinin %20’si) yönetiyor.
Aschenbrenner, “Yapay zekanın gelişimi son zamanlarda olağanüstü derecede hızlı oldu ve sizi temin ederim ki yavaşlamıyor” dedi. “Sanırım çok yakında insan seviyesindeki sistemlere ulaşacağız, ancak bu burada bitmeyecek; doğrudan insanüstü sistemlere geçeceğiz… Peki insanüstü yapay zeka sistemlerini nasıl hizalayacağız ve onları güvenli hale getireceğiz? Bu gerçekten tüm insanlığın sorunu; belki de çağımızın çözülmemiş en önemli teknik sorunu.”
Superalignment ekibi şu anda yönetişim ve kontrol çerçeveleri oluşturmaya çalışıyor. belki gelecekteki güçlü yapay zeka sistemlerine iyi bir şekilde uygulanabilir. “Süper zeka” tanımının ve belirli bir yapay zeka sisteminin bunu başarıp başaramadığının ciddi bir tartışma konusu olduğu göz önüne alındığında, bu basit bir görev değil. Ancak ekibin şimdilik kararlaştırdığı yaklaşım, daha gelişmiş, karmaşık bir modeli (GPT-4) arzu edilen yönlere ve istenmeyen yönlerden uzaklaştırmak için yönlendirmek üzere daha zayıf, daha az karmaşık bir yapay zeka modelinin (örneğin GPT-2) kullanılmasını içeriyor.
Superalignment ekibinin süper akıllı sistemleri hizalamaya yönelik yapay zeka tabanlı benzetmesini gösteren bir şekil.
Burns, “Yapmaya çalıştığımız şeylerin çoğu, bir modele ne yapması gerektiğini söylemek ve bunu yapmasını sağlamaktır” dedi. “Talimatları takip edecek ve uydurma değil, yalnızca doğru olan şeylere yardımcı olacak bir modeli nasıl elde ederiz? Oluşturduğu kodun güvenli mi yoksa kötü bir davranış mı olduğunu bize söyleyecek bir modele nasıl sahip olabiliriz? Bunlar araştırmamızla başarmak istediğimiz görev türleridir.”
Ama bekleyin, diyebilirsiniz ki, yapay zekaya rehberlik eden yapay zekanın, insanlığı tehdit eden yapay zekayı önlemekle ne ilgisi var? Bu bir benzetme: Zayıf model, insan denetçilerin vekili anlamına gelirken, güçlü model, süper akıllı yapay zekayı temsil ediyor. Superalignment ekibi, süper akıllı bir yapay zeka sistemini anlamlandıramayan insanlara benzer şekilde, zayıf modelin güçlü modelin tüm karmaşıklıklarını ve nüanslarını “anlayamayacağını” ve bu kurulumun süper hizalanma hipotezlerini kanıtlamak için yararlı hale getirdiğini söylüyor. .
Izmailov, “Altıncı sınıf öğrencisinin bir üniversite öğrencisini denetlemeye çalıştığını düşünebilirsiniz” dedi. “Diyelim ki altıncı sınıf öğrencisi üniversite öğrencisine nasıl çözeceğini bildiği bir görevi anlatmaya çalışıyor… Her ne kadar altıncı sınıf öğrencisinin denetiminde ayrıntılarda hatalar olsa da, üniversite öğrencisinin konunun özünü anlayacağına ve görevi amirden daha iyi yapabilirdi.”
Superalignment ekibinin kurulumunda, belirli bir göreve göre ince ayar yapılan zayıf bir model, o görevin genel hatlarını güçlü modele “iletmek” için kullanılan etiketler üretir. Ekip, bu etiketler göz önüne alındığında, zayıf modelin etiketlerinde hatalar ve önyargılar olsa bile, güçlü modelin zayıf modelin amacına göre az çok doğru genelleme yapabildiği sonucuna vardı.
Ekip, zayıf-güçlü model yaklaşımının halüsinasyonlar alanında çığır açıcı gelişmelere bile yol açabileceğini iddia ediyor.
Aschenbrenner, “Halüsinasyonlar aslında oldukça ilginç, çünkü model aslında söylediği şeyin gerçek mi yoksa kurgu mu olduğunu dahili olarak biliyor” dedi. “Ancak günümüzde bu modellerin eğitilme şekline göre, insan yöneticiler onları bir şeyler söyledikleri için ‘beğeniyorum’ veya ‘beğenmiyorum’ şeklinde ödüllendiriyor. Dolayısıyla bazen insanlar, istemeden de olsa yanlış olan veya modelin aslında bilmediği şeyler söylediği için modeli ödüllendirirler. Eğer Araştırmamızda başarılıysak, temel olarak modelin bilgisini toplayabileceğimiz ve bu çağrıyı bir şeyin gerçek mi yoksa kurgu mu olduğuna uygulayabileceğimiz ve bunu halüsinasyonları azaltmak için kullanabileceğimiz teknikler geliştirmeliyiz.”
Ancak benzetme mükemmel değil. Bu nedenle OpenAI fikirlerin kitle kaynak yoluyla sağlanmasını istiyor.
Bu amaçla OpenAI, süper zeka uyumuna ilişkin teknik araştırmaları desteklemek için 10 milyon dolarlık bir hibe programı başlatıyor; bunun dilimleri akademik laboratuvarlara, kar amacı gütmeyen kuruluşlara, bireysel araştırmacılara ve lisansüstü öğrencilere ayrılacak. OpenAI ayrıca 2025’in başlarında süper hizalama üzerine bir akademik konferansa ev sahipliği yapmayı planlıyor; burada süper hizalama ödülü finalistlerinin çalışmalarını paylaşacak ve tanıtacak.
İlginç bir şekilde, hibenin finansmanının bir kısmı eski Google CEO’su ve başkanı Eric Schmidt’ten gelecek. Altman’ın ateşli bir destekçisi olan Schmidt, tehlikeli yapay zeka sistemlerinin gelişinin yakın olduğunu ve düzenleyicilerin hazırlık konusunda yeterince çaba göstermediğini ileri sürerek hızla yapay zeka felaketinin poster çocuğu haline geliyor. Bu mutlaka fedakarlık duygusundan kaynaklanmıyor – rapor vermek Protokol Ve kablolu Aktif bir yapay zeka yatırımcısı olan Schmidt’in, ABD hükümetinin yapay zeka araştırmalarını desteklemek için önerdiği planı uygulamaya koyması durumunda ticari olarak büyük fayda sağlayacağını unutmayın.
O halde bağış, alaycı bir bakış açısıyla erdem sinyali olarak algılanabilir. Schmidt’in kişisel serveti tahminen 24 milyar dolar civarında ve yüz milyonları da kesinlikle başkalarına akıttı. daha az etik odaklı Yapay zeka girişimleri ve para kaynağı – kendisininki de dahil.
Schmidt elbette durumun böyle olduğunu reddediyor.
E-postayla gönderdiği açıklamada, “Yapay zeka ve diğer gelişen teknolojiler ekonomimizi ve toplumumuzu yeniden şekillendiriyor” dedi. “Bunların insani değerlerle uyumlu olmasını sağlamak kritik önem taşıyor ve OpenAI’nin yeni yaklaşımını desteklemekten gurur duyuyorum.” [grants] Yapay zekayı kamu yararına sorumlu bir şekilde geliştirmek ve kontrol etmek.
Gerçekten de, bu kadar şeffaf ticari motivasyonlara sahip bir şahsın katılımı şu soruyu akla getiriyor: OpenAI’nin süper hizalama araştırması ve topluluğu gelecekteki konferansa sunmaya teşvik ettiği araştırma, herkesin uygun gördüğü şekilde kullanmasına açık olacak mı?
Superalignment ekibi bana, evet, hem OpenAI’nin (kod dahil) araştırmalarının hem de OpenAI’den hibe ve ödül alan diğer kişilerin süper hizalama ile ilgili çalışmalara ilişkin çalışmalarının kamuya açık olarak paylaşılacağına dair güvence verdi. Şirketi buna bağlı tutacağız.
Aschenbrenner, “Yalnızca modellerimizin güvenliğine değil, diğer laboratuvar modellerinin ve genel olarak gelişmiş yapay zekanın güvenliğine de katkıda bulunmak misyonumuzun bir parçası” dedi. “Bu gerçekten inşa etme misyonumuzun özüdür. [AI] tüm insanlığın yararına, güvenli bir şekilde. Ve bu araştırmayı yapmanın, onu faydalı ve güvenli hale getirmek için kesinlikle gerekli olduğunu düşünüyoruz.”