Yüksek profilli bir eski politika araştırmacısı Miles Brundage, sosyal medyaya götürüldü Çarşamba günü Openai’yi potansiyel olarak riskli AI sistemlerine dağıtım yaklaşımının “tarihini yeniden yazması” için eleştirmek için.
Bu haftanın başlarında, Openai bir belge AI güvenlik ve hizalama konusundaki mevcut felsefesini özetlemek, istenen ve açıklanabilir yollarla davranan AI sistemleri tasarlama süreci. Belgede Openai, bir insanın yapabileceği herhangi bir görevi gerçekleştirebilen AI sistemleri olarak tanımlanan AGI’nin gelişimini, AI teknolojilerinden “tekrarlayan bir şekilde dağıtma ve öğrenme” gerektiren “sürekli bir yol” olarak tanımladığını söyledi.
“Süreksiz bir dünyada […] Güvenlik dersleri, bugünün sistemlerini görünen güçlerine göre büyük bir dikkatle tedavi etmekten kaynaklanmaktadır, [which] aldığımız yaklaşım [our AI model] GPT – 2, ”diye yazdı Openai. “Şimdi ilk AGI’yı, artan yararlılığı artan bir dizi sistem boyunca sadece bir puan olarak görüyoruz […] Sürekli dünyada, bir sonraki sistemi güvenli ve faydalı hale getirmenin yolu mevcut sistemden öğrenmektir. ”
Ancak Brundage, GPT-2’nin serbest bırakıldığı sırada bol miktarda dikkat ettiğini ve bunun Openai’nin yinelemeli dağıtım stratejisiyle “% 100 tutarlı” olduğunu iddia ediyor.
“Openai’nin dahil olduğum GPT-2’yi serbest bırakması% 100 tutarlıydı [with and] Openai’nin şu anki yinelemeli dağıtım felsefesini öngördü, ”Brundage X üzerine bir gönderi yazdı. “Model, her adımda paylaşılan dersler ile artımlı olarak piyasaya sürüldü. O zamanki birçok güvenlik uzmanı bu uyarı için bize teşekkür etti. ”
2018’de Openai’ye araştırma bilimcisi olarak katılan Brundage, şirketin birkaç yıldır politika araştırması başkanıydı. Openai’nin “AGI Hazırlık” ekibinde, Openai’nin AI Chatbot platformu ChatGPT gibi dil üretim sistemlerinin sorumlu konuşlandırılmasına özellikle odaklandı.
Openai’nin 2019’da açıkladığı GPT-2, ChatGPT’yi güçlendiren AI sistemlerinin bir progenitörüydü. GPT-2, bir konu hakkındaki soruları cevaplayabilir, makaleleri özetleyebilir ve bazen insanların ayırt edilemeyen bir düzeyde metin oluşturabilir.
GPT-2 ve çıktıları bugün temel görünse de, o zamanlar en ileri kaldılar. Kötü niyetli kullanım riskine atıfta bulunan Openai, başlangıçta GPT-2’nin kaynak kodunu serbest bırakmayı reddetti, bunun yerine seçilen haber kuruluşlarına bir demoya sınırlı erişim sağlamayı tercih etti.
Karar, AI endüstrisinin karışık incelemeleriyle karşılandı. Birçok uzman, GPT-2 tarafından ortaya çıkan tehdidin abartılmıştıve modelin Openai’nin tarif ettiği yollarda istismar edilebileceğine dair bir kanıt yoktu. AI odaklı yayın gradyanı, bir açık mektup Openai’nin modeli serbest bırakmasını istemek, geri çekilmenin teknolojik olarak çok önemli olduğunu savunuyor.
Openai sonunda modelin açılmasından altı ay sonra GPT-2’nin kısmi bir versiyonunu yayınladı ve ardından birkaç ay sonra tam sistem izledi. Brundage bunun doğru yaklaşım olduğunu düşünüyor.
“Ne parçası [the GPT-2 release] AGI tarafından süreksiz olarak düşünülmeye motive oldu mu? Hiçbiri, ”dedi X’teki bir yazıda.“ Bu uyarı ‘orantısız’ eski ante olduğuna dair kanıt nedir? Ex Post, prob. Tamam olurdu, ama bu onun Yolo’nun sorumlu olduğu anlamına gelmez [sic] O zamanlar bilgi verildi. ”
Brundage, Openai’nin belgenin amacının “endişelerin alarmist olduğu” ve “onlara hareket etmek için yakın tehlikelerin ezici kanıtlarına ihtiyacınız var” diye bir kanıt yükü oluşturmaktır. Bu, ileri AI sistemleri için “çok tehlikeli” bir zihniyet olduğunu savunuyor.
“Hala Openai’de çalışıyor olsaydım, neden bunun nedenini sorardım [document] olduğu gibi yazıldı ve Openai’nin tam olarak ne kadar umduğu şey, poo-pooing dikkatle bu kadar lop-taraflı bir şekilde başarmayı umuyordu ”diye ekledi Brundage.
Openai tarihsel olarak güvenlik pahasına “parlak ürünler” e öncelik vermekle suçlanıyor ve Acele Ürün Bültenleri Rakip şirketleri pazara yenmek için. Geçen yıl, Openai AGI Hazırlık Ekibini çözdü ve bir dizi AI güvenlik ve politika araştırmacısı rakipler için şirketten ayrıldı.
Rekabetçi baskılar sadece arttı. Çinli AI laboratuvarı Deepseek, Openai’nin O1 “akıl yürütme” modelini bir dizi temel ölçütle eşleştiren açık bir R1 modeli ile dünyanın dikkatini çekti. Openai CEO’su Sam Altman, Deepseek’in Openai’nin teknolojik liderliğini azalttığını ve söz konusu Openai daha iyi rekabet etmek için “bazı sürümleri çekecektir”.
Hatta çok para var. Openai yılda milyarları kaybeder ve şirket bildirilmiş Yıllık kayıplarının 2026 yılına kadar 14 milyar dolara ulaşabileceğini öngördü. Daha hızlı bir ürün serbest bırakma döngüsü, Openai’nin kârlılığının yakın bir vadede, ancak muhtemelen uzun vadede güvenlik pahasına fayda sağlayabilir. Brundage gibi uzmanlar, değiş tokuşun buna değip değmeyeceğini sorguluyor.
