Şirketin yapay zeka güvenliğine yaklaşımını kamuya açık bir şekilde eleştirmeden önce bu ayın başında OpenAI’den istifa eden önde gelen yapay zeka araştırmacısı Jan Leike, yeni bir “süper hizalama” ekibine liderlik etmek için OpenAI rakibi Anthropic’e katıldı.
X ile ilgili bir gönderide Leike, Anthropic’teki ekibinin yapay zeka emniyeti ve güvenliğinin çeşitli yönlerine, özellikle “ölçeklenebilir gözetim”, “zayıftan güçlüye genelleme” ve otomatik hizalama araştırmasına odaklanacağını söyledi.
Konuya aşina bir kaynak TechCrunch’a, Leike’nin doğrudan Anthropic’in baş bilim sorumlusu Jared Kaplan’a rapor vereceğini ve şu anda ölçeklenebilir gözetim (büyük ölçekli yapay zekanın davranışını öngörülebilir ve arzu edilen şekillerde kontrol etme teknikleri) üzerinde çalışan Antropik araştırmacıların rapor vermeye geçeceğini söyledi. Leike’nin takımı dönerken Leike’ye.
Leike’nin Anthropic’teki ekibi, misyon açısından birçok açıdan OpenAI’nin yakın zamanda dağılan Superalignment ekibine benziyor. Leike’nin de liderliğini yaptığı Superalignment ekibi, önümüzdeki dört yıl içinde süper akıllı yapay zekayı kontrol etmenin temel teknik zorluklarını çözme konusunda iddialı bir hedefe sahipti.
Antropik sıklıkla kendisini OpenAI’den daha fazla güvenlik odaklı olarak konumlandırmaya çalıştı.
Anthropic’in CEO’su Dario Amodei, OpenAI’deki eski araştırma başkan yardımcısıydı ve bildirildiğine göre şirketin yönü (yani OpenAI’nin giderek artan ticari odağı) konusundaki bir anlaşmazlığın ardından OpenAI’den ayrıldı. Amodei, OpenAI’nin eski politika lideri Jack Clark da dahil olmak üzere bir dizi OpenAI çalışanını yanında getirdi.