Ne bilmek istiyorsun
- OpenAI’nin süper hizalama ekibi dağıldıktan sonra yeni bir güvenlik ekibi var.
- Yeni ekip, OpenAI’nin teknolojik ilerlemelerinin kritik emniyet ve güvenlik standartlarını karşılamasını sağlamaya odaklanacak.
- OpenAI, yeni bir AI modelinin test aşamasında olduğunu duyurdu ancak hangi modelin veya ne zaman geniş kapsamlı kullanıma sunulacağını kategorik olarak belirtmedi.
Görünüşe göre OpenAI, süper hizalama ekibini, firmanın güvenlik önlemleri yerine “parlak ürünlere” öncelik vermesi de dahil olmak üzere çeşitli nedenlerden dolayı birden fazla üyenin ayrılmasının ardından feshetti. Ancak şirketin sahip olduğu yeni bir güvenlik ekibi kurduk CEO Sam Altman’ın yanı sıra Adam D’Angelo ve Nicole Seligman (aynı zamanda OpenAI yönetim kurulu üyesi olarak da görev yapıyor) ile birlikte.
Güvenlik ekibinin görevi, OpenAI’nin yapay zeka ortamındaki teknolojik ilerlemelerinin kritik emniyet ve güvenlik standartlarını karşılamasını sağlayacak. Ekibe “OpenAI süreçlerini ve korumalarını değerlendirmek ve daha da geliştirmek” görevi verildi.
Sonuç olarak ekip, keşiflerini OpenAI yönetim kuruluna sunacak. Bulguları analiz ettikten sonra kurul, kendi çıkarımlarını yapacak ve güvenlik ekibinin güvenlik önerilerinin en iyi şekilde nasıl uygulanabileceğini vurgulayacak.
ChatGPT yapımcısı ayrıca yeni bir yapay zeka modelinin test aşamasında olduğunu da doğruladı. Ancak şirket, bunun “gerçekten iyi, maddi olarak daha iyi” GPT-5 modeli olup olmadığını belirtmedi (eğer adı buysa).
Parlak ürünlere kıyasla güvenliğe öncelik mi veriyorsunuz?
Çok sayıda üst düzey yönetici, muhakeme yeteneklerine sahip yeni amiral gemisi GPT-4o modelini piyasaya sürdükten kısa bir süre sonra OpenAI’den ayrıldı. Yeni başlangıçtan ayrılan çalışanların çoğu, uyum departmanını yöneten Jan Leike de dahil olmak üzere firmanın süper uyum ekibinin bir parçasıydı.
Leike, firmaya katıldığını çünkü buranın “yapay zeka sistemlerinin bizden daha akıllı nasıl yönlendirilip kontrol edileceğini” araştırmak için dünyadaki en iyi yer olduğunu düşündüğünü belirtti. Ancak Leike, güvenlik, izleme, hazırlıklı olma, güvenlik, rakiplere karşı sağlamlık, (süper) uyum, gizlilik, toplumsal etki ve daha fazlası dahil olmak üzere yeni nesil modellerin temel öncelikleri konusunda üst düzey yöneticilerle sürekli olarak fikir ayrılığına düştü.
Eski uyum başkanına göre, OpenAI’nin gündeme gelen bazı sorunları çözmesi zordu ve bu da ona şirketin doğru yolda olmadığını hissettiriyordu. Bunun yerine, güvenlik kültürü ve süreçleri arka planda kalırken şirket “parlak ürünlere” daha fazla odaklanmış görünüyordu.
Süper hizalama görevine devam etmek için @AnthropicAI’ye katılmaktan heyecan duyuyorum! Yeni ekibim ölçeklenebilir gözetim, zayıftan güçlüye genelleme ve otomatik hizalama araştırması üzerinde çalışacak. Katılmakla ilgileniyorsanız, dm’lerim açık.28 Mayıs 2024
Başka bir yerde, OpenAI’nin eski hizalama başkanı Jan Leike kısa süre önce Amazon’un Antropik AI’sına katıldığını ve burada süper hizalama görevine devam etmeyi planladığını duyurdu. Leike özellikle “ölçeklenebilir gözetim, zayıftan güçlüye genelleme ve otomatik hizalama araştırması” çalışmalarına odaklanacak.
