Bugün OpenAI duyuruldu “felaket riskleri” olarak tanımladığı şeye karşı koruma sağlamak amacıyla yapay zeka modellerini değerlendirmek, değerlendirmek ve araştırmak için yeni bir ekip oluşturulduğunu söyledi.
Hazırlık adı verilen ekip, MIT’nin Konuşlandırılabilir Makine Öğrenimi Merkezi direktörü Aleksander Madry tarafından yönetilecek. (Madry Mayıs ayında OpenAI’ye “Hazırlık Başkanı” olarak katıldı.) binaen Hazırlıklı olmanın başlıca sorumlulukları, insanları ikna etme ve kandırma yeteneklerinden (kimlik avı saldırılarında olduğu gibi) kötü amaçlı kod oluşturma yeteneklerine kadar gelecekteki yapay zeka sistemlerinin tehlikelerini izlemek, tahmin etmek ve bunlara karşı korumak olacaktır.
Bazı risk kategorileri Hazırlıklı olmanın daha fazla çalışmakla yükümlü olduğu görülmektedir. . . zoraki diğerlerinden daha. Örneğin OpenAI, bir blog yazısında “kimyasal, biyolojik, radyolojik ve nükleer” tehditleri yapay zeka modelleriyle ilgili en önemli alanlar olarak listeliyor.
OpenAI CEO’su Sam Altman, kayıt edilmiş Yapay Zeka felaket habercisi, sıklıkla -ister optik ister kişisel kanaat olsun- yapay zekanın “insanlığın yok olmasına yol açabileceğine” dair korkuları dile getiriyor. Ancak OpenAI’nin bunu yapabileceğini telgrafla bildirmek Aslında Kaynakları doğrudan bilimkurgu distopik romanlarından senaryoları incelemeye ayırmak, açıkçası bu yazarın beklediğinden bir adım daha ileridir.
Şirketin yapay zeka riskinin “daha az belirgin” ve daha temele dayalı alanlarını araştırmaya da açık olduğu belirtiliyor. Hazırlık ekibinin lansmanıyla aynı zamana denk gelecek şekilde OpenAI, topluluktan risk çalışmaları için fikir topluyor; 25.000 ABD Doları tutarında bir ödül ve ilk on başvuru arasında Hazırlık bölümünde bir iş yer alıyor.
“Size OpenAI’nin Whisper (transkripsiyon), Voice (text-to-speech), GPT-4V ve DALLE·3 modellerine sınırsız erişim sağladığımızı ve kötü niyetli bir aktör olduğunuzu düşünün.” yarışma girişi okur. “Modelin en benzersiz, ancak yine de muhtemel, potansiyel olarak felaketle sonuçlanabilecek yanlış kullanımını göz önünde bulundurun.”
OpenAI, Hazırlık ekibinin ayrıca OpenAI’nin yapay zeka modeli değerlendirmeleri ve izleme araçları oluşturma yaklaşımını, şirketin risk azaltıcı eylemlerini ve model genelinde gözetim için yönetişim yapısını ayrıntılarıyla anlatacak bir “risk bilgili geliştirme politikası” formüle etmekle görevlendirileceğini söylüyor. gelişme süreci. Şirket, bunun OpenAI’nin AI güvenliği disiplinindeki diğer çalışmalarını, hem model öncesi hem de model sonrası dağıtım aşamalarına odaklanarak tamamlaması gerektiğini söylüyor.
“Buna inanıyoruz. . . OpenAI yukarıda belirtilen blog yazısında, şu anda en gelişmiş mevcut modellerde mevcut olan yetenekleri aşacak olan yapay zeka modelleri, tüm insanlığa fayda sağlama potansiyeline sahiptir. “Fakat aynı zamanda giderek ciddileşen riskler de taşıyorlar. . . Yüksek kapasiteli yapay zeka sistemlerinin güvenliği için gereken anlayışa ve altyapıya sahip olduğumuzdan emin olmalıyız.”
Hazırlıklı Olma Durumunun açıklanması – büyük bir etkinlik sırasında Birleşik Krallık hükümeti yapay zeka güvenliği zirvesiOpenAI’nin “süper zeki” yapay zekanın ortaya çıkan formlarını incelemek, yönlendirmek ve kontrol etmek için bir ekip oluşturacağını duyurmasının ardından geldi. Altman’ın, OpenAI’nin baş bilimcisi ve kurucu ortağı Ilya Sutskever’in inancıyla birlikte, insanlarınkini aşan zekaya sahip yapay zekanın on yıl içinde ortaya çıkabileceği ve bu yapay zekanın mutlaka hayırsever olmayacağına dair inancı, bu konuda araştırma yapılmasını gerektiriyor. sınırlamak ve kısıtlamaktır.