Anthropic, Salı günü gelişmiş yapay zeka (AI) modellerinin yeteneklerini test etmek için yeni kıyaslamalar geliştirmek üzere yeni bir girişim duyurdu. AI firması projeyi finanse edecek ve ilgili kuruluşlardan başvurular davet etti. Şirket, mevcut kıyaslamaların yeni büyük dil modellerinin (LLM) yeteneklerini ve etkisini tam olarak test etmek için yeterli olmadığını söyledi. Sonuç olarak, AI güvenliği, gelişmiş yetenekleri ve toplumsal etkisine odaklanan yeni bir değerlendirme setinin geliştirilmesi gerekiyor, dedi Anthropic.
Anthropic, yapay zeka modelleri için yeni ölçütleri finanse edecek
Bir haber odasında postalamakAnthropic, mevcut kıstasların sınırlı kapsamını aşmak için kapsamlı bir üçüncü taraf değerlendirme ekosistemine ihtiyaç duyulduğunu vurguladı. Yapay zeka firması, girişimi aracılığıyla kalite ve yüksek güvenlik standartlarına odaklanan yapay zeka modelleri için yeni değerlendirmeler geliştirmek isteyen üçüncü taraf kuruluşlara fon sağlayacağını duyurdu.
Anthropic için yüksek öncelikli alanlar arasında bir LLM’nin Yapay Zeka Güvenlik Seviyelerini (ASL’ler) ölçebilen görevler ve sorular, fikir ve yanıt üretmedeki gelişmiş yetenekler ve bu yeteneklerin toplumsal etkisi yer alıyor.
Şirket, ASL kategorisi altında yapay zeka modellerinin siber saldırıları yürütmede otonom olarak hareket etme veya yardımcı olma kabiliyeti, modellerin kimyasal, biyolojik, radyolojik ve nükleer (KBRN) risklerin yaratılmasına veya bu risklere ilişkin bilginin geliştirilmesine yardımcı olma potansiyeli, ulusal güvenlik risk değerlendirmesi ve daha fazlasını içeren çeşitli parametreleri vurguladı.
Gelişmiş yetenekler açısından Anthropic, kıyaslamaların AI’nın bilimsel araştırmayı dönüştürme potansiyelini, zararlılığa katılımı ve reddetmeyi ve çok dilli yetenekleri değerlendirebilmesi gerektiğini vurguladı. Ayrıca, AI firması bir AI modelinin toplumu etkileme potansiyelini anlamak gerektiğini söyledi. Bunun için değerlendirmeler “zararlı önyargılar, ayrımcılık, aşırı güven, bağımlılık, bağlanma, psikolojik etki, ekonomik etkiler, homojenleştirme ve diğer geniş toplumsal etkiler” gibi kavramları hedef alabilmelidir.
Bunun dışında, AI firması iyi değerlendirmeler için bazı prensipler de sıraladı. AI tarafından kullanılan eğitim verilerinde değerlendirmelerin bulunmaması gerektiğini, çünkü bunun genellikle modeller için bir ezberleme testine dönüştüğünü söyledi. Ayrıca AI’yı test etmek için 1.000 ila 10.000 görev veya soru tutulmasını teşvik etti. Ayrıca kuruluşlardan belirli bir alandaki performansı test eden görevler oluşturmak için konu uzmanlarını kullanmalarını istedi.
