Yapay zeka için matematik kıyaslamaları geliştiren bir kuruluş, nispeten yakın zamana kadar OpenAI’den fon aldığını açıklamadı ve bu da yapay zeka topluluğundaki bazı kişilerin uygunsuzluk iddialarına yol açtı.
Esas olarak bir araştırma ve hibe vakfı olan Open Philanthropy tarafından finanse edilen kar amacı gütmeyen bir kuruluş olan Epoch AI, 20 Aralık’ta OpenAI’nin FrontierMath’in oluşturulmasını desteklediğini açıkladı. Bir yapay zekanın matematiksel becerilerini ölçmek için tasarlanan, uzman düzeyindeki problemleri içeren bir test olan FrontierMath, OpenAI’nin yaklaşmakta olan amiral gemisi yapay zeka o3’ü tanıtmak için kullandığı ölçütlerden biriydi.
bir postalamak forumda Epoch AI yüklenicisi olan ve “Meemi” kullanıcı adını kullanan LessWrong, FrontierMath kıyaslamasına katkıda bulunan pek çok kişinin OpenAI’nin katılımı hakkında kamuya açıklanana kadar bilgilendirilmediğini söylüyor.
Meemi, “Bu konudaki iletişim şeffaf değildi” diye yazdı. “Benim görüşüme göre Epoch AI, OpenAI finansmanını açıklamalıydı ve yükleniciler, bir kıyaslama üzerinde çalışıp çalışmamayı seçerken, çalışmalarının yetenekler için kullanılma potansiyeli hakkında şeffaf bilgiye sahip olmalı.”
Sosyal medyada, bazı kullanıcılar gizliliğin FrontierMath’in objektif bir kriter olarak itibarını zedeleyebileceği yönündeki endişeleri dile getirdi. OpenAI, FrontierMath’i desteklemenin yanı sıra, karşılaştırmadaki birçok soruna ve çözüme de erişime sahipti; bu, Epoch AI’nin, o3’ün duyurulduğu 20 Aralık’tan önce açıklamadığı bir gerçekti.
Epoch AI direktör yardımcısı ve kuruluşun kurucu ortaklarından biri olan Tamay Beşiroğlu, Meemi’nin gönderisine yanıt olarak FrontierMath’in bütünlüğünün tehlikeye atılmadığını ileri sürdü ancak Epoch AI’nin daha fazlasını yapmamakla “bir hata yaptığını” kabul etti. şeffaf.
Beşiroğlu, “O3’ün lansmanına kadar ortaklığı açıklamamız yasaktı ve geriye dönüp baktığımızda, kıyaslama katılımcılarına mümkün olan en kısa sürede şeffaf olabilmek için daha sıkı pazarlık yapmamız gerekirdi” diye yazdı. “Matematikçilerimiz çalışmalarına kimin erişebileceğini bilmeyi hak ediyordu. Söyleyebileceklerimiz sözleşme gereği sınırlı olsa da, katılımcılarımıza karşı şeffaflığı OpenAI ile olan anlaşmamızın tartışılmaz bir parçası haline getirmeliydik.”
Beşiroğlu, OpenAI’nin FrontierMath’e erişimi olmasına rağmen, Epoch AI ile FrontierMath’in problem setini yapay zekayı eğitmek için kullanmama konusunda “sözlü bir anlaşmaya” sahip olduğunu ekledi. (Bir yapay zekayı FrontierMath’te eğitmek şuna benzer: sınava girmeyi öğretmek.) Beşiroğlu, Epoch AI’nın ayrıca FrontierMath kıyaslama sonuçlarının bağımsız olarak doğrulanması için ek bir koruma görevi gören “ayrı bir koruma setine” sahip olduğunu söyledi.
Beşiroğlu, “OpenAI… ayrı, görünmeyen bir koruma seti sürdürme kararımızı tamamen destekledi” diye yazdı.
Ancak Epoch AI’ın baş matematikçisi Ellot Glazer, suları bulandırıyor. Reddit’teki bir gönderide belirtildi Epoch AI’nin OpenAI’nin FrontierMath o3 sonuçlarını bağımsız olarak doğrulayamadığı.
“Benim kişisel görüşüm şu [OpenAI’s] Glazer, puanın yasal olduğunu (yani veri seti üzerinde eğitim almadıklarını) ve dahili kıyaslama performansları hakkında yalan söylemeye teşvik edilmediklerini söyledi. “Ancak bağımsız değerlendirmemiz tamamlanana kadar onlara kefil olamayız.”
Efsane, yapay zekayı değerlendirmek için ampirik kıyaslamalar geliştirmenin ve çıkar çatışması algısı yaratmadan kıyaslama geliştirme için gerekli kaynakları güvence altına almanın zorluğunun bir başka örneğidir.
