Stanford HAI (İnsan Merkezli Yapay Zeka) tarafından hazırlanan yeni bir rapora göre, AI temel modellerinin önde gelen geliştiricilerinden hiçbiri (OpenAI ve Meta gibi şirketleri içeren bir liste), bunların toplum üzerindeki potansiyel etkileri hakkında yeterli bilgi yayınlamıyor.
Bugün Stanford HAI, Temel Modeli Şeffaflık EndeksiEn popüler 10 yapay zeka modelinin yaratıcılarının çalışmaları ve insanların sistemlerini nasıl kullandıkları hakkında bilgi verip vermediğini takip eden bir araştırma. Test ettiği modeller arasında Meta’nın Llama 2’si en yüksek puanı alırken, onu BloomZ ve ardından OpenAI’nin GPT-4’ü izledi. Ancak hiçbirinin özellikle yüksek not almadığı ortaya çıktı.
Değerlendirilen diğer modeller arasında Stability’den Stable Diffusion, Anthropic’ten Claude, Google’dan PaLM 2, Command from Cohere, AI21 Labs’tan Jurassic 2, Inflection’dan Inflection-1 ve Amazon’dan Titan yer alıyor.
Araştırmacılar itiraf etti Sınır şeffaflığın geniş bir kavram olabileceğini düşünüyorum. Tanımları, modellerin nasıl oluşturulduğu, nasıl çalıştığı ve insanların bunları nasıl kullandığı hakkında bilgi sağlayan 100 göstergeye dayanmaktadır. Modelle ilgili kamuya açık bilgileri ayrıştırdılar ve her birine bir puan verdiler; şirketlerin ortakları ve üçüncü taraf geliştiricileri açıklayıp açıklamadıklarını, müşterilere modellerinin özel bilgiler kullanıp kullanmadığını söyleyip söylemediklerini ve bir dizi başka soruyu belirttiler.
Şirketin model oluşturma konusundaki araştırmasını yayınlamasıyla Meta, model temelleri konusunda en yüksek puanı alarak yüzde 54 puan aldı. Açık kaynaklı bir model olan BloomZ, yüzde 53 ile yakından takip etti ve GPT-4 yüzde 48 ile onu takip etti; OpenAI’nin nispeten kilitli tasarım yaklaşımına rağmen onu yüzde 47 ile Stabil Difüzyon takip etti.
OpenAI, araştırmasının çoğunu yayınlamayı reddediyor ve veri kaynaklarını açıklamıyor, ancak GPT-4, ortakları hakkında çok sayıda mevcut bilgi olduğu için üst sıralarda yer almayı başardı. OpenAI, GPT-4’ü ürünlerine entegre eden birçok farklı şirketle çalışarak, incelenecek çok sayıda halka açık ayrıntı üretiyor.
Sınır Meta, OpenAI, Stabilite, Google ve Anthropic’e ulaştı ancak henüz yorum almadı.
Ancak Stanford araştırmacıları, modellerin yaratıcılarından hiçbirinin, gizlilik, telif hakkı veya önyargı şikayetlerinin nereye yönlendirileceği de dahil olmak üzere toplumsal etki hakkında herhangi bir bilgi açıklamadığını buldu.
Stanford Temel Modelleri Araştırma Merkezi’nin toplum lideri ve endeksteki araştırmacılardan biri olan Rishi Bommasani, endeksin amacının hükümetler ve şirketler için bir referans noktası sağlamak olduğunu söylüyor. AB’nin Yapay Zeka Yasası gibi önerilen bazı düzenlemeler, yakında büyük temel modellerinin geliştiricilerini şeffaflık raporları sunmaya zorlayabilir.
Bommasani, “Endeksle elde etmeye çalıştığımız şey, modelleri daha şeffaf hale getirmek ve bu son derece şekilsiz kavramı ölçülebilir daha somut konulara ayrıştırmak” diyor. Grup, karşılaştırmaları kolaylaştırmak için şirket başına bir modele odaklandı.
Üretken yapay zekanın geniş ve sesli bir açık kaynak topluluğu var, ancak alandaki en büyük şirketlerin bazıları araştırmalarını veya kodlarını kamuya açık olarak paylaşmıyor. OpenAI, adında “açık” kelimesi bulunmasına rağmen, rekabet ve güvenlik kaygılarını öne sürerek artık araştırmalarını dağıtmıyor.
Bommasani, grubun endeksin kapsamını genişletmeye açık olduğunu ancak bu arada halihazırda değerlendirdiği 10 temel modele sadık kalacağını söyledi.