ChatGPT gibi son teknoloji yapay zeka sistemlerini geliştirmek, kısmen geliştirmeleri ve çalıştırmaları maliyetli olduğu için çok büyük teknik kaynaklar gerektirir. Çeşitli açık kaynak çabaları, Alphabet’in DeepMind ve OpenAI gibi ticari laboratuvarları tarafından oluşturulan tescilli, kapalı kaynak sistemlerini tersine mühendislik yapmaya çalışsa da, çoğunlukla sermaye ve alan uzmanlığı eksikliğinden dolayı engellerle karşılaşıyorlar.
Bir topluluk araştırma grubu, bu kaderden kaçınmayı umarak, EleutherAIdır-dir şekillendirme kar amacı gütmeyen bir vakıf. Organizasyon bugün, yapay zeka girişimleri Hugging Face ve Stability AI, eski GitHub CEO’su Nat Friedman, Lambda Labs ve Canva da dahil olmak üzere destekçilerin bağışları ve hibeleriyle finanse edilen, kar amacı gütmeyen bir araştırma enstitüsü olan EleutherAI Enstitüsü’nü kuracağını duyurdu.
Booz Allen Hamilton’da yapay zeka araştırmacısı ve EleutherAI Enstitüsü’nü birlikte yönetecek olan Stella Biderman, “Bir kuruluş olarak resmileşmek, tam zamanlı bir personel oluşturmamıza ve gönüllü bir grup olarak mümkün olandan daha uzun ve daha kapsamlı projelerde yer almamıza olanak tanıyor,” dedi. TechCrunch’a bir e-posta röportajında söyledi. “Özellikle kâr amacı gütmeyen bir kuruluş açısından, araştırmaya ve açık kaynak alanına odaklanmamız göz önüne alındığında, bunun hiç akıllıca olmadığını düşünüyorum.”
EleutherAI, birkaç yıl önce açık kaynaklı AI araştırmaları için çalışan bir geliştiriciler topluluğu olarak başladı. Kurucu üyeleri – Connor Leahy, Leo Gao ve Sid Black – kodu yazdı ve o sırada çok fazla baskı alan OpenAI’nin metin üreten GPT-3’üne yakın bir makine öğrenimi modeli oluşturmak için gereken verileri topladı.
Şirket, metni tamamlamak, kod yazmak ve daha fazlası için GPT-3 benzeri modelleri eğitmek için kullanılmak üzere tasarlanmış bir veri kümeleri koleksiyonu olan The Pile’ın küratörlüğünü yaptı ve açık kaynaklı oldu. Ayrıca, GPT-J ve GPT-NeoX dahil olmak üzere Apache 2.0 lisansı altında birçok model yayınladı. bir süre için tamamen yeni bir girişim dalgasını körükledi.
EleutherAI, modellerini eğitmek için çoğunlukla, sonuçların herkese açık olarak paylaşılacağı beklentisiyle projeleri destekleyen bir Google Cloud programı olan TPU Research Cloud’a güvendi. AI iş yükleri için bulut hizmetleri sağlayan ABD merkezli bir kripto para madencisi olan CoreWeave, müşterilerinin kullanabileceği ve hizmet verebileceği modeller karşılığında EleutherAI’ye bilgi işlem kaynakları da sağladı.
EleutherAI hızla büyüdü. Bugün, topluluğun düzenli olarak katkıda bulunan 20’den fazla üyesi, esas olarak araştırmaya odaklanarak tam zamanlı çalışıyor. Ve son 18 ayda, EleutherAI üyeleri 28 akademik makalenin ortak yazarlığını yaptı, düzinelerce modeli eğitti ve on kod tabanı yayınladı.
Ancak bulut sağlayıcılarının kararsız doğası bazen EleutherAI’yi planlarını bozmaya zorladı. Başlangıçta grup, parametre sayısı açısından kabaca GPT-3 boyutunda bir model yayınlamayı planlamıştı, ancak teknik ve finansman nedenleriyle bu yol haritasını rafa kaldırdı. (AI’da parametreler, geçmiş eğitim verilerinden öğrenilen modelin parçalarıdır ve temel olarak modelin metin oluşturma gibi bir problem üzerindeki becerisini tanımlar.)
EleutherAI, 2022’nin sonlarında, görüntü oluşturan yapay zeka sistemi Stable Diffusion’ın arkasındaki artık iyi finanse edilen girişim olan Stability AI ile yakından tanıştı. Diğer işbirlikçilerle birlikte, Stable Diffusion’ın ilk sürümünün oluşturulmasına yardımcı oldu. Ve o zamandan beri Stability AI, EleutherAI’nin devam eden dil modeli araştırması için AWS kümesindeki bilgi işlemin bir kısmını bağışladı.
Biderman, başka bir büyük patron olan Hugging Face’in EleutherAI’ye yaklaşmasının ve kar amacı gütmeyen kuruluşların tartışmalarının başlamasının ardından diyor. (Birçok EleutherAI personeli, şirketin bir yıl boyunca GPT-3’e benzer bir modeli eğitmeyi ve açık kaynaklı hale getirmeyi amaçlayan BigScience çabasına dahil oldu.)
Biderman, “EleutherAI, geçmişte büyük ölçüde mimari olarak ChatGPT’ye benzeyen büyük dil modellerine odaklandı ve muhtemelen bunu yapmaya devam edecek” dedi. “Büyük dil modellerini eğitmenin ötesinde, etik, yorumlanabilirlik ve uyum çalışmalarına daha fazla kaynak ayırmaktan heyecan duyuyoruz.”
Her ikisi de önemli risk sermayesi tarafından desteklenen Stability AI ve Hugging Face gibi ticari amaçlı girişimlerin katılımının EleutherAI’nin araştırmasını etkileyip etkilemeyeceği merak edilebilir. Bu doğal bir varsayım ve hatta kanıtlarla destekleniyor. En az bir çalışmak bağışlar ile kar amacı gütmeyen kuruluşların önerilen bir hükümet kuralı hakkında konuşma olasılığı arasında doğrudan bir ilişki olduğunu gösteriyor.
Biderman, EleutherAI Vakfı’nın bağımsız kalacağını ileri sürüyor ve şimdiye kadar bağış havuzunda bir sorun görmediğini söylüyor.
Biderman, “Ticari kuruluşların emriyle modeller geliştirmiyoruz” dedi. “Hiç değilse, farklı bir sponsorluğa sahip olmanın bağımsızlığımızı geliştirdiğini düşünüyorum. Tamamen bir teknoloji şirketi tarafından finanse edildiysek, bu bizim açımızdan çok daha büyük bir potansiyel sorun gibi görünüyor.
EleutherAI Vakfı’nın üstesinden gelmesi gereken bir başka zorluk da kasasının kurumaması. OpenAI uyarıcı bir hikayedir; 2015 yılında kâr amacı gütmeyen bir kuruluş olarak kurulduktan sonra, şirket daha sonra devam eden araştırmasını finanse etmek için “kâr sınırı” yapısına geçti.
Genel olarak konuşursak, AI araştırmasını finanse etmek için kar amacı gütmeyen girişimler karışık bir çanta olmuştur.
Başarı öyküleri arasında, yapay zeka ve makine öğreniminde bilimsel atılımlar gerçekleştirmeyi amaçlayan, merhum Microsoft kurucu ortağı Paul Allen tarafından kurulan Allen Yapay Zeka Enstitüsü (AI2) yer alıyor. Ayrıca Birleşik Krallık merkezli, hükümet tarafından finanse edilen veri bilimi ve makine öğrenimi için ulusal enstitü olan Alan Turing Enstitüsü de var. Daha küçük ümit vaat eden çabalar arasında, AI girişimi Cohere’s Cohere For AI (kurumsal bağlarına rağmen) ve küresel bir dağıtık araştırma kuruluşu olan Timnit Gebru’s Distributed AI Research yer alıyor.
Ancak her AI2 için, eski Google başkanı Eric Schmidt’in AI araştırma fonu var. 125 milyon doları aşan boyutu, Politico’dan sonra yeni tartışmalara yol açtı. bildirildi Schmidt’in Beyaz Saray Bilim ve Teknoloji Politikası Ofisi üzerinde alışılmadık derecede ağır bir etkiye sahip olduğu.
EleutherAI Vakfı’nın nihayetinde hangi yöne gideceğini zaman gösterecek. Muhtemelen, görev zaman içinde gelişecek ve değişecek – olumlu yönde, sadece umabiliriz.
