Karşılaştırmalar, yazılım endüstrisinin geri kalanı için olduğu kadar AI’daki ilerlemenin bir ölçüsüdür. Ancak kıyaslama sonuçları şirketlerden geldiğinde, gizlilik genellikle topluluğun bunları doğrulamasını engeller.
Örneğin, OpenAI, ticari bir ilişki içinde olduğu Microsoft’a, güçlü GPT-3 dil modelinin münhasır lisans haklarını verdi. Diğer kuruluşlar, sistemleri geliştirmek için kullandıkları kodun, serbest bırakılması imkansız dahili araçlara ve altyapıya bağlı olduğunu veya telif hakkıyla korunan veri kümelerini kullandığını söylüyor. Motivasyonlar ise olabilmek doğası gereği etik olun – OpenAI, başlangıçta GPT-3’ün selefi olan GPT-2’yi kötüye kullanılabileceği endişesiyle yayınlamayı reddetti – etki aynı. Gerekli kod olmadan, üçüncü taraf araştırmacıların bir kuruluşun iddialarını doğrulaması çok daha zordur.
Columbia bilgisayar bilimi Ph.D., “Bu, endüstrideki iyi açık kaynak uygulamalarına gerçekten yeterli bir alternatif değil,” dedi. aday Gustaf Ahdritz TechCrunch’a e-posta yoluyla söyledi. Ahdritz, DeepMind’in protein yapısını tahmin eden AlphaFold 2’nin açık kaynaklı bir versiyonu olan OpenFold’un önde gelen geliştiricilerinden biridir.
Bazı araştırmacılar, bir sistemin kodunu saklamanın “bilimsel değerini baltaladığını” söyleyecek kadar ileri gidiyor. Ekim 2020’de bir çürütme yayınlanan dergide Doğa Google’ın sağlıkla ilgili araştırmalara odaklanan dalı Google Health tarafından eğitilen bir kanser tahmin sistemiyle ilgili sorun çıkardı. Ortak yazarlar, Google’ın, sistemin nasıl geliştirildiğine ilişkin bir açıklama da dahil olmak üzere, performansını önemli ölçüde etkileyebilecek önemli teknik ayrıntıları sakladığını belirtti.
Resim Kredisi: Açık Katlama
Değişim yerine, Ahdritz gibi AI topluluğunun bazı üyeleri, sistemlerin kendilerinin açık kaynak kodlu olmasını misyon edindiler. Teknik belgelerden yola çıkan bu araştırmacılar, sistemleri ya sıfırdan ya da kamuya açık spesifikasyonların parçaları üzerine inşa ederek özenle yeniden yaratmaya çalışıyorlar.
Açık Katlama böyle bir çabadır. DeepMind’in AlphaFold 2’yi duyurmasından kısa bir süre sonra başlayan amaç, Ahdritz’e göre AlphaFold 2’nin sıfırdan yeniden üretilebileceğini doğrulamak ve sistemin başka yerlerde yararlı olabilecek bileşenlerini kullanıma sunmak.
“DeepMind’in gerekli tüm ayrıntıları sağladığına güveniyoruz, ancak… [concrete] Bunun kanıtı ve bu nedenle bu çaba, bu izi sağlamanın ve başkalarının onun üzerine inşa etmesine izin vermenin anahtarıdır” dedi. “Ayrıca, başlangıçta, belirli AlphaFold bileşenleri ticari olmayan bir lisans altındaydı. Bileşenlerimiz ve verilerimiz – DeepMind hala tam eğitim verilerini yayınlamadı – tamamen açık kaynak olacak ve endüstrinin benimsenmesini sağlayacak.”
OpenFold, türünün tek projesi değil. Başka yerlerde, AI topluluğu içindeki gevşek bağlantılı gruplar, OpenAI’nin kod üreten Codex’inin ve sanat yaratan DALL-E’nin, DeepMind’in satranç oynayan AlphaZero’nun ve hatta gerçek zamanlı strateji oyunu StarCraft’ı oynamak için tasarlanmış bir DeepMind sistemi olan AlphaStar’ın uygulamalarını deniyor. 2. Daha başarılı olanlar arasında EleutherAI ve AI başlangıcı Hugging Face’s Büyük BilimGPT-3 ile karşılaştırılabilir (aynı olmasa da) bir model çalıştırmak için gereken kod ve veri kümelerini sağlamayı amaçlayan açık araştırma çabaları.
AI topluluğunun üretken bir üyesi olan Philip Wang, bir dizi açık kaynak uygulaması OpenAI’nin DALL-E’lerinden biri de dahil olmak üzere GitHub’daki bir araştırma, bu sistemleri açık kaynak olarak kullanmanın, araştırmacıların çabalarını çoğaltma ihtiyacını azalttığını öne sürüyor.
“Dünyadaki diğer tüm araştırmacılar gibi en son AI araştırmalarını okuyoruz. Ancak kağıdı bir siloda kopyalamak yerine, onu açık kaynak olarak uyguluyoruz” dedi Wang. “Bilgi bilimi ve endüstrinin kesiştiği noktada ilginç bir yerdeyiz. Bence açık kaynak tek taraflı değil ve sonuçta herkese fayda sağlıyor. Aynı zamanda, hissedarlara bağlı olmayan, gerçekten demokratikleştirilmiş yapay zekanın daha geniş vizyonuna da hitap ediyor.”
İki Google çalışanı olan Brian Lee ve Andrew Jackson, MiniGo, AlphaZero’nun bir kopyası. DeepMind’in ilk ana şirketi olan Google’da bulunan Lee ve Jackson, resmi projeye bağlı olmasalar da, belirli özel kaynaklara erişim avantajına sahiptiler.
Resim Kredisi: MiniGo
“[Working backward from papers is] Google Brain’de araştırma mühendisi olan Lee, e-posta yoluyla TechCrunch’a verdiği demeçte, GPS’imiz olmadan önce gezinmek gibi. “Talimatlar, görmeniz gereken önemli noktalardan, belirli bir yönde ne kadar süre ile gitmeniz gerektiğinden, kritik bir kavşakta hangi yol ayrımından geçmeniz gerektiğinden bahsediyor. Deneyimli bir denizcinin yolunu bulması için yeterince ayrıntı vardır, ancak pusulayı nasıl okuyacağınızı bilmiyorsanız, umutsuzca kaybolursunuz. Adımları tam olarak takip etmeyeceksin, ama sonunda aynı yerde olacaksın.”
Ahdritz ve Jackson da dahil olmak üzere bu girişimlerin arkasındaki geliştiriciler, yalnızca sistemlerin ilan edildiği gibi çalışıp çalışmadığını göstermeye yardımcı olmakla kalmayacak, aynı zamanda yeni uygulamalar ve daha iyi donanım desteği sağlayacaklarını söylüyor. DeepMind, OpenAI, Microsoft, Amazon ve Meta gibi büyük laboratuvarlardan ve şirketlerden gelen sistemler, tipik olarak, ortalama iş istasyonundan çok daha fazla bilgi işlem gücüne sahip pahalı, tescilli veri merkezi sunucularında eğitilir ve açık kaynak kullanımının önündeki engellere eklenir.
“AlphaFold’un yeni varyantlarını eğitmek, protein yapısı tahmininin ötesinde yeni uygulamalara yol açabilir; bu, DeepMind’in orijinal kod sürümüyle mümkün değildir, çünkü eğitim kodundan yoksundur – örneğin, ilaçların proteinleri nasıl bağladığını, proteinlerin nasıl hareket ettiğini ve proteinlerin nasıl etkileştiğini tahmin etmek. diğer biyomoleküller,” dedi Ahdritz. “AlphaFold’un yeni varyantlarının eğitimini veya AlphaFold’un parçalarının daha büyük modellere entegre edilmesini gerektiren düzinelerce yüksek etkili uygulama var, ancak eğitim kodunun olmaması hepsini engelliyor.”
Jackson, “Bu açık kaynaklı çabalar, bu sistemlerin akademik olmayan ortamlarda nasıl davranabileceğine dair “çalışma bilgisini” yaymak için çok şey yapıyor” diye ekledi. “Orijinal sonuçları yeniden oluşturmak için gereken işlem miktarı [for AlphaZero] oldukça yüksektir. Kafamın üstündeki sayıyı hatırlamıyorum, ancak bir hafta boyunca yaklaşık bin GPU’yu çalıştırmayı içeriyordu. Google Cloud Platform’un henüz herkese açık olmayan TPU ürününe erken erişimimizle topluluğun bu modelleri denemesine yardımcı olmak için oldukça benzersiz bir konumdaydık.”
Açık kaynakta tescilli sistemleri uygulamak, özellikle devam edecek çok az kamu bilgisi olduğunda, zorluklarla doludur. İdeal olarak, kod, sistemi eğitmek için kullanılan veri kümesine ve sisteme beslenen verilerin tahminlere dönüştürülmesinden sorumlu olan ağırlıklar olarak adlandırılanlara ek olarak mevcuttur. Ancak bu çoğu zaman böyle değildir.
Örneğin, OpenFold’u geliştirirken, Ahdritz ve ekibi resmi materyallerden bilgi toplamak ve kaynak kodu, ek kod ve DeepMind araştırmacılarının erken verdiği sunumlar dahil olmak üzere farklı kaynaklar arasındaki farkları uzlaştırmak zorunda kaldı. Veri hazırlama ve eğitim kodu gibi adımlardaki belirsizlikler yanlış başlangıçlara yol açarken, donanım kaynaklarının eksikliği tasarımdan ödün verilmesini gerektirdi.
“Bunu doğru yapmak için gerçekten sadece bir avuç deneme yapıyoruz, yoksa bu sonsuza kadar sürer. Bu şeylerin hesaplama açısından o kadar çok aşaması var ki, küçük bir hata bizi büyük ölçüde geri bırakabilir, öyle ki modeli yeniden eğitmek ve aynı zamanda çok sayıda eğitim verisini yeniden oluşturmak zorunda kaldık,” dedi Ahdritz. “İş için çok iyi çalışan bazı teknik ayrıntılar [DeepMind] bizim için o kadar kolay çalışmıyor çünkü farklı donanımlara sahibiz… Ek olarak, hangi ayrıntıların kritik derecede önemli olduğu ve hangilerinin üzerinde fazla düşünülmeden seçildiği konusundaki belirsizlik, herhangi bir şeyi optimize etmeyi veya ince ayar yapmayı zorlaştırıyor ve bizi herhangi bir şeye kilitliyor (bazen garip) seçimler orijinal sistemde yapıldı.”
Öyleyse, OpenAI gibi tescilli sistemlerin arkasındaki laboratuvarlar, çalışmalarının tersine mühendislik yapılmasına ve hatta yeni başlayanlar tarafından kullanılmasına dikkat ediyor mu? rakip hizmetleri başlatmak? Belli ki değil. Ahdritz, özellikle DeepMind’in sistemleri hakkında çok fazla ayrıntı yayınlamasının, bunu açıkça söylememiş olsa bile, çabaları dolaylı olarak desteklediğini gösterdiğini söylüyor.
Ahdritz, “DeepMind’in bu çabayı onaylamadığına veya onaylamadığına dair net bir işaret almadık” dedi. “Ama kesinlikle, kimse bizi durdurmaya çalışmadı.”