PALM 2. GPT-4. Metin üreten yapay zekanın listesi her geçen gün büyüyor.
Bu modellerin çoğu API’lerin arkasına gizlenmiştir ve bu da araştırmacıların onları tam olarak neyin harekete geçirdiğini görmesini imkansız hale getirir. Ancak topluluk çabaları, ticari muadillerinden daha fazla olmasa da, karmaşık olan açık kaynaklı yapay zekayı giderek daha fazla üretiyor.
Bu çabaların sonuncusu, kâr amacı gütmeyen Allen Yapay Zeka Araştırma Enstitüsü (AI2) tarafından 2024’te piyasaya sürülecek olan büyük bir dil modeli olan Açık Dil Modeli’dir. Açık Dil Modeli veya kısaca OLMo, AMD ile işbirliği içinde geliştirilmektedir. ve eğitim ve öğretim için süper bilgi işlem gücü sağlayan Büyük Birleşik Modern Altyapı konsorsiyumunun yanı sıra (veri ve eğitim kodu sağlayan) Surge AI ve MosaicML.
AI2 NLP araştırmasının kıdemli direktörü Hanna Hajishirzi, TechCrunch’a bir e-posta röportajında ”Araştırma ve teknoloji topluluklarının bu bilimi ilerletmek için açık dil modellerine erişmesi gerekiyor” dedi. “OLMo ile, rekabetçi bir dil modeli oluşturarak kamu ve özel araştırma yetenekleri ile bilgi arasındaki uçurumu kapatmak için çalışıyoruz.”
Halihazırda aralarından seçim yapabileceğiniz çok sayıda açık dil modeli varken, bu muhabir de dahil olmak üzere, AI2’nin neden bir açık dil modeli geliştirme ihtiyacı hissettiği merak edilebilir (bkz. Çiçek açmakMeta’nın LLaMA, vesaire.). Hajishirzi’nin bakış açısına göre, bugüne kadarki açık kaynak yayınları değerli ve hatta sınırları zorlayıcı olsa da, çeşitli şekillerde hedefi ıskaladılar.
AI2, OLMo’yu yalnızca bir model olarak değil, araştırma topluluğunun AI2’nin oluşturduğu her bir bileşeni alıp ya kendilerinin kullanmasına ya da iyileştirmeye çalışmasına olanak tanıyan bir platform olarak görüyor. Hajishirzi’ye göre AI2’nin OLMo için yaptığı her şey, halka açık bir demo, eğitim veri seti ve API dahil ve “uygun” lisanslama kapsamında “çok sınırlı” istisnalarla belgelenmiş olarak herkese açık olacak.
Hajishirzi, “Yapay zeka araştırma topluluğunun doğrudan dil modelleri üzerinde çalışması için daha fazla erişim sağlamak üzere OLMo’yu inşa ediyoruz” dedi. “OLMo’nun tüm yönlerinin geniş kullanılabilirliğinin, araştırma topluluğunun yarattığımız şeyi almasına ve onu geliştirmek için çalışmasına olanak sağlayacağına inanıyoruz. Nihai hedefimiz, işbirliği içinde dünyanın en iyi açık dil modelini oluşturmaktır.”
AI2’de NLP araştırmasının kıdemli direktörü Noah Smith’e göre OLMo’nun diğer farklılaştırıcı özelliği, modelin, örneğin kod yerine ders kitaplarını ve akademik makaleleri daha iyi kullanmasına ve anlamasına olanak sağlamaya odaklanmasıdır. Meta’nın rezilliği gibi bu konuda başka girişimler de oldu. Galactica modeli. Ancak Hajishirzi, AI2’nin akademideki çalışmasının ve Semantic Scholar gibi araştırma için geliştirdiği araçların, OLMo’nun bilimsel ve akademik uygulamalar için “benzersiz bir şekilde uygun” olmasına yardımcı olacağına inanıyor.
Smith, “OLMo’nun bu alanda gerçekten özel bir şey olma potansiyeline sahip olduğuna inanıyoruz, özellikle de birçok kişinin üretken AI modellerine olan ilgiden para kazanmak için acele ettiği bir manzarada,” dedi. “AI2’nin üçüncü taraf uzmanlar olarak hareket etme konusundaki benzersiz yeteneği, bize yalnızca kendi birinci sınıf uzmanlığımızla çalışma değil, aynı zamanda sektördeki en güçlü beyinlerle işbirliği yapma fırsatı veriyor. Sonuç olarak, titiz ve belgelenmiş yaklaşımımızın, yeni nesil güvenli ve etkili yapay zeka teknolojilerinin oluşturulmasına zemin hazırlayacağını düşünüyoruz.”
Bu güzel bir duygu şüphesiz. Peki üretken yapay zekayı eğitme ve serbest bırakma konusundaki çetrefilli etik ve yasal sorunlar ne olacak? Tartışma, içerik sahiplerinin (etkilenen diğer paydaşların yanı sıra) hakları etrafında hararetle devam ediyor ve sayısız rahatsız edici konu henüz mahkemelerde çözüme kavuşturulmadı.
OLMo ekibi, endişeleri gidermek için AI2’nin hukuk departmanı ve belirlenecek dış uzmanlarla birlikte çalışmayı, gizlilik ve fikri mülkiyet hakları konularını yeniden değerlendirmek için model oluşturma sürecinde “kontrol noktalarında” durmayı planlıyor.
“Model ve amaçlanan kullanımı hakkında açık ve şeffaf bir diyalog yoluyla, önyargıyı ve toksisiteyi nasıl azaltacağımızı ve topluluk içindeki öne çıkan araştırma sorularına nasıl ışık tutacağımızı daha iyi anlayabileceğimizi ve sonuçta mevcut en güçlü modellerden birini ortaya çıkarabileceğimizi umuyoruz. dedi Smith.
Kötüye kullanım olasılığı ne olacak? Başlangıçta genellikle toksik ve önyargılı olan modeller, dezenformasyon yaymaya ve kötü amaçlı kod üretmeye niyetli kötü aktörler için olgunlaşmıştır.
Hajishirzi, AI2’nin “bilimsel faydaları en üst düzeye çıkarırken zararlı kullanım riskini azaltmak” için lisanslama, model tasarımı ve temel bileşenlere seçici erişimin bir kombinasyonunu kullanacağını söyledi. Politikaya rehberlik etmesi için OLMo’nun, model oluşturma süreci boyunca geri bildirim sağlayacak dahili ve harici danışmanlardan (AI2 tam olarak kim olduğunu söylemez) oluşan bir etik inceleme komitesi vardır.
Bunun ne kadar fark yaratacağını göreceğiz. Şimdilik, modelin teknik özelliklerinin çoğu da dahil olmak üzere pek çok şey havada kaldı. (AI2, yaklaşık 70 milyar parametreye sahip olacağını ortaya çıkardı; parametreler, modelin tarihsel eğitim verilerinden öğrenilen parçalarıdır.) LUMI’nin Finlandiya’daki süper bilgisayarı – Ocak ayı itibarıyla Avrupa’nın en hızlı süper bilgisayarı – üzerinde eğitim, Ocak ayında başlayacak. gelecek aylar.
AI2, ortak çalışanları model geliştirme sürecine katkıda bulunmaya ve eleştirmeye davet ediyor. İlgilenenler OLMo proje organizatörleri ile iletişime geçebilirler. Burada.