İki hafta önce Meta, en son AI dil modelini duyurdu: LLaMA. OpenAI’ler gibi halka açık olmasa da ChatGPT veya Microsoft’un Bing’i LLaMA, Meta’nın bilgisayarlarımızla etkileşime geçmenin yanı sıra yeni tehlikeler vaat eden AI dil teknolojisindeki artışa yaptığı katkıdır.
Meta, LLaMA’yı herkese açık bir sohbet robotu olarak yayınlamadı (ancak Facebook sahibi dır-dir bunları da oluşturmak), ancak AI topluluğundaki herkesin erişim talep edebileceği açık kaynaklı bir paket olarak. Şirketin amacının, sorunlarına yönelik araştırmaları teşvik etmek için yapay zekaya “erişimi daha da demokratikleştirmek” olduğunu söyledi. Meta, bu sistemlerin daha az hatalı olması durumunda fayda sağlar, bu nedenle parayı modeli oluşturmak ve sorunu gidermek için başkalarına dağıtmak için mutlu bir şekilde harcayacaktır.
Şirket, “Büyük dil modellerindeki tüm son gelişmelere rağmen, bu tür büyük modelleri eğitmek ve çalıştırmak için gereken kaynaklar nedeniyle bunlara tam araştırma erişimi sınırlı kalıyor” dedi. Blog yazısı. “Bu kısıtlı erişim, araştırmacıların bu büyük dil modellerinin nasıl ve neden çalıştığını anlama yeteneğini sınırlayarak, sağlamlıklarını artırma ve önyargı, toksisite ve yanlış bilgi üretme potansiyeli gibi bilinen sorunları azaltma çabalarındaki ilerlemeyi engelliyor.”
Meta’nın son teknoloji AI dil modeli, piyasaya sürüldükten bir hafta sonra 4chan’da sızdırıldı
Ancak Meta, LLaMA’ya erişim taleplerini karşılamaya başladıktan sadece bir hafta sonra, model çevrimiçi olarak sızdırıldı. 3 Mart’ta, sistemin indirilebilir bir torrent’i 4chan’da yayınlandı ve o zamandan beri çeşitli AI topluluklarına yayıldı ve hızlı teknolojik değişim döneminde en son araştırmaları paylaşmanın doğru yolu hakkında tartışmalara yol açtı.
Bazıları sızıntının rahatsız edici sonuçları olacağını söylüyor ve Meta’yı teknolojiyi çok özgürce dağıtmakla suçluyor. “Pek çok kişiselleştirilmiş spam ve kimlik avı girişimine hazır olun” tweet attı Siber güvenlik araştırmacısı Jeffrey Ladish, haber çıktıktan sonra. “Bu modelleri açık kaynak yapmak berbat bir fikirdi.”
Diğerleri, yapay zeka sistemleri için güvenlik önlemleri geliştirmek için açık erişimin gerekli olduğunu ve benzer şekilde karmaşık dil modellerinin önemli bir zarara yol açmadan zaten halka açık hale getirildiğini savunarak daha iyimser.
“Bir süredir bize kötü niyetli bir kullanım dalgasının [of AI language models] geliyor,” diye yazdı araştırmacılar Sayash Kapoor ve Arvind Narayanan Blog yazısı. “Yine de, belgelenmiş herhangi bir vaka yok gibi görünüyor.” (Öğrencilerin Kapoor ve Narayanan indirim raporları ChatGPT kullanarak hile yapmak veya AI spam’ı veya hata dolu AI gazeteciliğinin yayınlanması tarafından istila edilen siteler, çünkü bu uygulamalar zarar verme amacı taşımaz ve tanımları gereği kötü niyetli değildir.)
Sınır Sızan sistemi indiren ve meşru olduğunu söyleyen bir dizi yapay zeka araştırmacısıyla konuştu; bunlardan biri – Matthew Di Ferrante – sızan sürümü Meta tarafından dağıtılan resmi LLaMA modeliyle karşılaştırabilen ve eşleştiğini doğrulayan kişi de dahil. Meta soruları yanıtlamayı reddetti Sınır Meta AI genel müdürü Joelle Pineau, sızıntının gerçekliği veya kaynağı hakkında, onaylanmış yaptığı basın açıklamasında, “ [LLaMA] model herkes tarafından erişilebilir değil … bazıları onay sürecini atlatmaya çalıştı.”
LLaMA güçlü bir yapay zekadır — eğer zamanınız, uzmanlığınız ve doğru donanımınız varsa
Peki, başıboş bir LLaMA ne kadar tehlikeli? Ve Meta’nın modeli, ChatGPT ve yeni Bing gibi herkesin erişebileceği sohbet robotlarıyla nasıl karşılaştırılır?
En önemli nokta, LLaMA’yı indirmenin ortalama bir internet kullanıcısı için çok az şey yapacağıdır. Bu, konuşmaya hazır bir sohbet robotu değil, çalışmaya başlamak için makul miktarda teknik uzmanlığa ihtiyaç duyan “ham” bir yapay zeka sistemidir. (Kısa bir bilgi: LLaMA aynı zamanda bir Bekar sistem ama dört farklı boyutlardaki modeller ve hesaplama gereksinimleri. Daha sonra bunun hakkında daha fazla bilgi.)
Di Ferrante anlatıyor Sınır “karmaşık projeler için sunucuları ve geliştirme ortamlarını kurmaya aşina olan herkes”, “yeterli zaman ve uygun talimatlar verildiğinde” LLaMA’yı çalışır hale getirebilmelidir. (Ancak Di Ferrante’nin aynı zamanda “4 adet 24 GB GPU’ya sahip bir makine öğrenimi iş istasyonuna” erişimi olan deneyimli bir makine öğrenimi mühendisi olduğunu ve dolayısıyla daha geniş nüfusu temsil etmediğini belirtmekte fayda var.)
LLaMA, faaliyete geçmek için çok çalışma gerektiren “ham” bir modeldir.
Donanım ve bilgi engellerine ek olarak LLaMA, ChatGPT veya Bing gibi konuşmalar için “ince ayar” yapılmamıştır. İnce ayar, bir dil modelinin çok amaçlı metin oluşturma yeteneklerinin daha spesifik bir göreve odaklandığı süreçtir. Bu görev oldukça kapsamlı olabilir – örneğin, bir sisteme “kullanıcıların sorgularını mümkün olduğunca doğru ve net bir şekilde yanıtlamasını” söylemek – ancak bu tür bir ince ayar, kullanıcı dostu bir ürün oluşturmak için gerekli ve genellikle zor bir adımdır.
Bu sınırlamalar göz önüne alındığında, LLaMA’yı mobilyasız bir apartman bloğu olarak düşünmek belki de yardımcı olabilir. Ağır kaldırma işlemlerinin çoğu yapıldı – çerçeve inşa edildi ve elektrik ve su tesisatı yerinde – ancak kapı, zemin veya mobilya yok. Öylece taşınıp eve diyemezsiniz.
Kâr amacı gütmeyen AI araştırma laboratuvarı EleutherAI’nin yöneticisi ve Booz Allen Hamilton’da makine öğrenimi araştırmacısı Stella Biderman, modelin hesaplama taleplerinin, etkili kullanımı üzerindeki “bir numaralı kısıtlama” olacağını söyledi. “Çoğu insan çalıştırmak için gereken donanıma sahip değil [the largest version of LLaMA] verimli bir şekilde bırakın, hiç, ”dedi Biderman Sınır.
Bu uyarılar bir yana, LLaMA hala son derece güçlü bir araçtır. Model, milyarlarca parametreyle ölçülen (her sistemdeki bağlantı sayısını kabaca çeviren bir ölçü) dört boyutta gelir. Bir LLaMA-7B, 13B, 30B ve 65B var. Meta, tek bir A100 GPU’da çalıştırılabilen, nispeten erişilebilir ve bulut platformlarında saatte birkaç dolara mal olan kurumsal sınıf bir sistem üzerinde çalıştırılabilen 13 milyar sürümün, OpenAI’nin 175 milyar parametreli GPT-3 modelinden daha iyi performans gösterdiğini söylüyor. AI dil modelleri için çok sayıda kıyaslamada.
“Bence bu modelin piyasaya sürülmesi büyük bir dönüm noktası olacak.”
Elbette bu karşılaştırmaların geçerliliği hakkında pek çok tartışma var. AI kıyaslamaları, gerçek dünya kullanımına tercüme edilmediği için kötü bir üne sahiptir ve bazı LLaMA kullanıcıları sistemden yeterli çıktı almakta sorun yaşamıştır (diğerleri bunun yalnızca bir beceri sorunu olduğunu öne sürerken). Ancak birlikte ele alındığında bu ölçümler, LLaMA’nın ince ayarının ChatGPT’ye benzer yetenekler sunacağını gösteriyor. Ve birçok gözlemci, LLaMA’nın kompakt yapısının gelişmeyi teşvik etmede önemli bir etkiye sahip olacağına inanıyor.
Sızdırılan modelin dağıtılmasına yardımcı olan bağımsız yapay zeka araştırmacısı Shawn Presser, “Bence bu model sürümünün büyük bir dönüm noktası olacağını düşünüyorum” diyor. Sınır. Presser şöyle diyor: LLaMA’yı tek bir A100 GPU’da çalıştırma yeteneği – “çoğumuzun ya erişimi var … ya da bir tanesini kullanmamıza izin verebilecek birini tanıyoruz” – “büyük bir sıçrama”.
AI araştırmasının geleceği: açık mı kapalı mı?
LLaMA sızıntısı ayrıca ilginç çünkü yapay zekanın daha geniş dünyasında devam eden ideolojik bir mücadeleye, yani “kapalı” ve “açık” sistemler arasındaki savaşa oynuyor.
Bu tartışmayı tanımlamak biraz fazla basitleştirmeyi gerektirir ve tüm şirketler, araştırmacılar ve modeller bu iki kutup arasındaki bir yelpazede bir yerlerde bulunur. Ancak esasen, AI araştırma ve modellerine daha fazla erişim için savunan açıcılar ve bu bilgi ve teknolojinin daha dikkatli dağıtılması gerektiğini düşünen kapanışçılar var.
Bu kampların motivasyonu uyumludur (her ikisi de dünyada daha az kötü AI malzemesi ve daha iyi AI malzemesi ister), ancak yaklaşımları farklıdır. Açıcılar, yalnızca yapay zeka sistemlerini geniş çapta test ederek güvenlik açıklarının bulunabileceğini ve güvenlik önlemlerinin geliştirilebileceğini ve bu teknolojinin açık kaynak kodlu olmamasının, gücü umursamaz şirketlerin ellerinde yoğunlaştıracağını savunuyorlar. Kapatıcılar, herkes için böyle bir serbestliğin tehlikeli olduğu ve AI giderek daha karmaşık hale geldikçe, halka açık testlerin risklerinin giderek daha yüksek hale geldiği yanıtını veriyor. Sadece kapalı kurumlar bu tür tehditleri gerektiği gibi inceleyebilir ve azaltabilir.
Daha fazla açıklık isteyenler için LLaMA sızıntısı bir nimettir. Di Ferrante, genellikle açık kaynaklı sistemlere sahip olmanın net bir fayda olduğunu düşündüğünü söylüyor çünkü OpenAI ve diğerlerinin olduğu bazı tekel durumlarına girmemizi engelliyor. karmaşık hizmet verebilecek tek varlıklardır [AI models]” Presser aynı fikirde ve LLaMA’nın “ham” halinin bu açıdan özellikle çekici olduğunu söylüyor. Bu, bağımsız araştırmacıların Meta’nın sistemlerinde kendi amaçlarına uyacak şekilde ince ayar yapabilecekleri anlamına gelir; boş çerçevesini dükkân, ofis ya da canları ne isterse onu donatıyorlar.
Presser, LLaMA’nın gelecekteki sürümlerinin bilgisayarınızda barındırılabileceğini ve e-postalarınız üzerinde eğitilebileceğini hayal ediyor; çalışma programlarınız, geçmiş fikirleriniz, yapılacaklar listeleriniz ve daha fazlası hakkındaki soruları yanıtlayabilir. Bu, yeni başlayanların ve teknoloji şirketlerinin geliştirdiği işlevselliktir, ancak birçok AI araştırmacısı için yerel kontrol fikri çok daha çekici. (Tipik kullanıcılar için, kullanım kolaylığı için maliyet ve gizlilik ödünleşimleri muhtemelen işleri diğer yöne çevirecektir.)
“İnsanların iyi niyetli teknoloji yayma girişimlerine saygı duymazsak, [it makes it] insanların bir şeyleri serbest bırakması daha zor.”
Açık veya kapalı yapay zeka yayma modellerinin gücünden bağımsız olarak Biderman, sızıntının Meta gibi şirketler ile araştırmalarını paylaştıkları akademisyenler arasındaki güveni azaltması açısından muhtemelen zararlı olduğunu belirtiyor. “İnsanların teknolojiyi yasal ve etik yükümlülükleriyle tutarlı bir şekilde yayma konusundaki iyi niyetli girişimlerine saygı duymazsak, bu yalnızca halk ve araştırmacılar arasında daha düşmanca bir ilişki yaratacak ve insanların bir şeyler yayınlamasını zorlaştıracaktır. ”diye not ediyor.
Gerçi daha önce de buna benzer olaylar gördük. DALL-E 2 ile metinden görüntüye sistemleri ilk kez ana akıma iten OpenAI olmasına rağmen (kapalı bir API olarak şaşmaz bir kurumsal ironi ile piyasaya sürdü) şirket, açık bir Diffusion olan Stable Diffusion’ın piyasaya sürülmesiyle yanlış yola saptı. kaynak alternatifi Stable Diffusion’ın gelişi, AI sanat alanında sayısız uygulamayı ve iyileştirmeyi tetikledi ve – daha önceki terimlerimi kullanırsam – hem daha iyi şeylere yol açtı. Ve daha kötü şeyler oluyor. Meta’nın LLaMA’sı serbestken, yapay zeka metin oluşturmada benzer bir dinamik işleyişi bir kez daha göreceğiz: daha çok şey, daha çok zaman.