EXO Labs hakkında ayrıntılı bir blog yazısı kaleme aldı Windows 98’de Llama’yı çalıştırma ve sosyal medyadaki kısa bir videoda 26 yıllık Windows 98 Pentium II PC’de çalışan oldukça güçlü bir AI geniş dil modelini (LLM) gösterdi. Video, eski bir Elonex Pentium II @ 350 MHz’in Windows 98’e önyüklemesini gösteriyor ve ardından EXO, Andrej Karpathy’nin Llama2.c’sini temel alan özel saf C çıkarım motorunu çalıştırıyor ve LLM’den Sleepy Joe hakkında bir hikaye oluşturmasını istiyor. Şaşırtıcı bir şekilde, hikaye oldukça saygın bir hızda üretildiğinden işe yarıyor.
Windows 98 PC’de çalışan LLM, Intel Pentium II CPU ve 128 MB RAM’e sahip 26 yıllık donanım. @karpathy llama2.cKod ve Kendin Yap kılavuzunu temel alan özel saf C çıkarım motorumuz olan llama98.c’yi kullanır 👇 pic.twitter.com/pktC8hhvva28 Aralık 2024
Yukarıdaki göz açıcı başarı, EXO Labs için oyunun sonuna yakın değil. Bu biraz gizemli organizasyon, Eylül ayında “AI’ya erişimi demokratikleştirme” misyonuyla gizlice ortaya çıktı. Organizasyonu Oxford Üniversitesi’nden araştırmacı ve mühendislerden oluşan bir ekip oluşturdu. Kısaca EXO, yapay zekayı kontrol eden bir avuç mega şirketin kültür, gerçek ve toplumumuzun diğer temel yönleri için çok kötü bir şey olduğunu düşünüyor. Bu nedenle EXO, “Sınır modellerini eğitmek için açık altyapı oluşturmayı ve herhangi bir insanın bunları her yerde çalıştırabilmesini sağlamayı” umuyor. Bu şekilde, sıradan insanlar yapay zeka modellerini hemen hemen her cihazda eğitmeyi ve çalıştırmayı umabilirler – ve bu çılgın Windows 98 yapay zeka başarısı, (ciddi şekilde) sınırlı kaynaklarla neler yapılabileceğinin totemik bir demosudur.
Tweet videosu oldukça kısa olduğu için EXO’nun blog gönderisini bulduğumuz için müteşekkiriz. Llama’yı Windows 98’de Çalıştırmak. Bu yazı “EXO’nun 12 günü” serisinin 4. Günü olarak yayınlandı (bu yüzden bizi izlemeye devam edin).
Okuyucuların tahmin edebileceği gibi, EXO’nun bu projenin temeli olarak eBay’den eski bir Windows 98 bilgisayarı alması önemsizdi, ancak aşılması gereken birçok engel vardı. EXO, eski Elonex markalı Pentium II’ye veri almanın zor olduğunu, bu durumun onları eski makinenin Ethernet portu üzerinden dosya aktarımı için “eski güzel FTP”yi kullanmaya yönelttiğini açıklıyor.
Windows 98 için modern kod derlemek muhtemelen daha büyük bir zorluktu. EXO, Andrej Karpathy’nin “Llama 2 mimarisine sahip modellerde çıkarım yapabilen 700 satırlık saf C” olarak özetlenebilecek llama2.c’sini bulduğuna sevindi. Bu kaynak ve eski Borland C++ 5.02 IDE ve derleyici (artı birkaç küçük ayarlama) ile kod, Windows 98 uyumlu bir yürütülebilir dosyaya dönüştürülebilir ve çalıştırılabilir. İşte bir GitHub bağlantısı bitmiş koda.
Windows 98’de 35,9 tok/sn 🤯Bu, Llama mimarisine sahip 260K LLM’dir. Daha büyük modelleri de denedik. Sonuçlar blog yazısında. https://t.co/QsViEQLqS9 pic.twitter.com/lRpIjERtSr28 Aralık 2024
EXO’nun arkasındaki iyi insanlardan biri olan Alex Cheema, Andrej Karpathy’ye kodu için teşekkür etti, performansına hayran kaldı ve Llama mimarisine sahip 260K LLM kullanarak “Windows 98’de 35,9 tok/sn” sağladı. Muhtemelen şunu vurgulamakta fayda var Karpati daha önce Tesla’da yapay zeka direktörüydü ve OpenAI’nin kurucu ekibinde yer alıyordu.
Tabii ki, 260K Yüksek Lisans küçük taraftadır, ancak bu, eski bir 350 MHz tek çekirdekli bilgisayarda makul bir hızda çalıştı. EXO bloguna göre, 15M LLM’ye geçmek, 1 tok/sn’nin biraz üzerinde bir üretim hızıyla sonuçlandı. Ancak Llama 3.2 1B, 0,0093 tok/sn ile buzulsal olarak yavaştı.
BitNet daha büyük plan
Artık bu hikayenin yalnızca bir Yüksek Lisans diplomasının Windows 98’li bir makinede çalıştırılmasıyla ilgili olmadığının farkındasınızdır. EXO, BitNet sayesinde demokratikleşeceğini umduğu gelecekten bahsederek blog yazısını tamamlıyor.
“BitNet, üçlü ağırlıklar kullanan bir transformatör mimarisidir” diye açıklıyor. Daha da önemlisi, bu mimariyi kullanan bir 7B parametre modelinin yalnızca 1,38 GB depolama alanına ihtiyacı vardır. Bu hala 26 yıllık bir Pentium II’nin gıcırdamasına neden olabilir, ancak bu, modern donanımlar ve hatta on yıllık cihazlar için tüy kadar hafiftir.
EXO ayrıca BitNet’in pahalı GPU gereksinimlerini ortadan kaldırarak CPU’ya öncelik verdiğini vurguluyor. Dahası, bu tip modelin tam duyarlıklı modellerden %50 daha verimli olduğu ve tek bir CPU üzerinde insan okuma hızlarında (yaklaşık 5 ila 7 tok/sn) 100B parametreli bir modelden yararlanabileceği iddia edilmektedir.
Gitmeden önce lütfen EXO’nun hala yardım aradığını unutmayın. Ayrıca yapay zekanın geleceğinin milyarderlerin ve mega şirketlerin sahip olduğu devasa veri merkezlerine hapsolmasını önlemek istiyorsanız ve bir şekilde katkıda bulunabileceğinizi düşünüyorsanız bize ulaşabilirsiniz.
EXO Laboratuvarları ile daha rahat bir iletişim için bir Discord Retro kanalı Yüksek Lisans’ların eski Mac’ler, Gameboy’lar, Raspberry Pis ve daha fazlası gibi eski donanımlarda çalıştırılmasını tartışmak.
