X (eski adıyla Twitter) kullanıcısı Andrei David Andrej Karpathy’nin llama2.c’sini temel alan bir yapay zeka modelini neredeyse 20 yıllık bir Xbox 360 konsoluna yükledim ve çalıştırdım. David, yaşına rağmen modeli eski konsola yüklemek için bir önyükleyici kullandı ve ‘Sleep Joe dedi’ komutunu çalıştırdı. Gönderiye göre, EXO Lab’in Llama’yı Windows 98 PC’de çalıştırma konusundaki başarılı girişimi, David’e deney yapması için ilham verdi.
Xbox 360’ın kullandığı AI LLM, EXO Lab’in Windows 98 Pentium II PC’sindekiyle aynı olmasına rağmen David, kodu konsolun PowerPC mimarisi ve benzersiz (o sırada) bellek yönetimi özellikleri için optimize etmesi gerektiğini söyledi. En önemli fark, PowerPC’nin en önemli değeri ilk depolayan büyük bir şirket olmasıdır.
Aynı zamanda, EXO Laboratuvarı’nın implantasyonu için kullanılan Intel Pentium II işlemci, en küçük değeri ilk önce saklamaya öncelik veren little-endian’dır. Bu nedenle, modelin düzgün çalışacağından emin olmak için bir bayt değiştirme sistemi uygulaması ve oluşturulan ve saklanan tüm verilerin, Xbox 360’ın bellek alt sisteminin gerektirdiği şekilde uygun 128 bayt bellek hizalamasına sahip olduğundan emin olması gerekiyordu.
Yüksek Lisans, Xenon CPU (3 çekirdekli 3,2 GHz PowerPC) ve 512 MB birleşik RAM ile Xbox 360 üzerinde çalışıyor. @karpathy’nin🩷llama2.c’sini temel alır ve 2005’ten itibaren Microsoft’un güçlü konsolunda çalışacak şekilde taşınmıştır. PowerPC mimarisi ve Xbox bellek yönetimi için optimize edilmiş Pure C uygulaması. İlham aldım… pic.twitter.com/e9oMLaWIyi10 Ocak 2025
David’in karşılaştığı bir diğer zorluk da konsolun birleşik hafızayı kullanmasıydı. Bu, günümüzde modern konsollar ve APU’lar için yaygın olsa da, Xbox 360 piyasaya sürüldüğünde bu yeni bir sınırdı ve oyun geliştiricilerini, oyunlarının konsolun donanımını en iyi şekilde kullanmasını sağlamaya zorladı. Dolayısıyla, 512 MB RAM’e sahip olmasına rağmen Andrei, 60 MB’lık modelin, aynı RAM havuzunu paylaştıkları için sistemin CPU veya GPU’ya ayıracağı alan miktarına sığmasını sağlamak zorundaydı.
Ancak dikkatli bellek yönetimi ve PowerPC’nin çalışma şekline ilişkin ayarlamalarla eski Xbox 360 konsolunun Yüksek Lisans’ı çalıştırmasını sağladı. Bu, EXO Lab’in, yapay zekayı en üst düzey ekipmanlara milyarlarca dolar harcayan ve megavatlarca güç tüketen mega şirketlerle sınırlamak yerine, ortalama bir kişiye yapay zeka erişimi sağlama hedefine doğru bir başka adımdır.
Onlarca yıllık bir cihazda Llama 2 tabanlı bir AI modelini çalıştırmak zaten harika bir başarı, ancak bir kullanıcı 512 MB birleşik RAM’in Hugging Face’in SmolLM’sini veya 4 bit 0.5B Qwen2.5 modelini çalıştırmak için fazlasıyla yeterli olması gerektiği yorumunu yaptı. . Andrei David şöyle cevap verdi: ‘Meydan okuma kabul edildi! :)’, bu nedenle gelecekte Xbox 360’ta daha güçlü AI modellerinin çalıştığını görmeyi sabırsızlıkla bekliyoruz.
