AMD Radeon destekli bir eGPU’ya bağlanan Raspberry Pi 5’in, Büyük Dil Modelini (LLM) çalıştırmayı hızlandırmak için grafik donanımı kullanılarak kullanıldığı gösterildi. Elbette yine Pi sihirbazı Jeff Geerling var ve aşağıda gömülü videoda, Raspberry Pi 5’te GPU ile hızlandırılmış yerel yapay zekanın keyfini çıkarmak için Vulkan API desteğinden yararlanma deneyimini anlatıyor.
Bir eGPU’ya bağlanan son Raspberry Pi 5 ilerleme raporumuzda, bu beklenmedik eşleşmenin modern AAA 4K oyun olanaklarını vurguladık. Gibi oyunlar Doom Eternal, Crysis Remastered, Red Dead Redemption 2Ve Forza Horizon 4 favori 50$’lık SBC kanalımızda 4K’da yayınlanarak gösterildi. Çoğu kişi, örneğin 25 fps’nin üzerindeki performansı sürdürmek için çabalarken, oyunlardan gerçek keyif almak başka bir soru olacaktır.
Geerling, geçtiğimiz kez eğlenceli ve bilgilendirici videosunu Pi 5’in LLM desteğine ilişkin bir güncellemeyle sonlandırdı. Pi 5’te herhangi bir LLM’yi GPU ile hızlandırmayı başaramadığını ancak daha küçük modellerin Pi’nin RAM’indeki CPU üzerinde çalışabileceğini belirtti. Dahası, AMD’nin Arm’da ROCm desteğini temelde reddetmesi nedeniyle beklentiler pek de iyi görünmüyordu.
Neyse ki meraklıların yönlendirdiği teknoloji dünyasında işler hızla değişebiliyor. Geerling, son videosunda Pi 5’teki GPU hızlandırmalı LLM’lerin cevabının Vulkan API (deneysel bir yama ile) olduğunu ortaya koyuyor. Geerling, Vulkan’ın donanım/sistemler arasında seçim olanağı sunan donanım/sistemlerde AMD’nin ROCm’sinden bile daha iyi performans gösterebileceğini, yani bunun kesinlikle zavallı bir adamın tercihi olmadığını belirtiyor.
Videonun yaklaşık iki dakikasında Geerling bize donanım kurulumunu anlatıyor. Buradaki en ezoterik şey GPU’yu Pi’ye bağlamak için kullanılan iki karttır. Pi’nin PCIe express FFC konnektörünü bir M.2 yuvasına dönüştürmek için bir adaptör kullandı. M.2 yuvasına, GPU OCuLink yükselticisine giden bir kabloyla bir M.2 – OCuLink adaptörünü taktı. Videoda yine bir RX 6700 XT kullanıyor (diğer birçok parçanın yanı sıra yedek bir PC PSU’ya da ihtiyacınız olacak).
Yazılım kurulumu şu anda biraz daha karmaşıktır ve kullanıcının kendi Linux çekirdeğini derlemesini, bir avuç sürücüyü ve yamayı bir araya toplamasını ve daha fazlasını gerektirir. Daha fazla rehberlik şu adresten edinilebilir: Geerling’in blogu.
Resim 1 ile ilgili 2
Pi tutkunu ve TechTuber, donanım ve yazılım tartışmalarının yararlarına daha fazla ışık tutarak bazı performans rakamları ve karşılaştırmalar sunuyor.
Geerling’in, neredeyse M1 Max Mac Studio (64GB) kadar hızlı ve verimli bir alternatif olarak Pi plus eGPu’yu önerdiğini duymak ilginç. Ayrıca, tüm kablolamanın maliyetinin yaklaşık 700 dolar olduğunu, ancak bazı parçalara zaten sahipseniz (özellikle yedek eski GPU’ya sahip olanlar için) çok daha ucuz olduğunu vurguladı.
Karışıma RTX 4090 karşılaştırmasını eklemek (ikinci slayt), güçlü ve modern bir bilgisayarın ne kadar LLM performansı toplayabileceğini gösteriyor. Saniyede yüzlerce jeton (T/s) üreten 600 W’lık bir sistem istiyorsanız bu harika, ancak evde çevrimdışı yapay zeka kullanımı için 40-60 T/s bol olmalıdır. Üstelik enerji faturanızı ödeyen kişi, bu verimli Pi tabanlı (Pi 5 plus RX 6700 XT) çözümün ~12 W sistem boşta güç tüketiminden memnun olabilir.