Giriş
Günümüzde yüksek performanslı bilgisayar sistemleri, veri merkezlerinden bireysel kullanıcılara kadar geniş bir yelpazede kritik öneme sahip hale geldi. Özellikle sunucu sistemleri ve yapay zeka uygulamaları için gelişmiş donanımlar kaçınılmaz bir ihtiyaç oluşturuyor. Son dönemde, eski tip bir işletme GPU’sunun, yerel büyük dil modelleri (LLM) ile kullanılması dikkat çekici bir yöntem haline geldi. Bu yaklaşım, kullanıcıların hem maliyetleri azaltmalarını hem de sistem performanslarını artırmalarını sağlıyor.
Proje Detayları
Bir teknoloji meraklısı, gürültülü ve büyük ölçüde eski bir işlemci mimarisi olan Tesla V100 GPU’sunu, LLM çıkarım amaçları için yeniden kullanma şansı buldu. Bu projede toplam VRAM kapasitesini 16 GB’dan 32 GB’a çıkararak, yalnızca 266 dolarlık bir maliyetle önemli bir yükseltme gerçekleştirdi. Bu, günümüzün RAMpocalypse döneminde oldukça etkileyici bir sonuç.
Teknik Özellikler
- Model: Nvidia Tesla V100 SXM2
- VRAM: 32 GB HBM2
- İşlemci Mimarisi: Nvidia Volta
- Soğutma Çözümü: Modifiye soğutucu fan
Performans Testleri
Oscar Molnar, 16 GB HBM2 VRAM’e sahip bir Tesla V100 GPU’su ile başladığı bu projede, SXM2’den PCIe adaptörü satın aldı ve stok fanın yüksek gürültüsünü azaltmak için bir PWM modifikasyonu gerçekleştirdi. Bu modifikasyon ile, fanın gürültü seviyesi 82dB’den, yalnızca yüzde 10 hızda çalıştığında 50°C’de tutularak oldukça düşük bir seviyeye çekildi.
LLM Uygulamaları
Sistemi tamamladıktan sonra, 27 milyar parametreli bir LLM, 32 token/saniye hız ile çalıştırılmaya başlandı. Bu performans, etkileşimli kullanıma yeterli ve birçok bulut API alternatifinden daha hızlı sonuç verdi. NixOS işletim sistemi ve özel Nvidia sürücü kullanarak, Volta ve Ada mimarilerine tam destek sağlandı.
Sonuç
Bu proje, eski donanımların yalnızca yeniden kullanılarak yüksek performans uygulamalarında nasıl verimli bir şekilde kullanılabileceğini gösteriyor. Sunucu sistemleri için uygun maliyetler ve etkili soğutma çözümleri, donanım performansını artırmak için kritik unsurlar arasında yer almaktadır. Özellikle data merkezlerinde kullanılacak bu tür uygulamalar, teknoloji meraklıları için ilham verici bir örnek teşkil ediyor.
Kaynak: Tom’s Hardware verileriyle derlenmiştir.
