AMD yapay zeka oyununda güçlerini geliştirirken, yalnızca yeni donanım sunmakla kalmıyor, aynı zamanda yazılıma da yatırım yapıyor ve Nvidia’nın henüz hakim olmadığı yeni pazar segmentlerine ulaşmaya çalışıyor.
Böylece AMD’nin açıklanmış Llama ailesine ait olan ve özel işletme dağıtımlarını hedefleyen ilk küçük dil modeli AMD-135M’dir. Yeni modelin şirketin yakın zamanda Silo AI’yi satın almasıyla bir ilgisi olup olmadığı belli değil (çünkü anlaşmanın çeşitli yetkililer tarafından sonuçlandırılıp onaylanması gerekiyor, dolayısıyla muhtemelen değil), ancak bu, sorunun çözümü yönünde açık bir adımdır. Çıkarım için AMD donanımı kullanılarak AMD tarafından gerçekleştirilen önceden eğitilmiş bir modelle belirli müşterilerin ihtiyaçları karşılanır.
AMD’nin modellerinin hızlı olmasının ana nedeni, spekülatif kod çözme denilen yöntemi kullanmalarıdır. Spekülatif kod çözme, tek bir ileri geçişte birden fazla aday token üreten daha küçük bir ‘taslak model’ sunar. Tokenlar daha sonra onları doğrulayan veya düzelten daha büyük, daha doğru bir ‘hedef modele’ aktarılır. Bu yaklaşım bir yandan birden fazla tokenin aynı anda üretilmesine olanak tanırken diğer yandan artan veri işlemleri nedeniyle güç maliyetine neden oluyor.
AMD’nin yeni sürümü iki versiyon halinde geliyor: AMD-Llama-135M ve AMD-Llama-135M-code; her biri spekülatif kod çözme teknolojisini kullanarak çıkarım performansını hızlandırarak belirli görevleri optimize etmek için tasarlandı; küçük dilli bir model için yapılması mantıklı bir şey. tabanlı yapay zeka hizmeti. Her nasılsa her ikisi de AMD tarafından yapılan performans testlerinde galip geliyor.
- Temel model AMD-Llama-135M, sıfırdan 670 milyar token genel veriyle eğitildi. Bu süreç, dört adet 8 yollu AMD Instinct MI250 tabanlı düğüm kullanılarak altı gün sürdü (AMD’nin terminolojisinde bunlar yalnızca ‘dört AMD MI250 düğümüdür’).
- Ayrıca AMD-Llama-135M kodu, özellikle kodlamaya odaklanan fazladan 20 milyar jetonla ince ayarlandı ve bu görev aynı donanımı kullanarak dört günde tamamlandı.
AMD, daha fazla optimizasyonun daha da iyi performansa yol açabileceğine inanıyor. Ancak şirket önceki nesil GPU’larının kıyaslama rakamlarını paylaştığından, mevcut neslin (MI300X) ve yeni neslin (MI325X) neler yapabileceğini ancak hayal edebiliyoruz.