Salı günü Amazon tanıtıldı Yalnızca Amazon Web Service (AWS) bölümü tarafından kullanılacak olan yeni işlemcilerinden ikisi. İki yeni paket içi sistem, genel amaçlı iş yükleri için Graviton 4 işlemci ve Stajyer Yapay zeka eğitimi için 2 işlemci. Yeni cihazlar, Amazon istemcilerine süper bilgisayar sınıfı performans sağlayacak AWS bulut sunucularını güçlendirecek.
Graviton4
Şirketin AMD EPYC ve Intel Xeon CPU’larıyla rekabet eden 4. Nesil genel amaçlı işlemcisi olan Amazon’un Graviton4’ü, Arm’ın 64 bit mimarisini kullanmaya devam ediyor ve 96 çekirdeğe sahip. İşlemcinin, önceki modeli Graviton3’e kıyasla %30’a kadar daha yüksek hesaplama performansı ve bellek bant genişliğinde %75’lik bir artış sergilediği söyleniyor. AWS, Graviton4’ün Arm’ın Neoverse V2 çekirdeklerine güvenip güvenmediğini açıklamadı ancak bu olası bir senaryo.
AWS Graviton3 gibi AWS Graviton4 de yedi parçadan oluşan çoklu yonga tasarımına dayanır. AWS’nin paketleme konusunda Intel Foundry Services ile çalıştığını göz önünde bulundurursak bu beklenen bir durumdur. Graviton4 için hangi dökümhanenin silikon ürettiği tam olarak belli değil.
Graviton4, zorlu veritabanlarını, bellek içi önbellekleri ve büyük ölçekli veri analitiğini hedefleyen, bellek açısından optimize edilmiş EC2 R8g bulut sunucularına dahil edilecektir. Bu yeni R8g bulut sunucuları, mevcut R7g bulut sunucularına kıyasla üç kata kadar daha fazla sanal CPU (vCPU) sağlayacak ve belleği üç katına çıkaracak. Sonuç olarak AWS istemcileri daha fazla veriyi işleyebilecek, projelerini daha verimli bir şekilde genişletebilecek ve işlem hızlarını artırabilecek. Şu anda Graviton4 donanımlı R8g bulut sunucularına test için erişilebilir durumda ve önümüzdeki birkaç ay içinde ticari olarak satışa sunulması bekleniyor.
SAP SE Yönetim Kurulu Üyesi ve CTO’su Juergen Mueller, “SAP HANA Cloud’un AWS Graviton tabanlı Amazon EC2 bulut sunucularına geçiş sürecinin bir parçası olarak, analitik iş yükleri için halihazırda %35’e kadar daha iyi fiyat performansı gördük” dedi. . “Önümüzdeki aylarda Graviton4’ü ve ortak müşterilerimize getirebileceği faydaları doğrulamayı sabırsızlıkla bekliyoruz.”
Eğitim2
Amazon, genel amaçlı iş yüklerine yönelik AWS Graviton4 işlemcisine ek olarak, Nvidia’nın H100, H200 ve B100 AI GPU’larıyla rekabet edecek olan AI eğitimi için yeni Trainium2 paket içi sistemini de tanıttı. Trainium2, orijinal Trainium çiplerine kıyasla dört kata kadar daha hızlı eğitim hızları ve üç kat daha fazla bellek kapasitesi sunacak şekilde tasarlanmıştır; bu önemli bir başarıdır. Ayrıca Trainium2, enerji verimliliğini artırarak watt başına iki kata kadar performans elde etti. Trainium2 tabanlı makineler, petabit ölçeğinde performans sunan AWS Elastic Fabric Adapter (EFA) kullanılarak bağlanacak.
Trainium2 hakkında özellikle etkileyici olan şey, 65 AI ExaFLOPS’a kadar bilgi işlem gücü sağlayacak şekilde ayarlanmış 100.000 Trainium2 çipine kadar ölçeklenebilen EC2 Trn2 bulut sunucularında mevcut olacak olması ve kullanıcıların talep üzerine süper bilgisayarlara benzer performansa erişmesine olanak sağlamasıdır. Bu tür ölçeklendirme yetenekleri, daha önce aylar süren 300 milyar parametreli büyük bir dil modelinin eğitiminin artık yalnızca haftalar içinde gerçekleştirilebileceği anlamına geliyor.
Tasarım açısından bakıldığında, AWS Trainium2 SiP aynı zamanda iki bilgi işlem yongası, dört HBM bellek yığını ve iki bilinmeyen yonga (muhtemelen yüksek hızlı bağlantıya olanak tanıyan) içeren çok parçalı bir tasarım kullanır.
Anthropic’in kurucu ortağı Tom Brown, “Trainium çiplerini kullanarak gelecekteki temel modellerimizi geliştirmek için AWS ile yakın işbirliği içinde çalışıyoruz” dedi. “Trainium2, çok büyük ölçekte modeller oluşturmamıza ve eğitmemize yardımcı olacak ve bunun, bazı önemli iş yüklerimiz için birinci nesil Trainium çiplerinden en az 4 kat daha hızlı olmasını bekliyoruz. AWS ile işbirliğimiz, her boyuttaki kuruluşun yeni olanakların kilidini açmasına yardımcı olacak. Anthropic’in son teknoloji ürünü yapay zeka sistemlerini AWS’nin güvenli, güvenilir bulut teknolojisiyle birlikte kullandıkları için.”
