Giderek daha fazla şirket, GPU’lara erişim gerektiren büyük dil modellerini çalıştırıyor. Bunlardan en popüler olanları Nvidia’dan geliyor, bu da onları pahalı ve çoğu zaman yetersiz kılıyor. Bu maliyetli kaynaklara yalnızca tek bir iş için erişmeniz gerektiğinde, bir bulut sağlayıcısından uzun vadeli bir bulut sunucusu kiralamak her zaman mantıklı değildir.
AWS, bu sorunun çözülmesine yardımcı olmak amacıyla bugün ML için Amazon Elastic Compute Cloud (EC2) Kapasite Bloklarını piyasaya sürdü ve müşterilerin bu GPU’lara belirli bir süre için, genellikle eğitim gibi yapay zeka ile ilgili bir işi yürütmek için erişim satın almalarına olanak tanıdı. makine öğrenimi modeli veya mevcut bir modelle deneme çalıştırma.
Channy Yun şöyle yazdı: “Bu, GPU bulut sunucularını planlamanın yenilikçi ve yeni bir yoludur; burada ihtiyaç duyduğunuz sayıda bulut sunucusunu gelecekteki bir tarih için, yalnızca ihtiyaç duyduğunuz süre boyunca rezerve edebilirsiniz.” bir blog yazısında yeni özelliği duyuruyor.
Ürün, müşterilerin, örnek başına 8 GPU ile birden 64 örneğe kadar küme boyutlarında NVIDIA H100 Tensor Core GPU örneklerine erişmesini sağlar. 8 hafta önceden olmak üzere 1 günlük artışlarla 14 güne kadar süre ayırabilirler. Zaman çerçevesi sona erdiğinde bulut sunucuları otomatik olarak kapatılacaktır.
Yeni ürün, kullanıcıların (şirketin ifadesiyle) belirli sayıda gün için bir otel odası rezervasyonu yapması gibi, belirli bir zaman dilimi için ihtiyaç duydukları sayıda örneğe kaydolmalarına olanak tanıyor. Müşterinin bakış açısına göre işin ne kadar süreceğini, kaç GPU kullanacaklarını ve ön maliyetin ne kadar olacağını tam olarak bilecekler ve bu da onlara maliyet kesinliği sağlayacak.
Amazon için, bu talep edilen kaynakları neredeyse açık artırma türünde bir ortamda çalıştırarak onlara gelir garantisi verebilirler (tabii ki müşterilerin geleceğini varsayarak). Şirkete göre bu kaynaklara erişim fiyatı arz ve talebe bağlı olarak gerçekten dinamik olacak.
Kullanıcılar hizmete kaydolduğunda, zaman dilimi ve kaynaklar için toplam maliyet görüntülenir. Kullanıcılar, satın almayı kabul etmeden önce kaynak isteklerine ve bütçelerine bağlı olarak bunu artırabilir veya azaltabilirler.
Yeni özellik bugünden itibaren AWS ABD Doğu (Ohio) bölgesinde genel olarak kullanıma sunulacak.