Birçok kişi AWS’yi dünyanın en büyük veri sağlayıcısı olarak biliyor olabilir. Bulut bilgi işlem hizmetleri. Ancak çok daha az insan Amazon yan kuruluşunu süper bilgi işlem ağırlığı olarak düşünüyor.
Bunun başlıca nedeni, AWS’nin yüksek performanslı bilgi işlem (HPC) yelpazesinin daha az seksi ucunda, dünyanın zirvesini süsleyen parlak kavram kanıtlama sistemlerinden uzakta çalışmaktan mutlu olmasıdır. İlk 500 sıralamalar.
Bunun yerine kuruluş, çok sayıda şirketin ve akademik kurumun erişebileceği bulut tabanlı hizmetleri kullanıma sunarak süper bilgi işlem kaynaklarına erişimi demokratikleştirmekle ilgilenir.
Bu hedefi gerçekleştirmekten sorumlu kişilerden biri, bazıları tarafından “Boof” olarak bilinen ve HPC için Geliştirici İlişkileri Başkanı olarak müşteriler ve AWS mühendislik ekibi arasında aracılık yapan Brendan Bouffler’dır.
Süper bilgisayarlar inşa etme konusunda uzun yıllara dayanan deneyime sahip biri olarak, sezgisel olarak, en büyük etkiye sahip olanın genellikle daha küçük ölçekli makineler olduğunu, çünkü ham performansın mutlaka en önemli ölçüt olmadığını iddia ediyor.
“Gerçekten büyük makineler tasarlamak eğlenceli çünkü bu, çözmeniz gereken karmaşık bir matematik problemi” dedi. “Ama daha küçük sistemleri inşa etmekten her zaman daha fazla keyif aldım, çünkü en büyük miktarda bilimin yapıldığı yer orası.”
AWS’de ortaya çıkan şey, verimliliğin performanstan önce geldiği HPC’ye yönelik bu yaklaşımın buluta etkili bir şekilde nakledilebilmesiydi.
Buluttaki HPC
Her ne kadar büyük ölçekli süper bilgisayarlar fugakuŞu anda performans sıralamasında en üst sıralarda yer alan , en yeni donanımların ne kadar ileri itilebileceğinin mükemmel örnekleridir, bu sistemler önce merak, sonra yardımcı programlar.
Bouffler’ın açıkladığı gibi, büyük şirket içi makinelerdeki temel sorun erişim kolaylığıdır. Exascale bariyerini kırabilen bir sistem, etkileyici bir mühendislik başarısı olabilir, ancak araştırmacıların onu kullanmak için haftalarca sıraya girmesi gerekiyorsa, pratik kullanımı azalabilir.
“Ben de dahil olmak üzere, süper bilgisayarlar üreten birçok insan, ek bir %1’lik performans elde etme konusunda endişelenme tuzağına düşüyor. Bir düzeyde övgüye değer, ancak saplantı, düşük asılı meyveyi kaçırmanın kolay olduğu anlamına geliyor” dedi Bouffler.
“Daha da önemlisi, araştırmanın ritmi; bu aslında bilim camiası için fırsatın olduğu yer.”
Bu nedenle, AWS yaklaşımı performans olduğu kadar kullanılabilirlik ve esneklikle de ilgilidir. Şirketin hizmet olarak sunduğu tekliflerle müşteriler, HPC iş yüklerini anında bulutta başlatabilir ve tahsis edilen kaynakları gerektiği gibi büyütebilir veya küçültebilir, ancak tüm bunlar israfı ortadan kaldırır.
Bouffler, “Bu, son derece eşitlikçi erişim yaratmakla ilgili” dedi. “Bütçeniz varsa ve bir sorunu çözme arzunuz varsa, ihtiyacınız olan bilgi işlem kaynaklarına da sahipsiniz.”
Böyle bir sistemin faydaları, Moderna ve AstraZeneca gibi şirketlerin aşı geliştirme amacıyla AWS örneklerini kullandığı pandeminin başlangıcından bu yana özellikle belirgindir.
Bouffler’a göre, bulut tabanlı HPC olmadan, dünyanın bugün (bırakın birden fazla) bir aşısı olmayabilir, bu da araştırmanın hızla başlatılmasına ve bir an önce büyütülmesine olanak tanır.
“Birlikte çalıştığımız araştırmacılar, muslukta esneklik ve ham kapasite istedi. Bilgisayarı görünmez hale getirir ve gücü akıllı fikirlere sahip insanların ellerine bırakırsanız, gerçekten güçlü şeyler yapabilirler.”
Veri merkezimiz, silikonumuz, kurallarımız
Bouffler, HPC topluluğunun AWS içinde neler olup bittiğine çok fazla dikkat etmediğini kabul eden ilk kişidir. Ancak organizasyondan çıkan pek çok yenilik olduğu konusunda ısrar ediyor.
Örneğin, tarihsel olarak, bulut tabanlı örnekler, kolayca yüksek hacimli farklı görevlere bölünebilen, ancak düğümler arasında iletişim gerektiğinde daha az iyi performans gösteren “utanç verici derecede paralel” iş yüklerini çalıştırmada mükemmeldi.
AWS, InfiniBand’i buluta getirmek yerine sorunu çözmek için farklı bir yol buldu. Şirket adı verilen bir teknoloji geliştirdi. Elastik Yapı Adaptörü (EFA), makine öğrenimi ve akışkanlar dinamiği simülasyonu gibi karmaşık iş yükleri için şirket içi HPC kümeleriyle eşit düzeyde uygulama performansı sağladığı varsayılan.
A’dan B’ye tüm veri paketlerini mümkün olan en hızlı yoldan ateşleyen InfiniBand’in aksine, EFA paketleri tüm ağ boyunca ince bir şekilde yayar.
“Bulutta HPC çalıştırmanın bir yolunu bulmamız gerekiyordu, ancak gidip bulutu bir HPC kümesi gibi göstermek istemedik. Bunun yerine, bulutun özelliklerinden yararlanmak için HPC yapısını yeniden tasarlamaya karar verdik,” diye açıkladı Bouffler.
“EFA, paketleri bir sürü gibi hemen hemen tüm yollara aynı anda püskürtür, bu da daha iyi olmasa da iyi performans sağlar. Ağ tıkandığında da ölçekleme durmaz; sistem, en başından tıkanıklık olduğunu varsayar, bu nedenle HPC işi büyüse bile performans sabit kalır.”
Bu arada 2018’de AWS, kendi özel Arm tabanlı sistemini geliştirmeye başlayacağını duyurdu. sunucu Graviton adlı işlemci. Yalnızca HPC kullanım durumlarına yönelik olmamasına rağmen, Graviton serisi AWS için bir dizi kapı açmıştır, çünkü şirketin ihtiyaçları için gerekli olmayan tüm özellikleri söküp almasına ve gerekli olanları ikiye katlamasına izin vermiştir.
Bouffler, “Bulut kadar büyük bir şey tasarlarken, işlerin başarısız olacağını varsaymanız gerekir” dedi. “Genel olarak konuşursak, gereksiz özellikleri kaldırmak, arıza profili üzerinde çok daha yakın kontrole sahip olduğunuz anlamına gelir ve silikon üzerinde kontrol sahibi olmak bize benzer bir avantaj sağladı.”
“Graviton3, veri merkezlerimiz için en uygun hale getirildi, çünkü bu tür şeylerin tek müşterisi biziz. Koşullarımızın ne olduğunu biliyoruz, ancak diğer üreticilerin en tuhaf ve olağandışı veri merkezi yapılandırmalarını desteklemesi gerekiyor.”
saat AWS yeniden: icat geçen yıl katıldığı TechRadar Proşirket, en azından bazı senaryolarda, önceki nesle göre %25’e kadar daha iyi bilgi işlem performansı ve %60 daha iyi güç verimliliği sağladığı söylenen Graviton3 tarafından desteklenen yeni EC2 bulut sunucularını piyasaya sürdü.
Bouffler, Graviton3’te yerleşik 300 GB/sn bellek bant genişliği gibi, tipik kurumsal iş yüklerinin asla sınıra kadar uzanmayacağı bir dizi HPC merkezli özellik olduğunu açıkladı. “HPC için her yöne baskı yapıyoruz, her zaman yaptığımız şey bu.”
Daha fazla HPC, daha neşeli
AWS’nin HPC hizmetlerini bir sonraki adımda nereye götüreceği sorulduğunda Bouffler, Jeff Besoz’un favori bir sözünü aktardı: “Hiçbir müşteri daha az çeşitlilik ve daha yüksek fiyatlar istemedi”.
Bouffler ve ekibi, bundan sonra, müşterilerin sesini duyurmaya ve daha geniş donanım seçenekleri yelpazesiyle özel ihtiyaçlarını karşılamak için daha geniş bir örnek yelpazesi sunmak için çalışmaya devam edecek.
Diğer bir odak noktası, bulutta HPC iş yüklerini çalıştırmanın maliyetini düşürmek olacaktır. Bu hedefi göz önünde bulundurarak AWS, Ocak ayında yeni bir AMD EPYC Milano tabanlı EC2 bulut sunucusunu başlattı: Hpc6a, en yakın karşılaştırılabilir x86 tabanlı eşdeğerden üçte iki daha ucuzdur. Bouffler, AWS’nin maliyeti düşürmeye yardımcı olmak için “her türlü çılgın şeyi” yaptığını söylüyor.
Bu sadece akademik ve bilimsel kullanım örnekleriyle de ilgili değil. AWS, ürün tasarımını hızlandırmaya yardımcı olmak için Western Digital’den Formula 1’e kadar çok çeşitli şirketlerle birlikte çalışıyor ve gelecekte daha derin bir sektör yelpazesine genişlemeyi umuyor.
Bouffler, “HPC’yi ekonominin her köşesine ve kuytusuna getiriyoruz,” diye ekledi. “Ve ne kadar çoksa o kadar neşeli.”