Amazon Web Services (AWS), derin öğrenme eğitimi için özel olarak optimize edildiğini söylediği EC2 bulut sunucularını başlattı.
Yeni Amazon EC2 Trn1 bulut sunucuları, AWS Inferentia yongalarından sonra AWS tarafından tasarlanan ikinci nesil bir ML yongası olan AWS Trainium yongaları tarafından desteklenmektedir.
Bulut devi, bu yeni örneklerin, doğal dil işleme ve görüntü tanıma gibi karmaşık derin öğrenme modellerinin büyük ölçekli dağıtılmış eğitimi için çok uygun olduğunu iddia ediyor.
Kullanıcılar ne elde eder?
Trn1 bulut sunucuları iki yapılandırmada sunulur ve 128 vCPU’lu 16 adede kadar AWS Trainium yongası tarafından desteklenir.
Bulut sunucuları görünüşe göre 512 GB’a kadar yüksek bant genişliğine sahip bellek sunuyor ve 3.4 petaFLOPS’a kadar TF32/FP16/BF16 bilgi işlem gücü sağlıyor ve yongalar arasında bir NeuronLink ara bağlantısına sahip. NeuronLink, iş yüklerini birden fazla Trainium yongası arasında ölçeklerken iletişim darboğazlarının önlenmesine yardımcı olur.
Ayrıca Amazon, Trn1 bulut sunucularının yüksek verimli ağ iletişimi için 800 Gb/sn’ye kadar Elastic Fabric Adapter (EFA) ağ bant genişliği sağlayan ilk EC2 bulut sunucuları olduğunu söylüyor. Ve Trn1 bulut sunucuları, büyük veri kümelerine ultra hızlı erişim için 8 TB’a kadar yerel NVMe SSD depolama ile birlikte gelir.
AWS ayrıca, Trainium yongalarının, derin öğrenme algoritmaları için özel olarak oluşturulmuş özel skaler, vektör ve tensör motorları içerdiğini söyledi.
Trainium yongalarının diğer yeni özellikleri arasında FP32, TF32, BF16, FP16 ve UINT8, Stokastik yuvarlama ve ayrıca C++ ile yazılmış özel operatörler ve dinamik tensör şekilleri dahil olmak üzere çok çeşitli veri türleri için destek yer alıyor.
AWS Trainium aynı şeyi paylaşıyor AWS Nöron SDK’sı AWS Trainium’a geçişi kolaylaştırabilecek AWS Inferentia olarak.
Nereden kayıt olabilirim?
AWS US East (K. Virginia) ve US West (Oregon) gibi belirli bölgelerde Trn1 bulut sunucularını bugün başlatabilirsiniz.
Bu Trn1 bulut sunucuları, AWS Deep Learning AMI’leri kullanılarak dağıtılabilir ve kapsayıcı görüntülerine Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS) ve AWS ParallelCluster gibi yönetilen hizmetler aracılığıyla erişilebilir.
Daha fazla bilgi edinmek için Amazon EC2’nin Trn1 bulut sunucuları sayfasına gidebilirsiniz. (yeni sekmede açılır).
