Salı günü Nvidia’nın GTC konferansındaki sunumu sırasında CEO Jensen Huang tarafından tanıtılan NVL H100, ChatGPT gibi büyük dil modelleri için tahminlerde bulunma konusunda uzmanlaşmıştır. Nvidia
OpenAI’nin ChatGPT’sini çevreleyen vızıltıyı AI dünyası için bir “iPhone anı” olarak nitelendiren Nvidia’nın kurucu ortağı ve CEO’su Jensen Huang Salı günü açıldı GTC konferansı Bu tür uygulamalara güç sağlamayı amaçlayan iki yeni çip sunarak şirketin.
İlki, Büyük Dil Modellerini Dağıtmak için NVIDIA H100 NVL, ChatGPT’nin bir örneği olduğu doğal dil programları olan büyük dil modellerinde “çıkarım” görevlerini yürütmek için tasarlanmıştır.
Çıkarım, tahminler yaparak soruları yanıtlamak için eğitilmiş bir program çalıştırıldığında, bir Makine Öğrenimi programının konuşlandırılmasındaki ikinci aşamadır.
H100 NVL yongası 94 gigabayt belleğe sahiptir
Nvidia, H100 NVL yongasının 94 gigabayt belleğe sahip olduğunu söyledi. Şirket, Transformer Engine hızlandırma motorunun “önceki nesil A100’e kıyasla GPT-3’te 12 kata kadar daha hızlı çıkarım performansı sağladığını” söyledi.
Nvidia’nın bu yeni önerisi, sunucular için işlemcileri olan Xeon ailesi uzun süredir çıkarım görevlerine hakim olan Intel’in pazar payına biraz daha saldırabilir. Şimdiye kadar Nvidia, ChatGPT gibi bir makine öğrenimi programının ilk kez geliştirildiği aşama olan yapay zeka “eğitimi” alanına hakimdi.
Nvidia, H100 NVL’nin bu yılın “ikinci yarısında” piyasaya sürülmesinin beklendiğini söyledi.
cuLitho ile yeni litografi
Salı günü tanıtılan ikinci çip, şirketin “%99 geliştirilmiş güç verimliliği ile birlikte CPU’lardan 120 kat daha iyi AI destekli video performansı sağlayabildiğini” söylediği AI Video için L4.
Nvidia, Google’ın şu anda özel önizlemede olan G2 sanal makinelerini kullanarak L4 video çipini sunan ilk bulut sağlayıcısı olduğunu söyledi. Nvidia, L4’ün Google’ın Vertex AI model mağazasına entegre edileceğini söyledi.
Salı günü Nvidia tarafından açıklanan yeni çıkarım yongaları arasında video AI için L4 (solda) ve LLM’ler için H100 NVL (sağdan ikinci) yer alıyor. Bunlara zaten var olan yongalar, soldan ikinci görüntü üretimi için L40 ve sağda Nvidia’nın CPU ve GPU’sunu birleştiren çip Grace-Hopper eşlik ediyor. Nvidia
Nvidia, Google’ın teklifine ek olarak, L4’ün Advantech, ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo , QCT ve Supermicro dahil olmak üzere 30’dan fazla bilgisayar üreticisinin sistemlerinde kullanılabileceğini söyledi.
Bay Huang’ın konuşmasında ChatGPT’nin yaratıcısı OpenAI’ye birçok atıf yapıldı. Huang, ilk Nvidia DGX sistemini 2016 yılında şirkete elden teslim etti. Nvidia, OpenAI’nin programlarını çalıştıran Azure bilgisayarlarında Hopper GPU’ları kullanacağını söyledi.
Huang, yeni çiplerin yanı sıra, cuLitho adlı çip üretimi sırasında devreye alınacak yeni bir yazılım kitaplığından bahsetti. Bu program, devreler oluşturmak için ışığın bir silikon gofrete nasıl yansıtılacağını belirleyen ekranlar olan foto maskelerin üretimini hızlandırmak için tasarlanmıştır.
Nvidia’nın kurucu ortağı ve CEO’su Jensen Huang, GTC konferansında açılış konuşmasını yapıyor. Nvidia
Nvidia, yazılımın “şu anda mümkün olandan daha küçük transistörlere ve kablolara sahip yongalara izin vereceğini” söylüyor. Program aynı zamanda toplam tasarım süresini hızlandıracak ve tasarım sürecinde “enerji verimliliğini artıracaktır”. Huang, yazılımın dünyanın en büyük çip üreticisi Taiwan Semiconductor Manufacturing’in tasarım sistemlerine entegre edildiğini söyledi. Ayrıca, yazılım araçları yeni çipler tasarlamak için kullanılan birkaç şirketten biri olan Synopsys’in tasarım yazılımına entegre edilecek.
Salı günkü duyuruların bir özeti bir resmi Nvidia blog gönderisi.
Kaynak : “ZDNet.com”