Alphabet’in Google’ı Salı günü yapay zeka modellerini eğitmek için kullandığı süper bilgisayarlarla ilgili yeni ayrıntılar yayınladı ve sistemlerin Nvidia’nın karşılaştırılabilir sistemlerinden hem daha hızlı hem de daha fazla güç verimli olduğunu söyledi.
Google, Tensör İşleme Birimi veya TPU adı verilen kendi özel çipini tasarladı. Bu çipleri, şirketin yapay zeka eğitimi konusundaki çalışmalarının yüzde 90’ından fazlası için kullanıyor; bu, insan benzeri metinlerle sorgulara yanıt verme veya görüntü oluşturma gibi görevlerde kullanışlı hale getirmek için modeller aracılığıyla veri besleme süreci.
Google TPU artık dördüncü neslinde. Salı günü Google, bireysel makinelerin bağlanmasına yardımcı olmak için kendi özel olarak geliştirilmiş optik anahtarlarını kullanarak 4.000’den fazla çipi bir süper bilgisayara nasıl dizdiğini ayrıntılarıyla anlatan bilimsel bir makale yayınladı.
Google’ın Bard’ı veya OpenAI’nin ChatGPT’si gibi teknolojilere güç sağlayan sözde büyük dil modelleri boyut olarak patladı, yani tek bir çipte depolanamayacak kadar büyükler.
Bunun yerine modeller, modeli eğitmek için haftalarca veya daha uzun süre birlikte çalışması gereken binlerce yongaya bölünmelidir. Google’ın bugüne kadarki en büyük kamuya açıklanmış dil modeli olan PaLM modeli, 50 gün boyunca 4.000 çipli süper bilgisayardan ikisine bölünerek eğitildi.
Google, süper bilgisayarlarının anında çipler arasındaki bağlantıları yeniden yapılandırmayı kolaylaştırdığını, sorunların önlenmesine ve performans kazanımları için ince ayar yapılmasına yardımcı olduğunu söyledi.
Google Üyesi Norm Jouppi ve Google Seçkin Mühendisi David Patterson, sistem hakkında bir blog gönderisinde “Devre değiştirme, arızalı bileşenlerin etrafından dolaşmayı kolaylaştırır” diye yazdı. “Bu esneklik, bir ML (makine öğrenimi) modelinin performansını hızlandırmak için süper bilgisayar ara bağlantısının topolojisini değiştirmemize bile izin veriyor.”
Google, süper bilgisayarıyla ilgili ayrıntıları daha yeni yayınlıyor olsa da, 2020’den beri Oklahoma, Mayes County’deki bir veri merkezinde şirket içinde çevrimiçi durumda. Google, Midjourney girişiminin birkaç kelimelik metinle beslendikten sonra yeni görüntüler oluşturan modelini eğitmek için sistemi kullandığını söyledi.
Gazetede Google, karşılaştırılabilir boyuttaki sistemler için süper bilgisayarının, dördüncü nesil TPU ile aynı zamanda piyasada bulunan Nvidia’nın A100 çipine dayalı bir sistemden 1,7 kata kadar daha hızlı ve 1,9 kat daha fazla güç verimli olduğunu söyledi. .
Google, dördüncü neslini Nvidia’nın mevcut amiral gemisi H100 yongasıyla karşılaştırmadığını çünkü H100’ün Google’ın yongasından sonra piyasaya çıktığını ve daha yeni teknolojiyle yapıldığını söyledi.
Google, Nvidia H100 ile rekabet edecek yeni bir TPU üzerinde çalışıyor olabileceğini ima etti, ancak ayrıntı vermedi ve Jouppi, Reuters’e Google’ın “gelecekteki yongalardan oluşan sağlıklı bir boru hattına” sahip olduğunu söyledi.
© Thomson Reuters 2023
