İnsanlar Moore Yasasının yavaşlayıp yavaşlamadığını, uygulanabilirliğini sürdürüp sürdürmediğini, hatta 2020’lerde ölü ya da diri olup olmadığını tartışırken, Nvidia bilim insanları Huang Yasasının ardındaki etkileyici ivmeyi müjdeliyor. Son on yılda, Nvidia GPU yapay zeka işleme becerisinin 1000 kat arttığı iddia ediliyor. Huang Yasası, “tek çip çıkarım performansında” gördüğümüz hızlanmaların artık azalmayacağı, aksine artmaya devam edeceği anlamına geliyor.
Nvidia yayınladı Blog yazısı Cuma günü Huang Yasası hakkında, bunun arkasındaki inanç ve iş uygulamalarının ana hatlarını çizecek. Nvidia Baş Bilimcisi Bill Dally’nin “Moore hukuku sonrası dönemde bilgisayar performansının nasıl sağlanacağındaki tektonik değişim” olarak tanımladığı şey, ilginç bir şekilde öncelikle insan yaratıcılığına dayanıyor. Bu özellik üzerine bir yasa oluşturmak biraz tahmin edilemez gibi görünüyor, ancak Dally aşağıdaki etkileyici tablonun Huang Yasasının sadece başlangıcı olduğuna inanıyor.
Dally’nin son Hot Chips 2023 konferans konuşmasına göre yukarıdaki grafik, son on yılda GPU yapay zeka çıkarım performansında 1000 kat artış olduğunu gösteriyor. Nvidia Baş Bilimcisi, ilginç bir şekilde, Moore Yasası’ndan farklı olarak, süreç daralmasının Huang Yasası’nın ilerlemesi üzerinde çok az etkisi olduğunu söyledi.
Dally, Nvidia GPU’nun temel sayı işlemesini değiştirerek nasıl 16 kat kazanç elde edildiğini hatırlıyor. Transformer Engine’i kullanan Nvidia Hopper mimarisinin gelişiyle büyük bir ivme daha sağlandı. Hopper’ın, 12,5 kat performans artışı sağlamanın yanı sıra enerji tasarrufu sağlamak için sekiz ve 16 bitlik kayan nokta ve tamsayı matematiğinin dinamik bir karışımını kullandığı iddia ediliyor. Bilim insanı, daha önce Nvidia Ampere’nin 2 kat performans artışı için yapısal seyreklik getirdiğini söyledi. NVLink ve Nvidia ağ teknolojisi gibi gelişmeler bu etkileyici kazanımları daha da güçlendirdi.
Dally’nin en çok merak uyandıran iddialarından biri, yapay zeka çıkarım performansındaki 1000 katın üzerindeki bileşik kazanımların, süreç iyileştirmelerine atfedilen kazanımlarla tamamen zıt olduğuydu. Hot Chips’ten Dally, son on yılda Nvidia GPU’larının 28nm’den 5nm işlemlere geçmesiyle birlikte, yarı iletken süreç iyileştirmelerinin “toplam kazancın yalnızca 2,5 katını oluşturduğunu” ileri sürdü.
Arkasında “taze malzemeleri icat etmek ve onaylamak için yaratıcılık ve çaba” gibi kavramlar varken Huang Yasası nasıl hızla devam edecek? Neyse ki Dally, kendisinin ve ekibinin yapay zeka çıkarım sürecini hızlandırmak için hâlâ “birkaç fırsat” gördüğünü belirtiyor. Keşfedilecek yollar arasında “sayıların temsil edilme şeklinin daha da basitleştirilmesi, yapay zeka modellerinde daha fazla seyreklik yaratılması ve daha iyi bellek ve iletişim devreleri tasarlanması” yer alıyor.