Nvidia, kelimenin tam anlamıyla tonlarca H100 AI GPU satıyor ve her biri, ortalama bir Amerikan evinden daha fazla olan 700 W’a kadar güç tüketiyor. Nvidia artık yapay zeka iş yükleri için yeni GPU’larını yüksek hacimlerde sattığı için, bu GPU’ların toplam güç tüketiminin büyük bir Amerikan şehrininki kadar yüksek olacağı tahmin ediliyor. Bazı hızlı arka plan matematik işlemleri, GPU’ların bazı küçük Avrupa ülkelerine göre daha fazla güç tüketeceğini de ortaya koyuyor.
Fransız Schneider Electric firmasının Ekim ayında yaptığı tahmine göre, bugün yapay zeka uygulamaları için kullanılan veri merkezlerinin toplam güç tüketimi, Kıbrıs ülkesininkiyle karşılaştırılabilir düzeyde. Peki ya en popüler AI işlemcilerin (Nvidia’nın H100 ve A100) güç tüketimi ne olacak?
Paul ChurnockMicrosoft Veri Merkezi Teknik Yönetişimi ve Stratejisi Baş Elektrik Mühendisi, Nvidia’nın H100 GPU’larının, milyonlarca GPU’nun konuşlandırıldığı 2024 yılı sonuna kadar Phoenix, Arizona’daki tüm evlerden daha fazla güç tüketeceğine inanıyor. Ancak toplam güç tüketimi Houston, Teksas gibi büyük şehirlere göre daha az olacaktır.
Churnock, LinkedIn gönderisinde “Bu, Nvidia’nın H100 GPU’su; en yüksek güç tüketimi 700 W’tır” diye yazdı. “Yıllık %61’lik kullanımla, ortalama bir Amerikalı hane sakininin güç tüketimine eşdeğerdir (2,51 kişi/hane). Nvidia’nın 2024’te tahmini H100 GPU satışı 1,5 – 2 milyon H100 GPU’dur. Konut gücüyle karşılaştırıldığında Şehir bazında tüketime bakıldığında, Nvidia’nın H100 çipleri Houston, Texas’ın hemen arkasında ve Phoenix, Arizona’nın önünde en büyük 5. çip olacak.”
Aslında, yıllık %61 kullanımda bir H100 GPU, yılda yaklaşık 3.740 kilowatt-saat (kWh) elektrik tüketecektir. Nvidia’nın 2023’te 1,5 milyon H100 GPU ve 2024’te iki milyon H100 GPU satacağını varsayarsak, 2024’ün sonuna kadar bu tür işlemcilerin sayısı 3,5 milyon olacak. Toplamda, yılda 13.091.820.000 kilowatt-saat (kWh) gibi devasa bir elektrik tüketecekler. veya 13.091,82 GWh.
Rakamı bağlam içine koymak gerekirse, yaklaşık 13.092 GWh yıllık güç tüketimi Gürcistan, Litvanya veya Guatemala gibi bazı ülkelerden. Bu miktardaki güç tüketimi oldukça şok edici görünse de yapay zeka ve HPC GPU verimliliğinin arttığını da belirtmek gerekiyor. Yani Nvidia’nın Blackwell tabanlı B100’ü muhtemelen H100’ün güç tüketimini geride bırakacak olsa da, daha yüksek performans sunacak ve dolayısıyla tüketilen her birim güç için daha fazla iş yapılmasını sağlayacak.