Makine öğreniminin bir süre tükettiği yaygın bir bilgidir. pay enerjinin. E-posta özetlerini destekleyen tüm bu yapay zeka modelleri, kral katili sohbet robotlarıve Homer Simpson’ın nu-metal şarkısını söylediği videolar, saat başına megavat cinsinden ölçülen ağır bir sunucu faturasına neden oluyor. Ancak görünen o ki hiç kimse, teknolojinin arkasındaki şirketler bile maliyetin tam olarak ne olduğunu söyleyemez.
Tahminler mevcut ancak uzmanlar bu rakamların kısmi ve tesadüfi olduğunu, yapay zekanın toplam enerji kullanımına yalnızca bir bakış sunduğunu söylüyor. Bunun nedeni, makine öğrenimi modellerinin inanılmaz derecede değişken olması ve güç tüketimini önemli ölçüde değiştirecek şekilde yapılandırılabilmesidir. Dahası, bir yasa tasarısı hazırlamak için en iyi konumda olan kuruluşlar (Meta, Microsoft ve OpenAI gibi şirketler) ilgili bilgileri paylaşmıyor. (Microsoft Bulut Operasyonları ve Yeniliklerden Sorumlu CTO’su Judy Priest, bir e-postada şirketin şu anda “büyük sistemleri daha verimli hale getirmenin yolları üzerinde çalışırken yapay zekanın enerji kullanımını ve karbon etkisini ölçmek için metodolojiler geliştirmeye yatırım yaptığını” söyledi. hem eğitim hem de uygulama.” OpenAI ve Meta yorum taleplerine yanıt vermedi.)
Tanımlayabildiğimiz önemli faktörlerden biri, bir modeli ilk kez eğitmekle onu kullanıcılara dağıtmak arasındaki farktır. Özellikle eğitim son derece enerji yoğundur ve geleneksel veri merkezi faaliyetlerinden çok daha fazla elektrik tüketir. Örneğin GPT-3 gibi geniş bir dil modelinin eğitilmesi tahmini 1.300 megawatt saatin (MWh) biraz altında elektrik kullanmak; yaklaşık olarak bu kadar güç yıllık olarak tüketilen 130 ABD evi tarafından. Bunu bir bağlama oturtmak gerekirse, bir saatlik Netflix yayını yaklaşık olarak gerektirir 0,8 kWh (0,0008 MWh) elektrik. Bu, GPT-3’ü eğitmek için gereken miktarda gücü tüketmek için 1.625.000 saat izlemeniz gerektiği anlamına gelir.
Ancak böyle bir rakamın mevcut en gelişmiş sistemlere nasıl uygulanacağını söylemek zor. Enerji tüketimi daha büyük olabilir çünkü yapay zeka modellerinin boyutu yıllardır istikrarlı bir şekilde artıyor ve daha büyük modeller daha fazla enerji gerektiriyor. Öte yandan, şirketler bazı yöntemleri kullanıyor olabilir. kanıtlanmış yöntemler bu sistemleri enerji açısından daha verimli hale getirmek, bu da enerji maliyetlerindeki artış eğilimini yavaşlatacaktır.
Fransız-Amerikan yapay zeka firması Hugging Face’te araştırmacı olan Sasha Luccioni, güncel tahminler yapmanın zorluğunun, yapay zeka karlı hale geldikçe şirketlerin daha gizli hale gelmesinden kaynaklandığını söylüyor. Sadece birkaç yıl geriye gittiğinizde OpenAI gibi firmalar eğitim rejimlerinin ayrıntılarını (hangi donanımda ve ne kadar süreyle) yayınlayacaktı. Ancak Luccioni, ChatGPT ve GPT-4 gibi en yeni modeller için aynı bilgilerin mevcut olmadığını söylüyor.
“ChatGPT’nin ne kadar büyük olduğunu bilmiyoruz, temel modelin kaç parametreye sahip olduğunu bilmiyoruz, nerede çalıştığını bilmiyoruz… Trençkotun içindeki üç rakun olabilir çünkü bilmiyorsunuz kaputun altında ne olduğunu biliyorum.”
“Trençkot giymiş üç rakun olabilir çünkü kaputun altında ne olduğunu bilmiyorsunuz.”
Yapay zeka enerji kullanımını inceleyen çeşitli makalelerin yazarı olan Luccioni, bu gizliliğin kısmen şirketler arasındaki rekabetten kaynaklandığını ancak aynı zamanda eleştirileri başka yöne çevirme girişimi olduğunu öne sürüyor. Yapay zekaya yönelik enerji kullanım istatistikleri, özellikle de en anlamsız kullanım durumları, doğal olarak kripto para biriminin israfıyla karşılaştırmalara davetiye çıkarıyor. “Bütün bunların bedava olmadığına dair artan bir farkındalık var” diyor.
Bir modeli eğitmek resmin yalnızca bir parçasıdır. Bir sistem oluşturulduktan sonra, onu çıktı üretmek için kullanan tüketicilere sunulur; bu süreç “çıkarım” olarak bilinir. Geçen Aralık ayında, Hugging Face ve Carnegie Mellon Üniversitesi’nden Luccioni ve meslektaşları bir makale yayınladı (şu anda emsal incelemesi bekleniyor) çeşitli yapay zeka modellerinin çıkarım enerji kullanımına ilişkin ilk tahminleri içeriyordu.
Luccioni ve meslektaşları, soruları yanıtlamaktan nesneleri tanımlamaya ve görüntü oluşturmaya kadar çeşitli kullanım durumlarını kapsayan 88 farklı model üzerinde testler gerçekleştirdi. Her durumda görevi 1000 kez çalıştırdılar ve enerji maliyetini tahmin ettiler. Test ettikleri görevlerin çoğunda, yazılı örnekleri sınıflandırmak için 0,002 kWh ve metin oluşturmak için 0,047 kWh gibi az miktarda enerji kullanılıyor. Karşılaştırma olarak Netflix yayın saatimizi kullanırsak, bunlar sırasıyla dokuz saniye veya 3,5 dakika izlerken tüketilen enerjiye eşdeğerdir. (Unutmayın: bu, her bir görevi 1.000 kez gerçekleştirmenin maliyetidir.) Rakamlar, 1.000 çıkarım başına ortalama 2,907 kWh kullanan görüntü oluşturma modelleri için özellikle daha büyüktü. Makalede belirtildiği gibi, ortalama akıllı telefon Şarj etmek için 0,012 kWh kullanır; böylece yapay zeka kullanarak tek bir görüntü oluşturmak, neredeyse akıllı telefonunuzu şarj ettiğiniz kadar enerji kullanın.
Ancak bu rakamların tüm kullanım durumları için genelleştirilmesi gerekmediğinden vurgu “yapabilirim” üzerindedir. Luccioni ve meslektaşları, 64 x 64 piksellik küçük resimler üreten küçük modellerden 4K görüntüler üreten daha büyük modellere kadar on farklı sistemi test etti ve bu, çok büyük bir değer dağılımıyla sonuçlandı. Araştırmacılar ayrıca farklı yapay zeka modellerini daha iyi karşılaştırabilmek için kullanılan donanımı da standartlaştırdı. Bu, yazılım ve donanımın genellikle enerji verimliliği için optimize edildiği gerçek dünyadaki dağıtımı yansıtmayabilir.
Luccioni, “Bu kesinlikle herkesin kullanım durumunu temsil etmiyor, ancak artık en azından elimizde bazı rakamlar var” diyor. “’Buradan başlayalım’ diye yere bayrak dikmek istedim.”
“Üretken yapay zeka devriminin, bizim için tamamen bilinmeyen, dünya çapında bir maliyeti var.”
Dolayısıyla çalışma, mutlak rakamlar olmasa da faydalı göreceli veriler sağlıyor. Örneğin yapay zeka modellerinin çıktı üretmek için girdiyi sınıflandırırken olduğundan daha fazla güce ihtiyaç duyduğunu gösteriyor. Ayrıca görüntü içeren her şeyin metinden daha fazla enerji yoğun olduğunu da gösterir. Luccioni, bu verilerin olası doğasının sinir bozucu olabilse de, bunun başlı başına bir hikaye anlattığını söylüyor. “Üretken yapay zeka devrimi, bizim için tamamen bilinmeyen dünya çapında bir maliyetle geliyor ve benim için yayılma özellikle gösterge niteliğinde” diyor. “Aslında şunu bilmiyoruz.”
Dolayısıyla, tek bir Balenciaga papası yaratmanın enerji maliyetini belirlemeye çalışmak, değişkenlerin karmaşası nedeniyle çetin bir iş. Ancak gezegenin maliyetini daha iyi anlamak istiyorsak yapmamız gereken başka yollar da var. Peki ya model çıkarımına odaklanmak yerine uzaklaştırırsak?
Bu, blogu için Bitcoin’in enerji harcamasını hesaplarken dişlerini kesen VU Amsterdam’da doktora adayı olan Alex de Vries’in yaklaşımıdır. Dijital İktisatçıve sektörün küresel enerji kullanımını tahmin etmek için Yapay Zeka donanımının altın standardı olan Nvidia GPU’larını kullanan kişi. De Vries’in yorumda açıkladığı gibi yayınlanan Joule Geçtiğimiz yıl Nvidia, AI pazarındaki satışların yaklaşık yüzde 95’ini oluşturuyor. Şirket ayrıca donanım ve satış tahminleri için enerji spesifikasyonlarını da yayınlıyor.
De Vries, bu verileri birleştirerek 2027 yılına kadar yapay zeka sektörünün her yıl 85 ila 134 terawatt saat tüketebileceğini hesaplıyor. Bu, de Vries’in memleketi Hollanda’nın yıllık enerji talebiyle hemen hemen aynı.
De Vries, “Yapay zeka elektrik tüketiminin potansiyel olarak 2027 yılına kadar küresel elektrik tüketiminin yüzde yarısını oluşturacağından bahsediyorsunuz” dedi. Sınır. “Bunun oldukça önemli bir rakam olduğunu düşünüyorum.”
Uluslararası Enerji Ajansı’nın yakın tarihli bir raporu da benzer tahminler sunarak, yapay zeka ve kripto para biriminin talepleri sayesinde veri merkezlerinin elektrik kullanımının yakın gelecekte önemli ölçüde artacağını öne sürdü. Ajans, mevcut veri merkezi enerji kullanımının 2022’de 460 terawatt saat civarında olduğunu ve 2026’da sırasıyla İsveç veya Almanya’nın enerji taleplerine eşdeğer olan 620 ila 1.050 TWh arasına çıkabileceğini söylüyor.
Ancak de Vries, bu rakamları bir bağlama oturtmanın önemli olduğunu söylüyor. 2010 ile 2018 yılları arasında veri merkezi enerji kullanımının oldukça istikrarlı olduğunu ve küresel tüketimin yaklaşık yüzde 1 ila 2’sini oluşturduğunu belirtiyor. (Ve burada “veri merkezleri” derken, şirketlerin dahili sunucularından akıllı telefonunuzda çevrimdışı kullanamayacağınız tüm uygulamalara kadar “internet”i oluşturan her şeyi kastediyoruz.) Bu dönemde talep kesinlikle arttı, diyor de Vries, ancak donanım daha verimli hale geldi ve bu da artışı dengeledi.
Onun korkusu, şirketlerin herhangi bir görev için daha büyük modeller ve daha fazla veri kullanma eğilimi nedeniyle, yapay zeka için işlerin farklı olabileceğidir. De Vries, “Bu, verimlilik açısından gerçekten ölümcül bir dinamik” diyor. “Çünkü bu, insanlara daha fazla hesaplama kaynağı eklemeye devam etmeleri konusunda doğal bir teşvik yaratıyor ve modeller veya donanım daha verimli hale gelir gelmez, insanlar bu modelleri eskisinden daha da büyütecek.”
Verimlilik kazanımlarının artan talebi ve kullanımı dengeleyip dengelemeyeceği sorusunun yanıtlanması imkansızdır. Luccioni gibi de Vries de mevcut veri eksikliğinden yakınıyor ancak dünyanın bu durumu görmezden gelemeyeceğini söylüyor. “Bunun hangi yöne gittiğini anlamak biraz zorlayıcı oldu ve kesinlikle mükemmel bir sayı değil” diyor. “Fakat bu, küçük bir uyarıda bulunmak için yeterli bir temel.”
Yapay zekayla ilgilenen bazı şirketler teknolojinin kendisinin bu sorunlara yardımcı olabileceğini iddia ediyor. Microsoft adına konuşan Priest, yapay zekanın “sürdürülebilirlik çözümlerini geliştirmek için güçlü bir araç olacağını” söyledi ve Microsoft’un “2030 yılına kadar karbon negatif, su pozitif ve sıfır atık gibi sürdürülebilirlik hedeflerine” ulaşmak için çalıştığını vurguladı.
Ancak bir şirketin hedefleri hiçbir zaman sektör genelindeki talebin tamamını kapsayamaz. Başka yaklaşımlara ihtiyaç duyulabilir.
Luccioni, şirketlerin yapay zeka modelleri için enerji yıldızı derecelendirmeleri sunarak tüketicilerin enerji verimliliğini cihazlarla aynı şekilde karşılaştırmalarına olanak tanıdığını görmek istediğini söylüyor. De Vries’e göre yaklaşımımız daha temel olmalı: Yapay zekayı belirli görevler için kullanmamız gerekiyor mu? “Çünkü yapay zekanın sahip olduğu tüm sınırlamalar göz önüne alındığında, muhtemelen pek çok yerde doğru çözüm olmayacak ve bunu zor yoldan çözmek için çok fazla zaman ve kaynak harcayacağız” diyor.