Yazılım geliştiricisi ve elektronik tablo bağımlısı olduğunu itiraf eden Ishan Anand, GPT-2’yi Microsoft Excel’e sıkıştırdı. Daha da şaşırtıcı olanı, işe yarıyor; büyük dil modellerinin (LLM’ler) nasıl çalıştığına ve temeldeki Transformer mimarisinin akıllı sonraki token tahminini nasıl yaptığına dair fikir sağlıyor. Anand, “Bir e-tabloyu anlayabiliyorsanız, o zaman yapay zekayı da anlayabilirsiniz” diye övünüyor. 1,25 GB’lık e-tablo oluşturuldu GitHub’da mevcut herkesin indirmesi ve oynaması için.
Doğal olarak, GPT-2’nin bu e-tablo uygulaması, 2024’te mevcut olan Yüksek Lisans’ların bir miktar gerisindedir, ancak GPT-2 son teknoloji ürünüydü ve 2019’da birçok manşete konu oldu. GPT-2’nin bir şey olmadığını hatırlamak önemlidir. ‘sohbet’ döneminden önce geldiği gibi sohbet etmek için. ChatGPT, 2022’de GPT-3’ü konuşma yoluyla yönlendirmek için yapılan çalışmalardan elde edildi. Üstelik Anand burada GPT-2 Small modelini kullanıyor ve XLSB Microsoft Excel Binary dosyasında 124 milyon parametre var ve GPT-2’nin tam sürümünde 1,5 milyar parametre kullanılıyor (GPT-3 ise 175 milyara kadar parametreyle çıtayı yükseltti).
GPT-2 esas olarak akıllı ‘sonraki belirteç tahmini’ üzerinde çalışır; burada Transformer mimarisi dil modeli, bir girdiyi dizinin en olası sonraki kısmıyla tamamlar. Bu e-tablo yalnızca 10 jetonluk girişi işleyebilir; bu, GPT-4 Turbo’nun işleyebileceği 128.000 jetonla karşılaştırıldığında çok küçüktür. Ancak yine de bir demo için iyi bir şey ve Anand, “düşük kodlu tanıtımının” teknoloji yöneticileri, pazarlamacılar, ürün yöneticileri, AI politika yapıcıları, etik uzmanları ve geliştiriciler ve bilim adamları için bir Yüksek Lisans temeli olarak ideal olduğunu iddia ediyor Yapay zekaya yeni başlayanlar. Anand, aynı Transformer mimarisinin “OpenAI’nin ChatGPT’sinin, Anthropic’in Claude’unun, Google’ın Bard/Gemini’sinin, Meta’nın Llama’sının ve diğer birçok LLM’nin temeli” olmaya devam ettiğini ileri sürüyor.
Yukarıda Anand’ın GPT-2’yi bir e-tablo uygulaması olarak açıkladığını görebilirsiniz. Çok sayfalı çalışmada, ilk sayfa, girmek istediğiniz herhangi bir istemi içerir (ancak 10 istem kısıtlamasını unutmayın). Daha sonra bize kelime tokenizasyonu, metin konumları ve ağırlıklandırma, sonraki kelime tahmininin yinelemeli olarak iyileştirilmesi ve son olarak çıktı jetonunun (dizideki tahmin edilen son kelime) seçilmesi hakkında konuşuyor.
Resim 1 ile ilgili 5
Yukarıda GPT-2 Small’un kullandığı nispeten kompakt LLM’den bahsetmiştik. Anand, 2024’te bu şekilde sınıflandırılmayabilecek bir Yüksek Lisans kullanmasına rağmen, Excel uygulamasının yeteneklerini geliştirmeye devam ediyor. Geliştirici, bu Excel dosyasını Mac’te kullanmaya çalışmamanız (sık sık çökmeler ve donmalar) veya onu bulut elektronik tablo uygulamalarından birine yüklemeye çalışmanız konusunda uyarıyor; zira bu dosya şu anda işe yaramayacak. Ayrıca Excel’in en son sürümü önerilir. Bu e-tablonun büyük ölçüde eğitici bir alıştırma olduğunu ve Anand için eğlenceli olduğunu unutmayın. Son olarak, Excel’i bilgisayarınızda kullanmanın faydalarından biri, bu LLM’nin buluta API çağrısı olmadan %100 yerel olarak çalışmasıdır.