Yapay genel zekaya (AGI) yönelik iyi bilinen bir test çözülmeye daha yakın. Ancak testin yaratıcıları, bunun iyi niyetli bir araştırma atılımından ziyade testin tasarımındaki kusurlara işaret ettiğini söylüyor.
Yapay zeka dünyasının önde gelen isimlerinden Francois Chollet, 2019 yılında “Yapay Genel Zeka için Soyut ve Muhakeme Derlemi”nin kısaltması olan ARC-AGI kriterini tanıttı. Bir yapay zeka sisteminin, üzerinde eğitim aldığı veriler dışında yeni becerileri verimli bir şekilde kazanıp kazanamayacağını değerlendirmek için tasarlandı. ARC-AGIFrancois, genel zekaya doğru ilerlemeyi ölçen tek yapay zeka testi olmaya devam ettiğini iddia ediyor (her ne kadar diğerleri önerilmiştir.)
Bu yıla kadar en iyi performansı gösteren yapay zeka, ARC-AGI’deki görevlerin yalnızca üçte birinden azını çözebiliyordu. Chollet, endüstrinin gerçek anlamda “akıl yürütme” yeteneğine sahip olmadığına inandığı büyük dil modellerine (LLM’ler) odaklanılmasını suçladı.
“LLM’ler tamamen ezberlemeye dayandıkları için genelleme yapmakta zorlanıyorlar” söz konusu Şubat ayında X ile ilgili bir dizi gönderide. “Eğitim verilerinde bulunmayan her şeyi analiz ediyorlar.”
Chollet’e göre Yüksek Lisans’lar istatistiksel makinelerdir. Pek çok örnek üzerinde eğitim alarak, bir e-postada “kime” ifadesinin genellikle “ilgili olabilir” ifadesinden önce gelmesi gibi tahminlerde bulunmak için bu örneklerdeki kalıpları öğrenirler.
Chollet, yüksek lisans öğrencilerinin “muhakeme kalıplarını” ezberleme yeteneğine sahip olabilmelerine rağmen, yeni durumlara dayalı “yeni muhakeme” üretmelerinin pek mümkün olmadığını ileri sürüyor. Chollet, “Bir modelin birçok örneği üzerinde eğitim almanız gerekiyorsa (örtük olsa bile), yeniden kullanılabilir bir temsili öğrenmek için ezberliyorsunuz demektir” dedi. savundu başka bir yazıda.
Haziran ayında Chollet ve Zapier’in kurucu ortağı Mike Knoop, yüksek lisans eğitiminin ötesindeki araştırmaları teşvik etmek için 1 milyon dolarlık bir fon başlattı. yarışma ARC-AGI’yi yenebilecek açık kaynaklı yapay zeka oluşturmak. 17.789 başvurudan en iyileri, kazanmak için gereken %85’lik “insan seviyesi” eşiğinin altında olsa da, 2023’ün en skorer isminden %55,5 — ~%20 daha yüksek puan aldı.
Knoop, bunun AGI’ye ~%20 daha yakın olduğumuz anlamına gelmediğini söylüyor.
Bugün ARC Ödülü 2024’ün kazananlarını açıklıyoruz. Ayrıca yarışmadan öğrendiklerimiz hakkında kapsamlı bir teknik rapor yayınlıyoruz (bağlantı bir sonraki tweet’te).
Son teknoloji ürünü oran %33’ten %55,5’e çıktı; bu, 2020’den bu yana gördüğümüz en büyük tek yıllık artış.
— François Chollet (@fchollet) 6 Aralık 2024
bir blog yazısıKnoop, ARC-AGI’ye yapılan başvuruların çoğunun “kaba kuvvet” kullanarak çözüme ulaşabildiğini söyleyerek, ARC-AGI görevlerinin “büyük bir kısmının” “[don’t] genel zekaya yönelik çok yararlı sinyaller taşıyor.”
ARC-AGI, farklı renkli karelerden oluşan bir ızgara verildiğinde yapay zekanın doğru “cevap” ızgarasını oluşturması gereken bulmaca benzeri sorunlardan oluşur. Sorunlar, yapay zekayı daha önce görmediği yeni sorunlara uyum sağlamaya zorlamak için tasarlandı. Ancak bunu başardıkları belli değil.
“[ARC-AGI] Knoop, 2019’dan bu yana değişmediğini ve mükemmel olmadığını belirtti.
Francois ve Knoop da karşı karşıya geldi eleştiri AGI tanımının hararetle tartışıldığı bir dönemde, ARC-AGI’yi AGI’ye yönelik bir referans noktası olarak aşırı sattığı için. Yakın zamanda bir OpenAI personeli talep edildi Eğer YGZ yapay zekayı “çoğu görevde çoğu insandan daha iyi” olarak tanımlarsak, YGZ’nin “zaten” başarılmış olduğu söylenebilir.
Knoop ve Chollet, 2025 yarışmasının yanı sıra bu sorunları çözmek için ikinci nesil ARC-AGI kıyaslamasını da yayınlamayı planladıklarını söylüyor. Chollet, X’te şunları yazdı: “Araştırma topluluğunun çabalarını yapay zekadaki en önemli çözülmemiş sorunlar olarak gördüğümüz şeylere yönlendirmeye devam edeceğiz ve AGI’ye yönelik zaman çizelgesini hızlandıracağız.” postalamak.
Düzeltmeler muhtemelen kolay olmayacak. İlk ARC-AGI testinin eksiklikleri bir gösterge ise, yapay zeka için zekayı tanımlamak da bir o kadar zorlu olacaktır ve iltihaplı – tıpkı insanlar için olduğu gibi.
