Antropik, Claude 3.5 Haiku dil modelinin iç süreçlerini kısmen incelemesine izin veren koşullu olarak “mikroskop” olarak adlandırılan bir aracı tanıttı. Araştırmacılar, sistemin, istatistiklere dayalı kelimeleri seçmekten daha derin bir veri işleme seviyesini gösteren soyut, boyutlar arası bilgi temsilleri oluşturduğunu bulmuşlardır.
Kilit keşiflerden biri, belirli bir dile bağlı olmayan iç kavramlar olan Claude “Evrensel Düşünce Dili” nin kullanımı idi. Örneğin, farklı dillerde “küçük” kelimesi için bir zıtlık seçme isteği isterken, model önce “küçükün zıt” kavramını etkinleştirir ve ancak o zaman hedef dilde yanıtı üretir. Claude 3.5 gibi modelin en çok versiyonları, geliştiricilere göre, çok dilli senaryolardaki muhakemenin tutarlılığını artıran diller arasında daha belirgin bir kavramsal kavşak sergilemektedir.
“Dallas’ın bulunduğu eyaletin başkenti nedir?” Sorusu gibi çok adımlı sorunları çözerken, Claude ilgili fikirleri sırayla aktive eder: ilk “Dallas → Texas”, sonra “Texas → Austin”. Bu, modelin sadece gerçekleri çıkarma değil, mantıksal sonuçlara yönelik yeteneğini gösterir. Yaratıcı görevlerde, örneğin, ayetlerin neslinde, sistem önceden yapıyı planlıyor: sözcükleri seçer ve etraflarında çizgiler oluşturur. Deneyler, hedef tekerlemelerdeki bir değişikliğin, gizli bir komut dosyasının varlığını doğrulayan tamamen yeni bir metne yol açtığını göstermiştir.
Matematiksel hesaplamalarda Claude paralel yollar kullanır: biri yaklaşık değerlendirme için, diğeri doğru hesaplamalar için. Bununla birlikte, bir istek isterken, model genellikle gerçek olandan farklı olan süreci tanımlar. Dahası, ipucu bir hata içeriyorsa, Claude mantıksal olarak yanlış, ancak yapısal olarak tutarlı bir gerekçe oluşturabilir. Bu, sistemin insansı açıklamaları taklit ettiğini ve gerçek iç mantığı yansıtmadığını gösterir.
Nature Human Davranış dergisinde yayınlanan Google’ın paralel araştırması, dil modelleri ve insan beyni arasındaki benzerlikleri ortaya çıkardı. Bilim adamları, Openai’den gelen fısıltıların iç kalıplarının bir konuşma sırasında insanların nöral aktivitesi ile ilişkili olduğunu bulmuşlardır – hem AI hem de beyin aşağıdaki kelimeleri öngörüyor. Bununla birlikte, temel fark mimaride yatmaktadır: transformatör modelleri aynı anda yüzlerce jetonu işlerken, beyin konuşmayı tekrarlayan döngüler ve geçici gecikme ile sırayla analiz eder.
Çalışmanın yazarları, “Beyin ve AI, dil işlemenin benzer temel prensiplerini kullanıyor, ancak“ bilgi işlem şemaları ”önemli ölçüde farklı” diyor.
Antropik ve Google’ın sonuçları AI’nın çalışmalarının anlaşılmasındaki ilerlemeyi vurgular, ancak aynı zamanda doğrudan analojilerin insan düşüncesi ile karmaşıklığını hatırlatır. Claude planlama ve soyut kavramların unsurlarını gösterirken, “akıl yürütmesi” bilinçli bir analiz değil, çok katmanlı matematik operasyonlarının bir ürünü olmaya devam etmektedir. Bu çalışmalar daha şeffaf ve kontrollü sistemlerin yolunu açar, ancak aynı zamanda makine öğreniminde “zekanın” doğası hakkında yeni sorular da gündeme getirir.
