Derin öğrenme modelini anlamanın zorlukları arasında, bu modellerin neden böyle davrandığını çözümlemek yer alıyor. xAI’nin Grok’un alışılmadık politikalarını düzeltme çabaları, ChatGPT’nin aşırı dalkavukluğu ya da sıradan halüsinasyonlar, milyarlarca parametre içeren bir sinir ağında ilerlemeyi zor kılıyor.
San Francisco merkezli bir start-up olan Guide Labs, bu soruna bir çözüm sunuyor. Şirket, CEO Julius Adebayo ve baş bilim sorumlusuyla birlikte, 8 milyar parametreli açık kaynaklı bir LLM olan Steerling-8B’yi tanıttı. Bu model, davranışlarının daha kolay yorumlanabilir olmasını sağlamak için tasarlanmış yeni bir mimari kullanıyor; üretilen her token, modelin eğitim verilerindeki kökenine kadar izlenebiliyor.
Bu, model tarafından alıntılanan bilgilerin referans kaynaklarını belirlemek kadar basit olabilir; ya da modelin mizah ya da cinsiyet anlayışını çözümlemek gibi karmaşık bir süreç de içerebilir.
Adebayo, “Eğer cinsiyeti kodlamak için trilyonlarca yolum var ise ve bu yolların 1 milyarını kullanıyorsam, belirtilen 1 milyarın tümünü bulmak ve güvenilir bir şekilde açıp kapamak zorundasınız,” dedi. “Mevcut modellerle bunu yapabilirsiniz, ancak oldukça kırılgan. Bu, kutsal bir grail sorusu gibi bir şey.” şeklinde TechCrunch’a açıklamalarda bulundu.
Adebayo, bu çalışmalara MIT’de doktora yaparken başladı. 2020 yılında yayımlanan ve mevcut derin öğrenme modellerinin anlaşılamaz olduğunu gösteren yaygın bir çalışmada ortak yazar olarak yer aldı. Bu, yeni LLM’lerin geliştirilmesinde farklı bir yol açtı: Geliştiriciler, modelin verilerini izlenebilir kategorilere ayıran bir kavram katmanı ekliyor. Bu, daha fazla veri etiketleme gerektirirken, diğer AI modellerini kullanarak, en büyük proof-of-concept’leri ile bu modeli eğitebildiler.
Adebayo, “Yapılan türde bir yorumlama… bir model üzerinde nörobilim yapmak gibidir, biz bunu tersine çeviriyoruz,” diyor. “Gerçekten, modelin temelinden başlayarak mühendisliği üzerinde çalışıyoruz, böylece nörobilim yapmanıza gerek kalmıyor.”
Bu yaklaşımın bir endişesi, LLM’lerin ilginç kılan bazı ortaya çıkan davranışları ortadan kaldırabileceği yönünde. Ancak Adebayo, kendi şirketinin modelinin hâlâ bu tür genel bilgiler sağladığını öne sürüyor; ekibi, modelin kendiliğinden keşfettiği “bulunan kavramlar” dediği şeyleri takip ediyor, örneğin kuantum hesaplama.
Adebayo, bu yorumlanabilir mimarinin herkesin ihtiyaç duyacağı bir şey olacağını savunuyor. Tüketici odaklı LLM’ler için, bu tekniklerin model geliştiricilerin telif hakkı içeren materyallerin kullanımını engellemesi gibi özellikler sunmasını sağlaması bekleniyor. Ayrıca düzenlemelere tabi endüstrilerin daha kontrol edilebilir LLM’lere ihtiyaç duyması gerekecek; örneğin, bir kredi başvurusu değerlendiren model, finansal kayıtları dikkate almalı ancak ırkı göz önünde bulundurmamalıdır. Bilimsel çalışmalarda da yorumlanabilirliğe ihtiyaç vardır; Guide Labs bu alanda da teknoloji geliştirdi. Protein katlaması, derin öğrenme modellerinin büyük başarısı olmuştur, ancak bilim insanları yazılımlarının neden başarılı kombinasyonlar bulduğuna daha fazla içgörü elde etmelidirler.
Adebayo, “Bu model, yorumlanabilir modellerin eğitilmesinin artık bir bilim olmasa da bir mühendislik sorunu haline geldiğini gösteriyor,” dedi. “Bilimi çözdük ve ölçekte uygulayabiliriz, bu tür bir modelin, çok daha fazla parametreye sahip olan öncü düzey modellerle aynı performansı sergilememesi için hiçbir neden yok.”
Guide Labs, Steerling-8B’nin mevcut modellerin yüzde 90’ına kadar olan yeteneklere ulaştığını, ancak yenilikçi mimarisi sayesinde daha az eğitim verisi kullandığını belirtiyor. Kasım 2024’te Initialized Capital’dan 9 milyon dolarlık bir başlangıç sermayesi alan şirketin bir sonraki adımı, daha büyük bir model geliştirip kullanıcılara API ve ajans erişimi sunmak.
Adebayo, “Şu anki model eğitim yöntemlerimiz oldukça ilkel ve dolayısıyla içsel yorumlanabilirliği demokratikleştirmenin insan ırkı için uzun vadede iyi bir şey olacağını düşünüyorum,” diyor. “Son derece zeki modellere yöneldiğimizde, adınıza karar veren bir şeyin gizemli olmasını istemezsiniz.” şeklinde TechCrunch’a vurgu yaptı.
Yeni gelişmeleri değerlendirdiğinizde, sizin için en önemli olan hangi özelliklerdir?
