Sohbet botları için genellikle gözden kaçan bir sınırlama, hafıza. Bu sistemlere güç sağlayan AI dil modellerinin terabaytlarca metin üzerinde eğitildiği doğru olsa da, bu sistemlerin kullanım sırasında işleyebileceği miktar – yani “bağlam penceresi” olarak da bilinen giriş metni ve çıktı kombinasyonu – sınırlı. ChatGPT için bu yaklaşık 3.000 kelimedir. Bu soruna geçici bir çözüm bulmanın yolları var, ancak yine de oynanacak büyük miktarda bilgi değil.
Şimdi, AI girişimi Anthropic (eski OpenAI mühendisleri tarafından kuruldu), kendi sohbet robotu Claude’un bağlam penceresini büyük ölçüde genişleterek yaklaşık 75.000 kelimeye çıkardı. Şirketin bir açıklamada işaret ettiği gibi Blog yazısıbu, tamamını işlemek için yeterlidir Muhteşem Gatsby tek seferde. Aslında şirket tam da bunu yaparak, romandaki tek bir cümleyi düzenleyerek ve Claude’dan değişikliği fark etmesini isteyerek sistemi test etti. Bunu 22 saniyede yaptı.
Bu bağlam pencerelerinin uzunluğunu açıklarken belirsizliğimi fark etmiş olabilirsiniz. Bunun nedeni, AI dil modellerinin bilgiyi karakter veya kelime sayısına göre değil, belirteçlere göre ölçmesidir; bu tanıdık niceliklerle tam olarak eşleşmeyen anlamsal bir birim. Bunu düşündüğünüzde mantıklı. Ne de olsa, kelimeler uzun ya da kısa olabilir ve uzunlukları, anlamlarının karmaşıklığına uygun olmak zorunda değildir. (Sözlükteki en uzun tanımlar genellikle en kısa kelimeler.) “Belirteçlerin” kullanımı bu gerçeği yansıtır ve bu nedenle, daha kesin olmak gerekirse: Claude’un bağlam penceresi, daha önce 9.000’den, şimdi 100.000 belirteci işleyebilir. Karşılaştırıldığında, OpenAI’nin GPT-4’ü yaklaşık 8.000 belirteci işler (bu, ChatGPT’de bulunan standart model değildir – erişim için ödeme yapmanız gerekir), GPT-4’ün sınırlı sürümlü tam yağlı bir modeli ise şunları yapabilir: 32.000 jetona kadar işlem yapın.
Şu anda Claude’un yeni kapasitesi, yalnızca Anthropic’in şirketin API’si aracılığıyla sohbet robotuna giren iş ortakları tarafından kullanılabilir. Fiyatlandırma da bilinmiyor, ancak önemli bir artış olacağı kesin. Daha fazla metin işlemek, bilgi işlem için daha fazla harcama yapmak anlamına gelir.
Ancak haberler, AI dil modellerinin bilgi işleme kapasitesinin arttığını gösteriyor ve bu kesinlikle bu sistemleri daha kullanışlı hale getirecek. Anthropic’in belirttiği gibi, bir insanın 75.000 kelimelik bir metni okuması yaklaşık beş saat sürüyor, ancak Claude’un genişletilmiş bağlam penceresiyle, potansiyel olarak uzun bir belgeyi birkaç dakika içinde okuma, özetleme ve analiz etme görevini üstlenebilir. (Sohbet robotlarının sürekli bilgi uydurma eğilimi hakkında hiçbir şey yapmasa da.) Daha büyük bir bağlam penceresi, sistemin daha uzun konuşmalar yapabileceği anlamına da gelir. Sohbet robotlarının raydan çıkmasındaki bir faktör, bağlam pencereleri dolduğunda söylenenleri unutmalarıdır ve bu nedenle Bing’in sohbet robotu yalnızca 20 tur konuşma. Daha fazla bağlam, daha fazla konuşmaya eşittir.