OpenAI, en son metin oluşturma modeli olan GPT-4’ün büyük ölçüde genişletilmiş bağlam penceresi sayesinde yaklaşık 50 sayfalık içeriği “hatırlayabilen” bir sürümünü oluşturdu.
Bu önemli gelmeyebilir. Ancak normal GPT-4’ün “hafızasında” tutabileceğinden beş kat daha fazla ve GPT-3’ten sekiz kat daha fazla bilgi.
OpenAI kurucu ortağı ve başkanı Greg Brockman, bu öğleden sonra canlı bir demo sırasında “Model, uzun belgeleri esnek bir şekilde kullanabiliyor” dedi. “Ne tür uygulamaların olduğunu görmek istiyoruz. [this enables]”
Metin üreten AI ile ilgili olduğunda, bağlam penceresi, modelin ek metin oluşturmadan önce dikkate aldığı metni ifade eder. GPT-4 gibi modeller, milyarlarca metin örneği üzerinde eğitim alarak yazmayı “öğrenirken”, bir seferde bu metnin yalnızca küçük bir bölümünü dikkate alabilirler – esas olarak bağlam pencerelerinin boyutuna göre belirlenir.
Küçük bağlam pencerelerine sahip modeller, en son konuşmaların içeriğini bile “unutma” eğilimindedir ve bu da onları konudan saptırmalarına neden olur. Yaklaşık birkaç bin kelimeden sonra, davranışlarını orijinal istek yerine bağlam pencerelerindeki son bilgilerden yola çıkarak tahmin etmek yerine ilk talimatlarını da unuturlar.
Apple’da eski bir yazılım mühendisi olan Allen Pike, rengarenk açıklar bu şekilde:
“[The model] öğretmeye çalıştığınız her şeyi unutacaktır. Kanada’da yaşadığınızı unutacaktır. Çocuklarınız olduğunu unutacak. Çarşamba günleri bir şeyler rezerve etmekten nefret ettiğinizi unutacak ve lütfen şeyler için Çarşamba günleri önermeyi bırakın, kahretsin. Bir süre ikiniz de adınızı anmadıysa, bunu da unutacaktır. ile konuş [GPT-powered] bir süreliğine karakter ve onunla bir tür bağ kurduğunuzu, gerçekten harika bir yere geldiğinizi hissetmeye başlayabilirsiniz. Bazen biraz kafa karıştırıyor ama bu insanlarda da oluyor. Ama sonunda, orta vadeli bir hafızası olmadığı gerçeği netleşir ve yanılsama paramparça olur.”
Genişletilmiş içerik pencereli GPT-4 sürümü, gpt-4-32k henüz elimize geçmedi. (OpenAI, yüksek ve düşük bağlamlı GPT-4 modellerine yönelik istekleri “kapasiteye bağlı olarak farklı oranlarda” işlediğini söylüyor.) Ancak, onunla yapılan konuşmaların önceki modellerle olanlardan çok daha ilgi çekici olabileceğini hayal etmek zor değil. gen modeli.
Daha büyük bir “hafıza” ile GPT-4, dakikalar yerine saatlerce – hatta birkaç gün – nispeten tutarlı bir şekilde sohbet edebilmelidir. Ve belki daha da önemlisi, raydan çıkma olasılığı daha düşük olmalıdır. Pike’ın belirttiği gibi, Bing Chat gibi sohbet robotlarının kötü davranmaya teşvik edilmesinin nedenlerinden biri, ilk talimatlarının – yardımcı bir sohbet robotu olmak, saygılı bir şekilde yanıt vermek vb. – ek istemler ve yanıtlarla bağlam pencerelerinden hızla dışarı itilmesidir.
Bundan biraz daha nüanslı olabilir. Ancak bağlam penceresi, modellerin topraklanmasında önemli bir rol oynar. şüphesiz. Ne tür somut bir fark yarattığını zamanla göreceğiz.