Anthropic, Salı günü yeni piyasaya sürülen Claude 2.1’in 200.000 tokenlik bir bağlam penceresine sahip olduğunu duyurarak büyük bir dil modelinin (LLM) aynı anda ne kadar bilgi tüketebileceği konusunda çıtayı yükseltti. Anthropic, bunun kabaca 500.000 kelimeye veya 500’den fazla basılı bilgiye eşdeğer olduğunu söyledi.
Şirket, en son Claude sürümünün önceki sürümden daha doğru olduğunu, daha düşük bir fiyata sahip olduğunu ve beta araç kullanımını içerdiğini belirtti. duyuru.
Yeni model Anthropic’in Claude’una güç veriyor üretken yapay zeka chatbot, böylece hem ücretsiz hem de ödeme yapan kullanıcılar Claude 2.1’deki iyileştirmelerin çoğundan yararlanabilir. Bununla birlikte, 200.000 token bağlam penceresi ödeme yapan Pro kullanıcılar içindir; ücretsiz kullanıcılar ise hâlâ 100.000 token sınırına sahiptir; bu, GPT-3.5’in 16.000 token sınırından oldukça yüksektir.
Claude 2’nin beta araç özelliği, geliştiricilerin OpenAI modellerinde mevcut olana benzer şekilde API’leri ve tanımlanmış işlevleri Claude modeliyle entegre etmesine olanak tanıyacak.
Claude’un önceki 100.000 token bağlam penceresi, OpenAI’nin 128.000 token bağlam penceresine sahip GPT-4 Turbo’nun önizleme sürümünü duyurduğu geçen aya kadar bu ölçümde OpenAI’nin önemli ölçüde ilerisindeydi. Ancak, yalnızca ayda 20 ABD doları aboneliğe sahip ChatGPT Plus müşterileri bu modele chatbot biçiminde erişebilir. (Geliştiriciler GPT-4 API’sine erişim için kullanım başına ödeme yapabilir.)
Büyük bir belgeniz veya başka bir bilginiz varsa, geniş bir bağlam penceresi (bir seferde işleyebileceği veri miktarı) ilgi çekici görünse de, Yüksek Lisans’ların daha küçük bir yığındaki bilgilerin yanı sıra büyük miktarda veriyi de işleyebileceği açık değildir. Greg Kamradt, bir yapay zeka uygulayıcısı ve girişimcisi bu konuyu kim takip ediyor, LLM sorgulandığında büyük bir belgedeki küçük bilgi parçalarının gerçekten bulunup bulunmadığını görmek için “samanlıktaki iğne” analizini çalıştırdı. Yüksek Lisans’a gönderilen ve sorgulanan büyük bir belgenin çeşitli bölümlerine rastgele bir ifade koyarak testleri tekrarlıyor.
X’te (eski adıyla Twitter) “200 bin token (yaklaşık 470 sayfa) ile Claude 2.1 bazı belge derinliklerindeki gerçekleri hatırlayabildi” diyerek Claude 2.1’e erken erişim hakkı verildiğini belirtti. “~90.000 token’dan başlayarak, belgenin altındaki geri çağırma performansı giderek kötüleşmeye başladı.” GPT-4 de en geniş bağlamda mükemmel bir hatırlamaya sahip değildi.
Testleri Claude 2.1’de çalıştırmak, API çağrılarında yaklaşık 1.000 ABD dolarına mal oldu (Anthropic, GPT-4’te yaptığı testlerin aynısını yürütebilmesi için kredi teklif etti).
Vardığı sonuç: Bilgi istemlerinizi nasıl oluşturduğunuz önemlidir; bilgilerin her zaman alınacağını ve daha küçük girdilerin daha iyi sonuçlar vereceğini varsaymayın.
Aslında, büyük miktarlardaki verilerden bilgi sorgulamak isteyen birçok geliştirici, bağlam penceresi daha fazlasına izin verse bile, alma sonuçlarını iyileştirmek için bu verileri daha küçük parçalara bölen uygulamalar oluşturur.
Yeni modelin doğruluğuna bakıldığında, Anthropic’in “mevcut modellerde bilinen zayıflıkları araştıran geniş bir karmaşık, gerçek sorular dizisi” olarak adlandırdığı testlerde şirket, Claude 2.1’in önceki sürüme kıyasla yanlış beyanlarda 2 kat azalma gösterdiğini söyledi. . Anthropic’in duyurusuna göre mevcut modelin “halüsinasyon görmek” veya bir şeyler uydurmak yerine bilmediğini söylemesi daha muhtemel. Şirket ayrıca anlama ve özetlemede “anlamlı gelişmeler” olduğunu belirtti.
Telif Hakkı © 2023 IDG Communications, Inc.
