Anthropic, yapay zeka ajanlarının alıcı ve satıcı olarak yer aldığı, gerçek ürünler ve paralarla işlemlerin gerçekleştiği bir sınıflandırılmış pazaryeri yarattı. Bu deneyime “Proje Anlaşması” adını verdiler.
Şirket, bu testin, kendiliğinden seçilen 69 Anthropic çalışanıyla gerçekleştirildiğini ve katılımcılara 100 dolarlık (hediye kartları aracılığıyla ödenen) bir bütçe verildiğini duyurdu. Çalışanlar bu bütçeyi kendi aralarında alışveriş yapmak için kullandılar.
Ancak Anthropic, Proje Anlaşması’nın oldukça iyi çalıştığını belirtti; toplamda 186 işlem gerçekleştirildi ve bu işlemlerin değerinin 4,000 dolardan fazla olduğu ifade edildi.
Şirketin dört farklı modelle ayrı ayrı pazaryerleri çalıştırdığı ve bunlardan birinin “gerçek” olduğu (herkesin şirketin en gelişmiş modeli tarafından temsil edildiği ve deneyimden sonra anlaşmaların onurlandırıldığı) belirtildi. Diğer üç model ise araştırma amaçlıydı.
Anthropic, kullanıcılar daha gelişmiş modellerle temsil edildiğinde “objektif olarak daha iyi sonuçlar” elde ettiklerini duyurdu. Ancak kullanıcıların bu farkı fark etmediği gösteriliyor, bu durum “ajan kalitesi” boşlukları olabileceğine işaret ediyor; yani “kayıp yaşayan insanlar durumlarının kötüleştiğinin farkında olmayabilir.” Ayrıca, ajanslara verilen başlangıç talimatlarının satış olasılığı veya müzakere edilen fiyatlar üzerinde belirgin bir etkisi olmadığı gözlemlendi.
