Bir makine öğrenimi izleme girişimi olan Arthur, bu yıl üretken yapay zekaya olan ilgiden yararlandı ve şirketlerin LLM’lerle daha verimli çalışmasına yardımcı olacak araçlar geliştiriyor. Bugün yayınlanıyor arthur tezgahıkullanıcıların belirli bir veri kümesi için en iyi LLM’yi bulmasına yardımcı olan açık kaynaklı bir araç.
Arthur’un CEO’su ve kurucu ortağı Adam Wenchel, şirketin üretken AI ve LLM’lere büyük ilgi gördüğünü ve bu nedenle ürün oluşturmak için çok çaba sarf ettiklerini söylüyor.
Bugün, ve ChatGPT’nin piyasaya sürülmesinden bu yana bir yıldan daha az bir süre geçmiş olduğumuzu kabul edersek, şirketlerin bir aracın diğerine karşı etkinliğini ölçmek için organize bir yöntemi olmadığını ve bu yüzden Arthur Bench’i yarattıklarını söylüyor.
“Arthur Bench, her müşteride duyduğumuz kritik sorunlardan birini çözüyor. [with all of the model choices]sizin uygulamanız için hangisi en iyisidir, ”dedi Wenchel TechCrunch’a.
Performansı metodik olarak test etmek için kullanabileceğiniz bir dizi araçla birlikte gelir, ancak asıl değeri, kullanıcılarınızın belirli uygulamanız için kullanacağı istem türlerinin farklı LLM’lere karşı nasıl performans göstereceğini test etmenize ve ölçmenize izin vermesidir.
Görsel Kaynakları: Arthur
Wenchel, “Potansiyel olarak 100 farklı bilgi istemini test edebilir ve ardından iki farklı LLM’nin – Anthropic’in OpenAI ile karşılaştırması gibi – kullanıcılarınızın kullanması muhtemel bilgi istemi türlerinde nasıl olduğunu görebilirsiniz” dedi. Dahası, bunu geniş ölçekte yapabileceğinizi ve özel kullanım durumunuz için hangi modelin en iyi olduğuna daha iyi karar verebileceğinizi söylüyor.
Arthur Bench bugün açık kaynaklı bir araç olarak piyasaya sürülüyor. Açık kaynak sürümünü yönetmenin karmaşıklığıyla uğraşmak istemeyen veya daha büyük test gereksinimleri olan ve bunun için ödeme yapmaya istekli müşteriler için bir SaaS sürümü de olacak. Ancak şimdilik Wenchel, açık kaynak projesine odaklandıklarını söyledi.
Yeni araç hemen ardından geliyor Arthur Shield’in piyasaya sürülmesi Mayıs ayında, zehirli bilgi ve özel veri sızıntılarına karşı koruma sağlarken modellerdeki halüsinasyonları tespit etmek için tasarlanmış bir tür LLM güvenlik duvarı kullanıma sunuldu.