Yapay zeka girişimi Mistral’ın sahip olduğu başlatıldı içerik denetimi için yeni bir API.
Mistral, Mistral’in Le Chat sohbet robotu platformundaki moderasyona güç veren API’nin aynısı olan API’nin belirli uygulamalara ve güvenlik standartlarına göre uyarlanabileceğini söylüyor. İngilizce, Fransızca ve Almanca da dahil olmak üzere çeşitli dillerdeki metinleri dokuz kategoriden birine sınıflandırmak için eğitilmiş, ince ayarlı bir model (Ministral 8B) tarafından desteklenmektedir: cinsel, nefret ve ayrımcılık, şiddet ve tehditler, tehlikeli ve suç içerikli içerik , kendine zarar verme, sağlık, mali, hukuk ve kişisel olarak tanımlanabilir bilgiler.
Mistral, moderasyon API’sinin ham veya konuşma metnine uygulanabileceğini söylüyor.
Mistral bir blog yazısında şunları yazdı: “Geçtiğimiz birkaç ay içinde, endüstride ve araştırma topluluğunda, yönetimin uygulamalar arasında daha ölçeklenebilir ve sağlam olmasına yardımcı olabilecek yeni yapay zeka tabanlı denetim sistemlerine yönelik ilginin arttığını gördük.” “İçerik denetleme sınıflandırıcımız, etkili korumalar için en ilgili politika kategorilerinden yararlanıyor ve niteliksiz tavsiye ve PII gibi model tarafından oluşturulan zararları ele alarak model güvenliğine pragmatik bir yaklaşım getiriyor.”
Yapay zeka destekli denetleme sistemleri teoride faydalıdır. Ancak aynı zamanda diğer yapay zeka sistemlerini rahatsız eden aynı önyargılara ve teknik kusurlara da duyarlıdırlar.
Örneğin, toksisiteyi tespit etmek için eğitilen bazı modeller, bazı Siyah Amerikalılar tarafından kullanılan gayri resmi dilbilgisi olan Afro-Amerikan Yerel İngilizcesindeki (AAVE) ifadeleri orantısız bir şekilde “toksik” olarak görüyor. Araştırmalar, sosyal medyada engelli kişilerle ilgili gönderilerin de yaygın olarak kullanılan kamuoyu duyarlılığı ve zehirlilik tespit modelleri tarafından sıklıkla daha olumsuz veya zehirli olarak işaretlendiğini gösteriyor. kurmak.
Mistral, denetleme modelinin son derece doğru olduğunu iddia ediyor ancak aynı zamanda bunun devam eden bir çalışma olduğunu da kabul ediyor. Şirketin kendi API’sinin performansını Jigsaw’un Perspective API’si ve OpenAI’nin moderasyon API’si gibi diğer popüler moderasyon API’leriyle karşılaştırmaması dikkat çekicidir.
Şirket, “Ölçeklenebilir, hafif ve özelleştirilebilir denetim araçları oluşturmak ve paylaşmak için müşterilerimizle birlikte çalışıyoruz ve daha geniş bir alana güvenlik gelişmelerine katkıda bulunmak için araştırma topluluğuyla etkileşime girmeye devam edeceğiz” dedi.
Mistral da duyuruldu bugün bir toplu API. Şirket, yüksek hacimli istekleri eşzamansız olarak işleyerek API aracılığıyla sunulan modellerin maliyetini %25 oranında azaltabileceğini söylüyor. Anthropic, OpenAI, Google ve diğerleri de AI API’leri için toplu işleme seçenekleri sunuyor.