2019’da Apple’dan ayrılıp Facebook’ta iş bütünlüğü yöneticisi olarak işe başlayan Brett Levenson, sosyal medya devinin Cambridge Analytica skandalının etkilerinin içinde bulunduğu dönemde bu göreve adım attı. Levenson, ilk etapta Facebook’un içerik denetimi sorununu daha iyi teknoloji ile çözebileceğini düşündü.
Ancak sorunun teknolojiden daha derin olduğunu hızla anladı. İnsan denetleyicilerin, kendi dillerine makine çevirisiyle aktarılan 40 sayfalık bir politika belgesini ezberlemeleri bekleniyordu. Ardından, birkaç saniye içinde işaretlenen her bir içerik için sadece kuralların ihlal edilip edilmediğine değil, ne yapılacağına da karar vermeleri gerekiyordu: engellemek, kullanıcıyı yasaklamak veya yayılımı sınırlamak. Levenson’a göre, bu hızlı kararlar yalnızca “yüzde 50’den biraz daha iyi” doğruluk oranına sahipti.
Levenson, TechCrunch’a yaptığı açıklamada, “Bu, insan denetleyicilerin politikaları doğru bir şekilde uygulayıp uygulayamayacağını belirlemenin neredeyse bir madeni para atma gibi olduğu bir durumdu ve bu, zararların çoktan meydana gelmiş olmasından günler sonra gerçekleşiyordu” dedi.
Bu şekilde bir reaktif yaklaşım, hızlı ve iyi finansmanlı karşıt aktörlerin hakim olduğu bir dünyada sürdürülebilir değildir. Yapay zeka sohbet botlarının yükselişi, içerik yönetimi hatalarının gençlere kendine zarar verme tavsiyesi veren sohbet botları gibi dikkat çeken olaylarla sonuçlanmasına sebep oldu.
Levenson’un hayal kırıklığı, “politikayı kod olarak” kavramına yol açtı; bu da statik politikaların yürütülebilir ve güncellenebilir mantığa dönüştürülmesi anlamına geliyor. Bu fikir Moonbounce’un kurulmasına zemin oluşturdu ve şirketin 12 milyon dolarlık bir yatırım aldığını TechCrunch’a özel olarak duyurdu. Yatırım turu Amplify Partners ve StepStone Group tarafından ortaklaşa yönetildi.
Moonbounce, içerik oluşturan her yerde ek bir güvenlik katmanı sağlaması için şirketlerle işbirliği yapıyor. Şirket, müşterinin politika belgelerine göz atabilen, içeriği çalıştırma zamanında değerlendiren ve 300 milisaniye veya daha kısa sürede yanıt verebilen kendi büyük dil modelini eğitti. Müşteri tercihlerine bağlı olarak, bu eylem, Moonbounce sisteminin içeriği insan incelemesi beklerken dağıtımını yavaşlatması veya anlık olarak yüksek riskli içeriği engellemesi şeklinde olabilir.
Bugün, Moonbounce üç ana alanda hizmet vermektedir: Kullanıcı tarafından oluşturulan içeriklerle ilgilenen platformlar (örneğin, flört uygulamaları), karakter veya arkadaş oluşturan yapay zeka şirketleri ve yapay zeka görüntü üreticileri.
Moonbounce, Levenson’a göre günde 40 milyondan fazla inceleme destekliyor ve platformda 100 milyondan fazla günlük aktif kullanıcıya hizmet veriyor. Müşterileri arasında, yapay zeka arkadaşlık girişimi Channel AI, görüntü ve video üretim şirketi Civitai ve karakter rol yapma platformları Dippy AI ve Moescape yer alıyor.
Levenson, “Güvenlik, aslında bir ürün avantajı olabilir,” dedi. “Ama şimdiye dek, her zaman sonra gerçekleşen bir şey olduğu için bunu ürününüze dahil edemiyordunuz. Müşterilerimizin, güvenliği bir farklılaştırıcı haline getirmek ve ürün hikayelerinin bir parçası yapmak için gerçekten ilginç ve yenilikçi yollar bulduğunu görüyoruz.”
Tinder’ın güven ve güvenlikten sorumlu yöneticisi, flört platformunun bu tür LLM destekli hizmetleri kullanarak tespitlerde 10 kat iyileşme sağladığını açıkladı.
“İçerik denetimi, her zaman büyük çevrimiçi platformları rahatsız eden bir sorun olmuştur, ancak şimdi LLM’lerle her uygulamanın merkezinde bu zorluk daha da korkutucu hale gelmiştir,” diye belirtti Amplify Partners’dan genel ortak Lenny Pruss. “Moonbounce’a yatırım yaptık çünkü objektif, gerçek zamanlı güvenlik önlemlerinin her AI destekli uygulamanın yapı taşı olabileceğini hayal ediyoruz.”
Yapay zeka şirketleri, sohbet botlarının gençleri ve hassas kullanıcıları intihara yönlendirmesiyle artan hukuki ve itibar baskısı ile karşı karşıya kalıyor. Kimi görüntü üreticileri, rızaya dayanmayan çıplak görüntüler yaratmak için kullanıldı. Güvenlik bariyerlerinin içsel olarak başarısız olduğu açık ve bu bir sorumluluk meselesi haline geliyor. Levenson, yapay zeka şirketlerinin giderek daha fazla dışarıda yardım aradığını ifade etti.
“Biz, kullanıcı ile sohbet botu arasında üçüncü bir taraf olarak yer alıyoruz, bu yüzden sistemimiz sohbetin bağlamı ile boğulmuş durumda değil,” dedi Levenson. “Sohbet botunun, önceden gelen on binlerce token’i hatırlaması gerekiyor… Biz yalnızca çalıştırma zamanında kuralları uygulamakla ilgileniyoruz.”
Levenson, eski Apple meslektaşı Ash Bhardwaj ile birlikte şirketi yönetiyor; Bhardwaj, daha önce iPhone üreticisinin temel ürünlerinde büyük ölçekli bulut ve yapay zeka altyapısı geliştirmişti. Gelecek odakları, 2024 yılında bir karakter AI sohbet botuna olan takıntısı sonucu intihar eden 14 yaşındaki Florida’lı bir çocuğun durumu gibi vakalara yanıt olarak geliştirilmiş “iteratif yönlendirme” yeteneği olacak. Zararlı konular ortaya çıktığında kaba bir reddetme yerine, sistem, konuşmayı engelleyerek sohbet botunu daha destekleyici bir yanıta yönlendirecek. Bu, kullanıcının ifadesini değiştirmeyi ve sohbet botunun yalnızca bir empatik dinleyici değil, bu tür durumlarda yardımcı bir dinleyici olmasını sağlamak için gerekli modifikasyonları yapmayı sağlayacak.
Levenson, Moonbounce’un içerik denetimindeki çalışmalarını tam anlamıyla bir daire haline getiren Meta gibi bir şirket tarafından satın alınma stratejisinin olup olmadığını sorduklarında, Moonbounce’un eski işvereniyle nasıl uyumlu bir şekilde çalışabileceğini fark ettiğini belirtti. “Yatırımcılarım benim için bunu söylemekten ölecek ama birinin bizi alıp teknolojiyi kısıtlamasını istemezdim,” diyerek ekledi. “Tamam, bu artık bizim, ve başka kimse bundan faydalanamaz.”
