Bir dava açıldı dosyalanmış Bir gencin ölümünün ardından, haksız ölüm, ihmal, aldatıcı ticari uygulamalar ve ürün sorumluluğu iddiasıyla Character.AI, kurucuları Noam Shazeer ve Daniel De Freitas ve Google’a karşı dava açıldı. Gencin annesi Megan Garcia tarafından açılan davada, özel yapay zeka sohbet robotlarına yönelik platformun “makul olmayan derecede tehlikeli” olduğu ve çocuklara pazarlanırken güvenlik korkuluklarından yoksun olduğu iddia ediliyor.
Davada belirtildiği gibi, 14 yaşındaki Sewell Setzer III, Character.AI’yi geçen yıl kullanmaya başladı ve karakterlerden esinlenerek modellenen sohbet robotlarıyla etkileşime girdi. Taht OyunlarıDaenerys Targaryen dahil. Ölümünden önceki aylarda sürekli olarak botlarla sohbet eden Setzer, botla son etkileşiminden “saniyeler” sonra 28 Şubat 2024’te intihar ederek hayatını kaybetti.
Suçlamalar arasında sitenin yapay zeka karakterlerini “insanlaştırması” ve platformun sohbet robotlarının “lisanssız psikoterapi” sunması yer alıyor. Character.AI, Setzer’in etkileşime girdiği “Terapist” ve “Yalnız mı Hissediyorsun” gibi ruh sağlığı odaklı sohbet robotlarına ev sahipliği yapıyor.
Garcia’nın avukatları Shazeer’den alıntı yapıyor bir röportajda söylüyorum kendisinin ve De Freitas’ın kendi şirketini kurmak için Google’dan ayrıldığını, çünkü “büyük şirketlerde eğlenceli bir şey başlatamayacak kadar fazla marka riski bulunduğunu” ve kendisinin teknolojiyi “maksimum düzeyde hızlandırmak” istediğini söyledi. Şirket, kendi inşa ettikleri Meena LLM’yi başlatmamaya karar verdikten sonra ayrıldıklarını söylüyor. Google, Ağustos ayında Character.AI liderlik ekibini satın aldı.
Character.AI’nin web sitesi ve mobil uygulaması, çoğu TV şovları, filmler ve video oyunlarındaki popüler karakterlerden esinlenerek modellenen yüzlerce özel AI sohbet robotuna sahiptir. Birkaç ay önce, eşik kullanıcı tabanının büyük bir kısmını oluşturan, gençler de dahil olmak üzere milyonlarca gencin Harry Styles veya terapist gibi görünen botlarla etkileşime girdiğini yazdı. Yeni bir rapor daha itibaren kablolu vurgulanan sorunlar Character.AI’nin özel sohbet robotları, 2006’da öldürülen bir genç gibi poz veren biri de dahil olmak üzere, rızaları olmadan gerçek kişilerin kimliğine bürünüyor.
Character.ai gibi sohbet robotlarının, kullanıcının girdilerine bağlı olarak çıktı üretme şekli nedeniyle, kullanıcı tarafından oluşturulan içerik ve sorumlulukla ilgili şu ana kadar net yanıtları olmayan tekinsiz bir çetrefilli sorular vadisine düşüyorlar.
Character.AI şimdi birkaç tane duyurdu iletişim sorumlusu Chelsea Harrison’ın bir e-postada platformda değişiklikler yaptığını söylüyor: eşik“Kullanıcılarımızdan birinin trajik kaybından dolayı kalbimiz kırıldı ve aileye en derin başsağlığı dileklerimizi iletmek istiyoruz.”
Değişikliklerden bazıları şunlardır:
“Şirket olarak kullanıcılarımızın güvenliğini çok ciddiye alıyoruz ve Güven ve Güvenlik ekibimiz, son altı ay içinde, kullanıcıları Ulusal İntiharı Önleme Yaşam Hattına yönlendiren bir pop-up da dahil olmak üzere çok sayıda yeni güvenlik önlemi uygulamaya koydu. Harrison, “kendine zarar verme veya intihar düşüncesi açısından” dedi. Google hemen yanıt vermedi eşik‘nin yorum talebi.