Bunun olacağını kim görmüş olabilir? AI görüntü üreteçleri oluşturmak için kullanılmıştır. rıza dışı pornografi ünlülerin, ama neden aynı kullanıcı temel, ücretsiz bir yapay zeka metinden konuşmaya derin sahte ses oluşturucuyu kötüye kullanmaya mı cesaret ediyor?
İngiltere merkezli ElevenLabs ilk lanse edildi Prime Voice AI bu ayın başlarında, ancak yalnızca birkaç hafta sonra, kullanıcılar gerçek dünyadaki sesleri kullanarak nefret dolu mesajlar oluşturan çok sayıda kullanıcıyı bildirdikten sonra tüm modelini yeniden düşünmesi gerekebilir. Şirket, ilk metinden sese açık beta sistemini 23 Ocak’ta yayınladı. Geliştiriciler, seslerin gerçek bir insanın tarzına ve ritmine uyacağına söz verdi. Şirketin “Voice Lab” özelliği, kullanıcıların küçük ses örneklerinden sesleri klonlamasına olanak tanır.
Anakart ilk olarak Pazartesi günü, Joe Rogan’dan Robin Williams’a ünlülerin veya internet kişiliklerinin derin sahte seslerini yükleyen bir dizi 4Chan kullanıcısı hakkında bildirildi. Bir 4Chan kullanıcısının, Emma Watson’ın Mein Kampf’tan bir pasaj okuduğu bir klip yayınladığı bildirildi. Başka bir kullanıcı, bildirildiğine göre Justin Roiland’ın Rick Sanchez’ine benzeyen bir ses aldı. Rick ve Morty karısını nasıl döveceğinden bahsetmek, bariz bir referans Aile içi tacizle ilgili güncel iddialar dizinin ortak yaratıcısına karşı.
Gizmodo tarafından incelenen bir 4Chan başlığında, kullanıcılar, çeşitli anime veya video oyunlarından karakterlerin veya anlatıcıların seslerini kullanarak yoğun kadın düşmanlığı veya transfobiyi yayan yapay zekanın kliplerini yayınladılar. Bütün bunlar, internetin koltuk altından eline geçtikten sonra yapmasını beklediğiniz şeyin tam olarak ne olduğunu söylemek içindir. kullanımı kolay deepfake teknolojisi.
Pazartesi günü şirket, “çılgın bir hafta sonu” geçirdiklerini tweetledi ve teknolojilerinin “ezici bir çoğunlukla olumlu kullanım için uygulandığını”, ancak geliştiricilerin “ses klonlama kötüye kullanım vakalarının sayısının arttığını” gördüklerini belirtti. ancak kötüye kullanımın olduğu belirli bir platform veya platformların adını vermedi. yaşanıyordu.
G/O Media komisyon alabilir
ElevenLabs, zararın nasıl sınırlandırılacağına dair birkaç fikir sundu; bunlara önden bir ödemeyi içerebilecek bazı hesap doğrulamaları getirmek veya hatta her bir klonlama talebini manuel olarak doğrulamak anlamına gelecek olan ses laboratuvarının ücretsiz sürümünü tamamen kaldırmak da dahil.
Geçen hafta ElevenLabs duyurdu 2 milyon dolarlık tohum öncesi finansman aldı Çek Cumhuriyeti merkezli Credo Ventures liderliğinde. Yapabilen küçük yapay zeka şirketi, satış konuşmasına göre operasyonunu büyütmeyi ve sistemi diğer dillerde de kullanmayı planlıyordu. Bu kabul edilen kötüye kullanım, teknolojinin nereye gidebileceği konusunda çok iyimser olan geliştiriciler için bir dönüş. Şirket geçen haftayı teknolojisini tanıtarak geçirdi. sistem çoğalabilir Polonyalı televizyon kişilikleri. Şirket daha fazla terfi etti ın fikri koyarak insan sesli kitap anlatıcıları işsiz. Beta web sitesi h konuşuyorBöylece sistem, haber makaleleri için sesi otomatik hale getirebilir ve hatta video oyunları için ses oluşturabilir.
Sistem, sadece Gizmodo tarafından incelenen seslere dayanarak, sesleri oldukça iyi taklit edebilir. Meslekten olmayan biri, Rogan’ın porno alışkanlıklarından bahsettiği sahte bir klip ile bir podcast’inden gerçek klip. Yine de, seste kesinlikle daha uzun kliplerde daha belirgin hale gelen robotik bir kalite var.
Gizmodo, Twitter üzerinden yorum yapmak için ElevenLabs’e ulaştı, ancak hemen yanıt alamadık. Daha fazlasını duyarsak bu hikayeyi güncelleyeceğiz.
Kendi metinden sese araçlarını sunan birçok başka şirket var, ancak Microsoft’un benzer VALL-E sistemi hala yayınlanmadıdiğer küçük şirketler, herhangi birinin suistimal etmesi için kapıyı açmakta çok daha az tereddüt ettiler. AI uzmanları Gizmodo’ya söyledi Etik incelemesi yapılmadan işleri kapı dışarı etmeye yönelik bu baskı, bunun gibi sorunlara yol açmaya devam edecek.