25 Ocak tarihli bir haberden alınan bir videoda, Başkan Joe Biden tanklardan bahsediyor. Ancak videonun üzerinde oynanmış bir versiyonu, bu hafta sosyal medyada yüzbinlerce kez görüntülendi ve onun trans bireylere saldıran bir konuşma yaptığı izlenimini uyandırdı.
Dijital adli tıp uzmanları, videonun yeni nesil yapay zeka araçları kullanılarak oluşturulduğunu ve herkesin bir kişinin sesini birkaç tıklamayla hızlı bir şekilde simüle eden ses üretmesine olanak tanıdığını söylüyor. Ve iken Biden sosyal medyadaki klip bu sefer çoğu kullanıcıyı kandırmayı başaramamış olabilir, klip, insanların gerçek dünyaya zarar verebilecek nefret dolu ve dezenformasyonla dolu “deepfake” videolar üretmesinin artık ne kadar kolay olduğunu gösteriyor.
Michigan Üniversitesi’nde multimedya adli tıp üzerine odaklanan elektrik ve bilgisayar mühendisliği profesörü Hafız Malik, “Bunun gibi araçlar temelde ateşe daha fazla yakıt katacak” dedi. “Canavar zaten serbest.”
Geçen ay, ElevenLabs’in ses sentezleme platformunun beta aşamasıyla geldi; bu, kullanıcıların birkaç dakikalık ses örnekleri yükleyerek ve söyleyecekleri herhangi bir metni yazarak herhangi bir kişinin sesinden gerçekçi bir ses oluşturmasına olanak sağladı.
Başlangıç, teknolojinin, konuşmacının sesini ve duygularını korumak için filmler, sesli kitaplar ve oyunlar için farklı dillerde seslendirmek üzere geliştirildiğini söylüyor.
Sosyal medya kullanıcıları, Biden klibinde yer alan aynı transfobik metni okuyan Hillary Clinton’ın yapay zeka tarafından oluşturulmuş bir ses örneğini ve sahte ses kliplerini hızla paylaşmaya başladı. Bill Gates güya COVID-19 aşısının AIDS’e neden olduğunu söylüyor ve iddiaya göre aktris Emma Watson, Hitler’in “Kavgam” manifestosunu okuyor.
Kısa bir süre sonra ElevenLabs, “ses klonlama kötüye kullanım vakalarının sayısında artış” görüldüğünü tweetledi ve kötüye kullanımı bastırmak için güvenlik önlemlerini araştırdığını duyurdu. İlk adımlardan biri, özelliği yalnızca ödeme bilgilerini sağlayanların kullanımına sunmaktı. Başlangıçta, anonim kullanıcılar ses klonlama aracına ücretsiz olarak erişebiliyordu. Şirket ayrıca, herhangi bir sorun olması durumunda, oluşturulan herhangi bir sesi içerik oluşturucuya kadar takip edebileceğini iddia ediyor.
Berkeley’deki California Üniversitesi’nde dijital adli tıp ve yanlış bilgilendirmeye odaklanan bir profesör olan Hany Farid, içerik oluşturucuları izleme yeteneğinin bile aracın zararını hafifletmeyeceğini söyledi.
“Zarar verildi” dedi.
Örnek olarak Farid, kötü aktörlerin üst düzey bir CEO’nun kârların düştüğünü söylemesinin sahte sesiyle borsayı hareket ettirebileceğini söyledi. Ve zaten bir klip var Youtube Biden, ABD’nin Rusya’ya karşı bir nükleer saldırı başlattığını söylemiş gibi görünmesi için bir videoyu değiştirmek için aracı kullandı.
Aynı yeteneklere sahip ücretsiz ve açık kaynaklı yazılımlar da çevrimiçi olarak ortaya çıkmıştır, yani ticari araçlardaki ödeme duvarları bir engel değildir. AP, ücretsiz bir çevrimiçi model kullanarak, yalnızca birkaç dakika içinde aktörler Daniel Craig ve Jennifer Lawrence gibi ses çıkaracak ses örnekleri oluşturdu.
“Soru, parmağın nereye doğrultulacağı ve cinin şişeye nasıl geri konulacağıdır?” Malik dedi. “Yapamayız.”
Deepfake’ler yaklaşık beş yıl önce ilk kez manşetlere çıktığında, özne gözünü kırpmadığı ve ses robotik geldiği için bunları tespit etmek yeterince kolaydı. Araçlar daha sofistike hale geldikçe artık durum böyle değil.
Örneğin, Biden’ın trans bireyler hakkında aşağılayıcı yorumlar yaptığı değiştirilmiş video, yapay zeka tarafından üretilen sesi ABD’nin Ukrayna’ya tank sevkiyatını duyuran 25 Ocak’ta CNN canlı yayınından alınan başkanın gerçek bir klibi ile birleştirdi. Biden’ın ağzı, sese uyması için videoda manipüle edildi. Çoğu Twitter kullanıcısı, içeriğin Biden’ın söyleyeceği bir şey olmadığını fark etse de, yine de ne kadar gerçekçi göründüğü karşısında şok oldular. Diğerleri bunun gerçek olduğuna inanıyor gibi görünüyordu – ya da en azından neye inanacaklarını bilmiyorlardı.
Farid, Hollywood stüdyolarının uzun süredir gerçeği çarpıtmayı başardığını, ancak bu teknolojiye erişimin sonuçları dikkate alınmadan demokratikleştirildiğini söyledi.
Farid, “Bu, çok, çok güçlü yapay zeka tabanlı teknolojinin, kullanım kolaylığının ve ardından modelin şu şekilde göründüğü gerçeğinin bir birleşimi: hadi onu internete koyalım ve sonra ne olacağını görelim” dedi.
Ses, yapay zeka tarafından üretilen yanlış bilgilerin tehdit oluşturduğu alanlardan yalnızca biridir.
gibi ücretsiz çevrimiçi yapay zeka görüntü oluşturucuları yolculuk ortası Ve DALL-E basit bir metin istemiyle eski medya kuruluşları tarzında savaş ve doğal afetlerin fotogerçekçi görüntülerini üretebilir. Geçen ay, ABD’deki bazı okul bölgeleri engellemeye başladı ChatGPTtalep üzerine öğrenci dönem ödevleri gibi okunabilir metinler üretebilen.
ElevenLabs yorum talebine yanıt vermedi.