Microsoft, 3 Saniyelik İstemlerden Herhangi Bir Sesi Simüle Eden Ses Yapay Zekası VALL-E’yi Tanıttı

Microsoft araştırmacıları kısa bir süre önce, üç saniyelik bir ses örneği verildiğinde bir kişinin sesini doğru bir şekilde taklit edebilen yeni bir metinden konuşmaya yapay zeka modeli olan VALL-E’yi duyurdu. VALL-E, belirli bir sesi öğrendiğinde, konuşmacının duygusal tonunu korumaya çalışırken, herhangi bir şey söyleyen kişinin sesini sentezleyebilir. VALL-E’nin yaratıcıları, GPT-3 gibi diğer üretken AI modelleriyle birleştirildiğinde, yüksek kaliteli metin okuma uygulamaları, bir kişinin kaydının düzenlenebildiği ve bir metin dökümünden değiştirilebildiği konuşma düzenleme için kullanılabileceğine inanıyor. (aslında söylemedikleri bir şeyi söylemelerini sağlamak) ve sesli içerik oluşturma.

Microsoft’a göre, VALL-E öncelikle bir “nöral codec dil modeli”dir ve Meta’nın Ekim 2022’de kullanıma sunduğu EnCodec’e dayanır. dalga biçimlerinin manipüle edilmesi. Bir kişinin nasıl ses çıkardığını işler, EnCodec’i kullanarak ilgili verileri ayrı bileşenlere (“belirteçler” olarak adlandırılır) ayırır ve ardından, o sesin ötesinde başka ifadeler söylerse nasıl ses çıkarabileceğine ilişkin “bildiğini” eşleştirmek için eğitim verilerini kullanır. üç saniyelik örnek.

Microsoft, Meta’nın LibriLight ses kitaplığını kullanarak VALL-E’nin konuşma sentezi işlevlerini eğitti. Öncelikle LibriVox kamuya açık sesli kitaplardan alınan 7.000’den fazla konuşmacının 60.000 saatlik İngilizce konuşmasını içerir. VALL-E’nin iyi bir sonuç vermesi için üç saniyelik örnekteki sesin öğrenme algoritmasındaki bir sese çok benzemesi gerekir.

Amerikan teknoloji devi, yapay zeka modelinin iş başında olduğu düzinelerce sesli örnek sunuyor. VALL-E örnek web sitesi. “Konuşmacı İstemi” veri seti, taklit etmeye çalışması gereken VALL-E’ye verilen üç saniyelik sestir. “Yer Gerçeği”, aynı konuşmacının karşılaştırma amacıyla belirli bir cümleyi söyleyen önceden kaydedilmiş bir versiyonudur (deneydeki “kontrol” gibi). “Temel” örneği, geleneksel bir metinden konuşmaya sentez yöntemiyle üretilir ve “VALL-E” örneği, VALL-E modeli tarafından oluşturulur.

Microsoft araştırmacıları tarafından örnek web sitesinde gösterildiği gibi bir VALL-E blok diyagramı
Fotoğraf Kredisi: Microsoft

Araştırmacılar, bu sonuçları elde etmek için yalnızca üç saniyelik “Konuşmacı İstemi” örneğini ve bir metin dizisini (sesin söylemesini istedikleri şeyi) VALL-E’ye sağladılar. Bazı VALL-E sonuçları bilgisayar tarafından oluşturulmuş gibi görünür, ancak diğerleri, modelin amacı olan insan konuşması nedeniyle yanlış anlaşılabilir. VALL-E’nin suçları ve aldatmacayı körükleme potansiyeli nedeniyle Microsoft, VALL-E kodunu başkalarının keşfetmesi için kullanılabilir hale getirmedi. Araştırmacılar, bu teknolojinin neden olabileceği potansiyel sosyal zararın farkında gibi görünüyor.

Makalenin sonuç bölümünde şöyle yazıyorlar: “VALL-E, konuşmacı kimliğini koruyan konuşmayı sentezleyebildiğinden, modelin kötüye kullanılması durumunda, ses kimliğinin sahtekarlığı veya belirli bir konuşmacının kimliğine bürünme gibi potansiyel riskler taşıyabilir. Bu tür riskleri azaltmak mümkündür. bir ses klibinin VALL-E tarafından sentezlenip sentezlenmediğini ayırt etmek için bir algılama modeli oluşturmak. Modelleri daha da geliştirirken Microsoft AI İlkelerini de uygulamaya koyacağız.”