Mart ayında Spotify, inandırıcı derecede gerçekçi bir sese sahip akıllı bir sesli rehber olan AI DJ’inin çıkışıyla ilk AI destekli özelliğini piyasaya sürdü. Bu AI karakteri aslında gerçek bir kişiye dayanıyordu – Spotify’ın Kültürel Ortaklıklar Başkanı, AI özelliği için ilk ses modeli olma onuruna sahip olan Xavier “X” Jernigan.
TechCrunch, AI’yı eğitme süreci ve Spotify’ın AI DJ çabaları için gelecek planları hakkında daha fazla bilgi edinmek için Jernigan ile bir araya geldi.
Yeni AI DJ, ilgi alanlarına göre bir müzik seçkisi düzenleyerek dinleyiciler için müzik dinleme deneyimini kişiselleştiriyor. Ayrıca her şarkı hakkında gerçek bir radyo sunucusu gibi yorum yaptı.
Jernigan’ın Spotify’daki birincil rolüne ek olarak, aynı zamanda “The Window”, “Showstopper” ve artık feshedilmiş “The Get Up” podcast’i dahil olmak üzere çeşitli Spotify podcast’lerinin sunuculuğunu yapıyor. Bu yüzden sesini milyonlarca dinleyiciye duyurmaya alışmış durumda. Yine de, sesinin bir yapay zeka olarak anılması benzersiz bir deneyim.
Jernigan TechCrunch’a verdiği demeçte Spotify, Jernigan’ı ilk ses modeli olarak seçti çünkü “sesi ve kişiliği şimdiden birçok dinleyicimizde yankı uyandırdı”. “[The company was] Bu şekilde de yankılanacağımdan oldukça eminim.
Spotify’ın Sabah Şovu “The Get Up” yaklaşık 6 milyon dinleyici topladı ve 2022’de aniden sona ermeden önce Spotify’da ilk 10 podcast arasında yer alarak Jernigan’ın gücünü gösterdi.
Yine de, podcast sunucusu, DJ için ses modeli olmanın ilk başta kafa yormanın zor olduğunu kabul etti.
Jernigan, “DJ için bu ses modeli olma konusunda teklif aldım ve bana açıklandığında aklım başımdan gitti,” dedi. “Bunu ilk kez duyuyorsanız, bakacak bir şeyinizin olmadığını ve benim ‘Bekle, ne var? Ben olacağım ama ben olmayacağım ve bu metin ve ses ama ben gibi görünecek ve yapay zeka mı?”
“Yapay zeka ile bu şekilde çalışmak benim için yeni bir deneyimdi. Sadece bayıldım, ”diye ekledi.
Spotify, AI DJ’inin hem Sonantic hem de OpenAI teknolojileri kullanılarak oluşturulduğunu söylüyor.
Sonantic, Spotify’ın geçen yıl satın aldığı bir AI girişimidir. Şirketin teknolojisi, Val Kilmer’ın “Top Gun: Maverick”teki sesi için kullanılan da dahil olmak üzere yapay zeka tabanlı gerçekçi sesler oluşturmaktan sorumluydu.
Jernigan, satın almadan önce Spotify’ın AI destekli teknolojiyi araştırmak için birkaç yıl harcadığını ve DJ özelliği üzerinde “bazı yinelemelerde” çalıştığını belirtti. Sürecin tam olarak ne kadar sürdüğünü paylaşmayı reddetti, ancak Sonantic teknolojisini entegre etmenin “gerçekten vites yükselttiğini” söyledi.
Jernigan, bir stüdyoya girmeyi, bir senaryoyu okumayı ve farklı duyguları iletmek için çeşitli kadanslar ve tonlamalarla konuşmayı gerektiren AI eğitim sürecini açıkladı. Yapay zekayı, mümkün olduğu kadar gerçekçi hissettirmek için yalnızca kendisinin kullandığı belirli kelimelerle besledi.
“Söylediğim kelimeleri kullanıyoruz… Şarkılar için ‘ezgi’ demiyorum. Ben böyle konuşmam,” dedi. “’İsabet’ veya ‘vuruş’ diyorum. Yani, DJ’in bu tür sözler söylediğini duyacaksınız,” diye devam etti Jernigan. “Nasıl ‘hey’ derim, nasıl ‘merhaba’ derim gibi bir süreç bile yaptık. Yanımda bir defter taşıdım ve söyleyeceğim bir şey olan bu farklı cümleleri yazardım.
Spotify ekibinin, AI sesinin gerçekten insan gibi çıkması için doğal duraklamalarını ve nefeslerini tuttuğundan emin olduğunu da sözlerine ekledi.
Jernigan’ın annesi bile sonuçlara onay damgasını vurdu.
“[DJ] anne sınavını geçti Çıkmadan önce onun için oynadım, ona açıkladım ve aklını başına toplamasını sağlamaya çalışıyorum” dedi. “Bütün podcast’lerimi dinledi, bu yüzden daha önce sesimi kaydetmiş ve çalmış duymaya alışmıştı ve ‘Bu tam olarak sana benziyor’ dedi. Annem bana benzediğini söyledi, bu yüzden yerinde olduğunu biliyordum.
Gerçekçi AI sesleri zaten mevcut olsa da, Spotify’ın DJ’inin duyduğumuz diğerlerine kıyasla en sakin ve en ürpertici olduğunu iddia ediyoruz. Google’ın Dubleks teknolojisi kulağa gerçekçi gelse de, yaz reçeli çalma listenize heyecan katmaya çalışırken dinlemesi hoş bir ses olmayabilir.
“Benim için performansı seslendirme açısından yaparken amacım insanlarla bağ kurmak, insanlarla sohbet etmek ve bir kişiyi düşünmekti. Bu yüzden yapay zekayı eğitirken, stüdyodayken bir kişinin onlarla konuştuğunu ve onların arkadaşı olduğunu hayal ettim” diye ekledi.
Yapay zeka sesinin dinleyiciler için samimi hale getirilmesine ek olarak, DJ’in tasarımı da yaklaşılabilir hissettirecek şekilde yapılmıştır.
Kullanıcıların DJ’i dinlerken gördüğü animasyonlu yeşil daire, Spotify logosuna bir selam niteliğindedir ve yapay zeka konuşurken bir ağız gibi hareket eder.
Spotify Kişiselleştirme Ürün Tasarımı Başkanı Emily Galloway, “Tasarım söz konusu olduğunda, tüm deneyimi – nasıl çalıştığını, kulağa nasıl geldiğini, nasıl göründüğünü ve her kullanıcı için nasıl kişiselleştirebileceğimizi düşündük” dedi. TechCrunch’a söyledi. “Görsel taraf için erkenden, daha teknik hissettiren bazı seçenekleri araştırdık (ses dalgaları gibi şeyler hayal edin). Yine de yapay zekayı insanlaştırmak istediğimiz için bu doğru gelmiyordu…”
“Benzersiz görünmesini ve hissettirmesini istedik. Aslında o kadar eşsizdi ki bir tasarım patenti aldı,” diye ekledi Galloway.
Jernigan, sesini kaydetmenin yanı sıra DJ’e başka şekillerde de katkıda bulundu.
Yapay zekanın müzik hakkında uzman yorumları sunabilmesi için Spotify, küratörlerden, kültür uzmanlarından ve müzik uzmanlarından oluşan bir yazar odası oluşturdu.
Jernigan’ın geniş bir müzik geçmişi var, bu yüzden yazar odasında da yer aldı. Daha önce, diğerleri arasında Diddy, Amy Winehouse ve 2 Chainz gibi en iyi sanatçılar için çalıştı.
Jernigan, DJ’in ilk ses modeli olsa da, dinleyicilerin gelecekte daha fazla ses duyma potansiyeli var.
TechCrunch, Jernigan’a şirketin diğer dilleri konuşan sesli modeller kiralamayı planlayıp planlamadığını sordu.
“Bizi izlemeye devam edin,” diye ima etti.
AI DJ şu anda yalnızca ABD ve Kanada’daki Premium aboneler için İngilizce olarak sunulmaktadır. Şubat ayı itibariyle, DJ özelliği hala beta testinde.
Jernigan, “Genel olarak ortaya çıkan bir sürü gerçekten harika yeni özelliğimiz var” dedi. “Çıkmakta olan gerçekten harika şeyler var.”