bu Ses aracı araştırma ekibi Meta yakın zamanda başlattı MüzikGenaçık kaynaklı bir derin öğrenme dili modeli.
MusicGen, metin istemlerine dayalı olarak yeni müzik üretebilir ve hatta mevcut bir şarkıyla hizalanabilir. Model şuna benzer Google‘S MüzikLM20.000 saat lisanslı müzik eğitimi aldı. Ayrıca melodiyi girdi olarak alıp müzikal yaratıcılığıyla tamamlayabilir.
Facebook’un Hugging Face AI sitesinde, tercih ettiğiniz müziği tanımlamanıza izin veren bir demo var. “Arka planda ağır davullar ve synth pad’ler ile 80’lerin hareketli bir pop şarkısı” gibi birkaç örnek arasından seçim yapabilirsiniz. Ardından, seçiminizi 30 saniyeye kadar bir şarkı ile “koşullandırabilirsiniz”. Şarkının belirli bir bölümünü seçme seçeneğiniz vardır. Oluştur’a bastığınızda, demo 12 saniyeye kadar yüksek kaliteli bir örnek oluşturacaktır.
Daha basit bir ifadeyle, istediğiniz müzik türünü tanımlayabilir, ardından isterseniz önceden var olan bir melodiyi ekleyebilir ve ardından “Oluştur” düğmesini tıklayabilirsiniz. Yaklaşık 160 saniye, yani 2 dakika 40 saniye sürer, ardından metin istemlerinizi ve melodinizi içeren benzersiz bir müzik parçası üretir.
MusicGen, kendi veri kümelerinden 10.000 yüksek kaliteli müzik parçasını ve ayrıca Doğrulanmış ve Gölet5. Ekip, aynı anda işlenebilen daha küçük müzik parçaları oluşturmak için Meta’nın 32Khz EnCodec ses tokenizerini kullandı ve böylece süreci hızlandırdı.
Hugging Face ML Mühendisi Ahsen Khaliq, MusicLM’den farklı olarak MusicGen’in kendi kendini denetleyen bir semantik gösterimi gerektirmediğini ve saniyede yalnızca 50 otomatik gerileyen ses adımına sahip olduğunu tweetledi.
MusicGen, en büyüğü en karmaşık müziği üretme potansiyeline sahip olmak üzere dört farklı model boyutunda mevcuttur. Modeli yerel olarak çalıştırmak için en az bir GPU 16 GB RAM ile.
FacebooktwitterLinkedin
makalenin sonu