Kanada, Waterloo Üniversitesi’ndeki araştırmacılar, belirli müzik sanatçılarının tarzına uyan şarkı sözleri üretmek için bir sistem geliştirdiler. ArXiv’de daha önce yayınlanan bir makalede ana hatları verilen yaklaşımları, sanatçı gömülü verileri ile birlikte değişken bir otomatik kodlayıcı (VAE) ve şarkı kliplerinin MEL spektrogramlarından sanatçıları tahmin etmek için eğitilmiş bir CNN sınıflandırıcısı kullanıyor.
Çalışmayı yapan araştırmacılardan Olga Vechtomova: “Bu projenin motivasyonu kişisel ilgimden kaynaklanıyor. Müzik benim için bir tutku ve bir makinenin en sevdiğim müzik sanatçılarının sözleri gibi ses çıkaran çizgiler üretip üretmediğini merak ediyordum. Metin üretici modeller üzerinde çalışırken, araştırma grubum sinir ağlarının bazı etkileyici metin satırları oluşturabileceğini buldu. Bizim için doğal olan sonraki adım, bir makinenin söz konusu sanatçının bir şarkısına benzeyen yeni şarkı sözleri oluşturmak için sözcük seçimi, temalar ve cümle yapısı da dahil olmak üzere, belirli bir müzik sanatçısının lirik tarzının özünü öğrenip öğrenemeyeceğini keşfetmekti.”
Vechtomova ve meslektaşları tarafından geliştirilen sistem; orijinal metin satırlarını yeniden yapılandırarak öğrenebilecekleri değişken oto kodlayıcı (VAE) adı verilen bir sinir ağı modeline dayanmaktadır. Araştırmalarında, modellerini herhangi bir sayıda, yeni, farklı ve uyumlu lirik çizgiler üretmek için eğitmişlerdir.
Vechtomova: “Belirli bir sanatçının tarzında çizgiler üretmek için, nesneyi, müzik ses kliplerinin spektrogramlarını sınıflandırmak için eğitilmiş ayrı bir sinir ağı tarafından öğrenilen, gömülü veriyi bir sanatçıya (yani, gerçek sayıların çok boyutlu bir vektörüne) koşullandırdık. Daha sonra sanatçı gömülü verilerini, her sanatçının tarzındaki şarkı sözleri nesnesini koşullandırmak için kullanıyoruz. Bunun arkasındaki motivasyon, sanatçı verileriarasındaki farkların, müzikal tarzlarının yanı sıra, şarkı sözlerindeki farklılıkları yansıtması istediğidir.”
Bir dizi ön değerlendirmede, Vechtomova ve meslektaşları tarafından geliştirilen sistem oldukça iyi bir performans sergiledi. Bulguları, sanatçı gömülü verilerinin, sanatçının tarzına uyan şarkı sözleri oluşturmak için yararlı olduğunu göstermektedir. Modelin ürettiği birçok çizgi, koşullandığı sanatçının müziğine oldukça hitap ediyordu.
Vechtomova: “Oluşturulan çizgiler genellikle bir sanatçının sözlerini içerirken, bunlar orijinal şarkı sözlerinde bulunmayan yeni düşünceleri ifade ederek ilginç ve yeni bir şekilde kullanılır. Üretilen çizgilerin bazıları, sanatçının tarzına sadık kalırken, metaforlar ve oksimoronlar gibi üslup aygıtları kullanılarak ifade edilen yeni ve güçlü şiirsel görüntüler aktarıyor.”
Gelecekte, Vechtomova ve meslektaşları tarafından oluşturulan sistem, yeni şarkılar için sanatçılara ilham vermek için kullanılabilir. Lirik bestecileri değiştirmekten ziyade, araştırmacılar, sanatçıların daha sonra bağımsız olarak kalıp oluşturabilecekleri ve geliştirebilecekleri yeni fikirler sağlayacağını umuyorlar.
Vechtomova: “Sistem, bir müzik sanatçısı yerine değil, şarkı yazarken ilham kaynağı olarak kullanılmalı. Müzik dünyasında, bu, bir sanatçının daha sonra bir şarkı yarattığı, sonsuz sayıda ses üretebilen bir sentezleyiciye benzeyebilir. Benzer şekilde, bu araç, sanatçıların kendi sözlerini oluşturmakta, istedikleri herhangi bir şekilde kullanabilecekleri sonsuz sayıda yeni satır üretebilir.”
Farklı bir projenin parçası olarak Vechtomova, aynı sistemi farklı müzik sanatçılarının tarzında ilgi çekici şiir üretmek için kullandı. Elde edilen şiir koleksiyonu, NeurIPS 2018 ‘in Yaratıcılık ve Tasarım için ML Çalıştayı’nda bir sanat eseri olarak kabul edildi.
Vechtomova: “Gelecekte, ek kaynaklardan yeni temalar ve kelimeler öğrenebilecek modeller üzerinde çalışmayı ve bunları belirli bir sanatçının tarzında şarkı sözleri oluşturmak için kullanmayı planlıyoruz. Ayrıca böyle bir sistemin müzik sanatçılarının ilham kaynağı olarak nasıl potansiyel olarak kullanılabileceğini araştırmak istiyoruz.”
Comments