Kaliforniya Üniversitesi’ndeki üç araştırmacı, video oyunu Dance Dance Revolution’un (DDR.) Chris Donahue, Zachary Lipton ve Julian’ın açık kaynaklı versiyonu için dans hareketleri (basamak çizelgeleri) yaratıp, bir sinir ağı eğitti.
Dance Dance Revolution (DDR), popüler bir ritim tabanlı video oyunudur. Oyuncular, ekrandaki adım grafiklerine göre müzik eşzamanlı olarak bir dans platformunda adımlar atarlar. Birçok adım grafiği standart paketlerde bulunurken, kullanıcılar mevcut grafiklerden sıkılabilir veya grafik bulunmayan bir şarkıyı dans etmek isteyebilir. Ham bir ses izi göz önüne alındığında, amaç yeni bir adım grafiği üretmektir. Bu görev doğal olarak iki alt konuya ayrılır: Adımları ne zaman yerinden alacağınıza karar verme ve hangi adımları seçeceğinize karar verme.
Adım yerleştirme görevi için, tekrar eden ve konvolüyonel sinir ağlarını, grafik zorluğuna bağlı olarak, aşamaları önceden tahmin etmek için düşük seviyeli ses özelliklerinin spektrografları birleştirilir. Adım seçimi için, n-gram ve sabit pencere yaklaşımlarından önemli ölçüde daha iyi performans gösteren bir koşullu LSTM üreten model sunuyorlar.
Dans tablosu yapmak, fayansları rasgele seçmek kadar basit değildir. Dansçılar belirli desenlerden hoşlanıyor ve hareketlerin zamanlaması da var. Bu da beceriksizce atlamadan ziyade, dans etmesini sağlıyor. Bu tür grafikler yaratmak için bir sinir ağı oluşturan ekip, zamanlamayı içeren adım yerleştirmeyi nasıl seçeceği konusunda, işe sistemi eğitmekle başladı. Sonra, adım seçiminin nasıl olacağını öğrenecekti: Dans eden kişiye bir ayağı nereye koyacağını ve hangi yönde gelmesi gerektiğini söylemek için, hangi renge basarak, aydınlatacağını seçmek öğretildi.
Bu görevleri yerine getirmek için araştırmacılar, belli bir popüler grafik yaratıcısı tarafından kamuya açık bir sunucudan oluşturulan bir dizi grafiği indirdi ve tüm zorluk seviyeleri için onu yeniden yazdı. Ekip ayrıca diğer kullanıcılardan rastgele başka grafikler de indirdi. Hepsi sinir ağını besledi.
Sinir ağı çizelgeleri nasıl hazırlandığını öğrendiğinde, araştırmacılar bunu yapmalarını sağlamış, StepMania’ya (oyun ve müzk yapma motoru) beslenebilecek ve insanlar tarafından dans edilebilecek, adım çizelgeleri ürettiler. Adım çizelgelerinin dans için yeterince iyi olduğunu, ancak insanların içgüdüsel rastgele çizdiği dans kadar olamadığını söylüyorlar; bu da, sistemde bize hala insanlara özgü sezgi derecesi eksikliğini gösteriyor.
