Müzikte, “portamento”; bir notayı bir adımda daha düşük veya daha yüksek bir notanın içine kaydırmanın etkisine atıfta bulunan yüzlerce yıldır kullanılan bir terimdir. Fakat sadece insan sesi, telli çalgılar ve trombonlar gibi perdede sürekli olarak değişiklik gösterebilen aletler bu etkiyi kaldırabilir.
Bir MIT öğrencisi; herhangi iki ses sinyali arasında gerçek zamanlı olarak “portamento etkisi” üreten yeni bir algoritma icat etti. Deneylerde, algoritma; insan sesine kayan bir piyano notası ve bir şarkının diğerine karışan bir müzik notası gibi çeşitli ses kliplerini sorunsuz bir şekilde birleştirdi. Araştırmacının algoritmayı anlatan makalesi; son Uluslararası Dijital Ses Efektleri Konferansı’nda “en iyi öğrenci makalesi” ödülünü kazandı.
Algoritma; çoklu çıkış ve hedef yapılandırmaları arasında nesneleri (ya da veri noktalarını) taşımak için en etkili yolları belirleyen geometri tabanlı bir çerçeve olan “optimum taşıma”ya dayanır. 1700’lerde formüle edilen çerçeve; zincirler, akışkanlar dinamiği, görüntü hizalaması, 3D modelleme, bilgisayar grafikleri ve daha fazlasını sağlamak için uygulanmıştır.
Sınıf projesinde yer alan çalışmalarda, şimdi bilgisayar bilimi alanında lisansüstü bir öğrenci olan Trevor Henderson; ses sinyallerini enterpolasyona* en uygun şekilde aktardı ya da bir sinyali diğerine harmanladı. Algoritma önce ses sinyallerini kısa bölümlere ayırır. Daha sonra, portamento etkisinin yumuşak kaymasını sağlamak ve her bir bölümdeki perdeleri diğer sinyaldeki perdelere taşımak için en uygun yolu bulur. Algoritma ayrıca; ses sinyalinin geçişleri sırasındaki kalitesini korumak için özel teknikler içerir.
MIT Radyo İstasyonu DJ’yi Henderson, “Burada, bir ses tonundaki seslerin diğer ses tonlarıyla nasıl eşleştirileceğini belirlemek için kullanılır. Bir akoru farklı bir armoniye sahip olan bir akor veya örneğin daha fazla nota ile dönüştürüyorsa, notalar ilk akordan ayrılacak ve diğer akorda sorunsuzca kayma yapacak bir pozisyon bulacaktır.”
Henderson’a göre, bu; ses sinyallerini dönüştürmek için en uygun aktarımı uygulayan ilk tekniklerden biri… Algoritmasını radyo programındaki şarkılar arasında sorunsuz bir şekilde geçiş yapan ekipmanların yapımında kullanmıştı. DJ’ler, canlı performanslar sırasında ekipmanı parçalar arasında geçiş yapmak için; diğer müzisyenler ise, sahnede veya stüdyoda enstrümanları ve sesi birleştirmek için kullanabilir.
Henderson, öğrencilere gerçek dünyadaki uygulamalara en uygun taşıma gibi geometrik araçları uygulamada görev alan 6.838 (Shape Analysis) sınıfını aldı. Öğrenci projeleri genellikle sanal gerçeklikten veya bilgisayar grafiğinden 3D şekillere odaklanır. Böylece Henderson’ın projesi Solomon’a sürpriz oldu.
Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) Geometrik Veri İşleme Grubu Öncüsü ve Mühendisliği ve Bilgisayar Bilimi Bölümünde X-Konsorsiyumu Kariyer Gelişiminde Yardımcı Doçent Solomon (aynı zamanda çello ve piyano yapıyor): “Trevor, portamento efekti oluşturmak için ses sinyallerinde geometri ile hareketli frekanslar arasında soyut bir bağlantı gördü. DJ ekipmanı ile tüm dönem ofisime girip çıktı. Görmeyi beklediğim gibi değildi, ama oldukça eğlendiricidi.”
Henderson; optimal taşımayı düşünmenin iyi bir yolunun “bir kumdan kale inşa etmenin tembel bir yolunu” bulmak olduğunu söylüyor. Bu analojide, çerçeve; her kum tanesini, şekilsiz bir yığın içindeki konumundan bir kumdan kale içinde karşılık gelen bir pozisyona, mümkün olduğunca az çalışma kullanarak, hareket ettirmenin yolunu hesaplamak için kullanılır. Örneğin, bilgisayar grafiklerinde; her bir noktadan diğerine en uygun hareketi bularak, şekilleri dönüştürmek için en uygun taşıma kullanılabilir.
Bu teoriyi ses kliplerine uygulamak; sinyal işlemeden ek fikirleri içerir. Müzik aletleri; cihaza bağlı olarak, bileşenlerin titreşimleriyle ses üretir. Kemanlar tel kullanmaktadır, pirinç aletler oyuk gövdelerin içinde hava kullanır ve insanlar ses tellerini kullanır. Bu titreşimler; frekans ve genliğin (tepe yüksekliği) farklı perdeleri temsil ettiği ses sinyalleri olarak yakalanabilir.
Geleneksel olarak; iki ses sinyali arasındaki geçiş, bir sinyalin diğeri yükselirken ses seviyesinde azaldığı bir solma ile yapılır. Öte yandan Henderson algoritması, frekans bölümlerini bir klipten diğerine (hacimsel bir solma olmadan) yumuşak bir şekilde kayıyor…
Bunu yapmak için, algoritma iki ses klibini yaklaşık 50 milisaniyelik pencerelere böler. Ardından, her pencereyi frekans bileşenlerine dönüştüren bir Fourier dönüşümü gerçekleştirir. Bir penceredeki frekans bileşenleri birlikte sentezlenmiş “notalar” halinde toplanır. Optimal aktarım, bir sinyalin penceresindeki notaların diğer notalara nasıl taşınacağını gösterir.
Ardından, bir “enterpolasyon parametresi” devreye girer. Bu, temel olarak, her notun bir sinyalde başlangıç perdesinden diğerinde bitiş perdesine kadar yolda nerede olacağını belirleyen bir değerdir. Parametre değerinin manuel olarak değiştirilmesi, iki konum arasındaki perdeleri süpürerek portamento efekti oluşturur. Bu tek parametre aynı zamanda, bir DJ’in karıştırma tahtası üzerindeki şarkılar arasında yumuşak bir şekilde kaybolan bir sürgü bileşeni olan bir çarpma düğmesi tarafından programlanabilir ve kontrol edilebilir. Çapraz ayar düğmesi kaydıkça, enterpolasyon parametresi efekti oluşturmak için değişir.
Perdenin arkasında bozulma olmayan bir sinyal sağlayan iki yenilik vardır. İlk olarak, Henderson sinyaller arasında kolayca geçiş yapabilen tek notalar oluşturmak için frekans kutularını bir araya toplayan “frekans atama” adı verilen yeni bir sinyal işleme tekniğinin yeni bir uygulamasını kullandı. İkincisi, 50 milisaniyelik pencereleri birbirine dikerken her bir ses sinyali için yeni fazlar sentezlemenin bir yolunu bulmuş, böylece komşu pencereler birbirine karışmamış oldu.
Daha sonra Henderson; efektin çıktısını tekrar girdi haline getirmeyi denemek istiyor. Bu, otomatik olarak; farklı notalar arasında yumuşak bir geçiş olan “legato” adlı başka bir klasik müzik efekti yaratabileceğini düşünüyor. Başlangıç ve bitiş notaları arasındaki tüm notaları çalan portamentoların aksine, bir legato, ikisi arasında nota yakalamadan, iki nota arasında sorunsuzca geçiş yapar.
*Enterpolasyon: Bir serideki eksik verilerin hesaplanabilmesi için geliştirilen bir matematiksel yöntem.
