Kolombiya nöro mühendisleri düşünceyi anlaşılır, tanınabilir bir konuşmaya çeviren bir sistem yarattılar. Teknoloji, bir kişinin, beyin aktivitesini izleyerek, daha önce görülmemiş netlikle duyduğu kelimeleri yeniden oluşturabilir. Konuşma sentezleyicilerinin ve yapay zekanın gücünü kullanan bu buluş, bilgisayarların doğrudan beyinle iletişim kurmasının yeni yollarını açabilir. Aynı zamanda, amyotrofik lateral skleroz (ALS) ile yaşayanlar veya felçli hastalar gibi konuşamayan insanlara yardım etmek için zemin hazırlar ve dış dünya ile iletişim kurma yeteneklerini yeniden kazandırabilir.
Kolumbiya Üniversitesi’ndeki Mortimer B. Zuckerman Zihin Beyin Davranışı Enstitüsü’nün baş araştırmacılarından biri olan Nima Mesgarani: “Seslerimiz; arkadaşlarımıza, ailemize ve çevremizdeki dünyaya bağlanmamıza yardımcı oluyor. Bu yüzden bir kişinin sesini yaralanma veya hastalık nedeniyle gücünü kaybetmesi çok yıkıcı. Bugünkü çalışmayla, bu gücü geri kazanmanın potansiyel bir yoluna sahibiz. Doğru teknolojiyle bu insanların düşüncelerinin herhangi bir dinleyici tarafından çözülebileceğini ve anlaşılabileceğini gösterdik.”
Onlarca yıl süren araştırmalar, insanlar konuşurken (hatta konuşmayı hayal ettikleri zaman) beyninde belli aktivite biçimlerinin ortaya çıktığını göstermiştir. Belirgin (ancak tanınabilir) bir sinyal paterni, birisinin konuşmasını dinlediğimizde veya dinlemeyi hayal ettiğimizde de ortaya çıkar. Bu kalıpları kaydetmeye ve deşifre etmeye çalışan uzmanlar; düşüncelerin beynin içinde saklı kalmaya ihtiyaç duymadığı, bunun yerine istedikleri sözlü konuşmayı çevrilebilecekleri bir geleceği görüyorlar.
Mesgarani ve meslektaşları tarafından beyin sinyallerini çözmek için yapılan çalışmalar, ses frekanslarının görsel temsilleri olan spektrogramları analiz eden basit bilgisayar modellerine odaklandı. Ancak bu başarıya ulaşmak oldukça zor oldu. Bu yaklaşım anlaşılır konuşmaya benzeyen bir şey üretemediğinden, makalenin ilk yazarı Hassan Akbari de dahil olmak üzere Dr. Mesgarani ve ekibi, konuşan kişilerin kayıtları üzerine eğitildikten sonra konuşmayı sentezleyebilen bir bilgisayar algoritması olan Vocoder’a yöneldi.
Dr. Mesgarani: “Bu, Amazon Echo ve Apple Siri tarafından sorularımıza sözel cevaplar vermek için kullanılan teknolojinin aynısıdır.”
Vocoder’a beyin aktivitesini yorumlamayı öğretmek için Dr. Mesgarani, Northwell Sağlık Doktoru Ortakları Sinirbilim Enstitüsü’nde beyin cerrahı olan Ashesh Dinesh Mehta ile birlikte çalıştı.
Dr. Mestarani, “Dr. Mehta ile birlikte; beyin ameliyatı geçirmiş olan epilepsi hastalarından, farklı insanlar tarafından konuşulan cümleleri dinlemelerini istedik ve bu sırada beyin aktivite modellerini ölçtük. Bu sinir kalıpları, ses kodlayıcıyı (vocoder) eğitti.”
Daha sonra, araştırmacılar aynı hastalardan, 0’dan 9’a kadar olan basamakları okuyan konuşmacıları dinlerken ses kodlayıcıdan geçirilebilecek beyin sinyallerini kaydetmelerini istediler. Vocoder tarafından bu sinyallere cevap olarak üretilen ses analiz edildi ve sinir ağları tarafından biyolojik beyindeki nöronların yapısını taklit eden bir tür yapay zeka tarafından temizlendi. Bunun sonucunda, bir dizi numarayı okuyan robotik bir ses elde edildi. Kaydın doğruluğunu test etmek için Dr. Mesgarani ve ekibi bireylere kaydı dinlemek ve duyduklarını rapor etmek için görev verdi.
Mesgarani, “İnsanların yaklaşık %75’inin, sesleri anlayabildiklerini ve tekrarlayabildiklerini gördük; bu, önceki girişimlerin çok üstünde ve ötesindedir. Anlaşılabilirlikteki iyileşme, yeni kayıtları önceki spektrogram temelli girişimlerle karşılaştırırken özellikle belirgindi. Hassas ses kodlayıcı ve güçlü sinir ağları, hastaların ilk başta şaşırtıcı bir hassasiyetle dinledikleri sesleri temsil ediyordu.”
Mesgarani ve ekibi ileride, daha karmaşık kelimeleri ve cümleleri test etmeyi planlıyor ve aynı konuşmayı bir kişi konuştuğunda ya da konuşmayı düşündüğünde yaydığı beyin sinyalleri üzerinde yapmak istiyorlar. Sonuçta, sistemlerinin, kullanıcının düşüncelerini doğrudan kelimelere çeviren ve bazı epilepsi hastaları tarafından giyilebilen teknolojilere benzer bir implantın parçası olabileceğini umuyorlar.
Mesgarani, “Bu senaryoda, kullanıcı ‘bir bardak suya ihtiyacı olduğunu’ düşünüyorsa, sistemimiz bu düşüncenin ürettiği beyin sinyallerini alabilir ve bunları sentezlenmiş, sözlü konuşmaya dönüştürebilir. Bu bir oyun değiştirici olabilir; yaralanma veya hastalık yoluyla, konuşma kabiliyetini yitirmiş olan herkese, etraflarındaki dünyaya bağlanma şansını yeniden verir.”
