BioRxiv’de son aylarda açıklanan çabaların hiçbiri, insanların yalnızca hayal ettikleri konuşmayı yeniden yaratmayı başaramadı. Bunun yerine, araştırmacılar beynin bazı bölümlerini insanlar sesli okuduklarında, sessizce konuşma yaptıklarında veya kayıtları dinlerken izlediler.
İsviçre’de Cenevre Üniversitesi’ndeki Sinir Mühendisi Estephanie Martin: “Yeniden yapılandırılan konuşmanın gösterilmesi anlaşılabilir bir durumdur ve bu kesinlikle heyecan verici.”
Bir felç veya hastalıktan sonra konuşma kabiliyetini yitirmiş kişiler, göstergeyi kontrol etmek veya ekrandaki harfleri seçmek için gözlerini kullanabilir veya başka küçük hareketler yapabilir. Fakat eğer bir beyin-bilgisayar arayüzü konuşmalarını doğrudan yeniden yaratabilseydi, çok daha fazlasını kazanabilirlerdi: ses tonu ve değişimi ya da hızlı hareket eden bir konuşmaya katılma yeteneği.
Columbia Üniversitesi’nden bir bilgisayar bilimcisi Nima Mesgarani: “Farklı zaman noktalarında açılıp kapanan ve konuşma sesini çıkaran nöronların modelini çözmeye çalışıyoruz. Birinden diğerine eşleme çok kolay değil. Bu sinyallerin konuşma seslerine nasıl çevrildiği, kişiden kişiye değişir. Bu yüzden bilgisayar modelleri her bireyde “eğitilmelidir”. Modeller kafatasının açılmasını gerektiren son derece hassas verilerle en iyisini yapıyor.”
Araştırmacılar bu tür invaziv kayıtları ancak nadir durumlarda yapabilirler. Bunlardan biri, beyindeki tümörün tümüyle çıkarılması sırasında, beynin maruz kaldığı elektrik okumaları, cerrahların kilit konuşmaları ve motor alanları bulup engellemelerine yardımcı olur. Bir diğeri, epilepsi hastalarına, cerrahi tedaviden önce nöbetlerin kökenini tam olarak belirlemek için birkaç gün boyunca elektrotlarla implante edilmesidir.
Martin: “Veri toplama amacıyla en fazla 20 belki de 30 dakika olabilir. Gerçekten sınırlıyız.”
Yeni bildirilerin arkasındaki gruplar, bilgiyi, sinirsel ağlarla besleyerek, karmaşık kalıpları işlemden geçiren “düğümlerin” katmanlarından geçirerek ve işleyerek en değerli verileri elde etti. Ağlar, düğümler arasındaki bağlantıları ayarlayarak öğrenirler. Deneylerde, ağlar bir kişinin ürettiği veya duyduğu konuşma kayıtlarına ve eş zamanlı beyin aktivitesi ile ilgili verilere maruz kalmıştır.
Mesgarani’nin ekibi epilepsili beş kişiden gelen verilere güvendi. Ağları, işitsel korteksin kayıtlarını (hem konuşma hem de dinleme sırasında aktif olan) analiz etti. Çünkü hastalar hikayeleri ve sıfırdan dokuza kadar rakamları adlandıran kişilerin kayıtlarını duydular. Bilgisayar daha sonra konuşulan sayıları yalnızca sinirsel verilerden yeniden yapılandırdı; bilgisayar sayıları “konuştuğunda” %75 doğrulukla bir grup dinleyici adını verdi.
Sinirbilimcilerden Almanya’daki Bremen Üniversitesi’nden Miguel Angrick ve Hollanda’daki Maastricht Üniversitesi’nden Christian Herff liderliğinde diğer bir ekip, beyin tümörü ameliyatı geçiren altı kişiden gelen veriler ile çalıştı. Bir mikrofon, tek heceli sözcükleri yüksek sesle okurken seslerini yakaladı. Bu arada, beynin konuşma planlama alanlarından ve motor alanlarından kaydedilen elektrotlar, sözcükleri ifade etmek için ses yoluna komutlar gönderir. Ağ haritalanmış elektrot ses kayıtlarını okur ve daha önce görülmeyen beyin verilerinden kelimeleri yeniden oluşturur. Bilgisayarlı bir puanlama sistemine göre, bilgisayar tarafından üretilen kelimelerin yaklaşık %40’ı anlaşılırdı.
Son olarak, beyin cerrahı Edward Chang ve Kaliforniya Üniversitesi ekibi, konuşma ve motor alanlardan toplanan beyin aktivitelerinden tam cümleler kururken, üç epilepsi hastası yüksek sesle okudu. Bir çevrim içi testte, 166 kişi cümlelerden birini duydu ve 10 seçenek arasından seçim yapmak zorunda kaldı. Bazı cümleler zamanın %80’inden fazlasını doğru bir şekilde tanımladı. Araştırmacılar modeli daha da ileri götürdüler: İnsanlar sessizce kelimelerle konuşma yaparken, kaydedilen verilerden cümleler oluşturmak için kullandılar.
Herff: “Hepimizin aklında olan konuşma protezine bir adım daha yaklaştık.”
Kaliforniya’daki San Diego Eyalet Üniversitesi’nde dil prodüksiyonu yapan nörobilimci Stephanie Riès: “Gerçekten beklediğimiz şey, hastaların konuşmadığı zamanlarda bu yöntemlerin nasıl uygulanacağıdır. Bir insan sessizce “konuştuğunda” ya da kendi sesini kafasının içinde duyduğunda beyninde oluşan sinyaller aynı değildir. Beyin aktivitesine uyması için harici bir ses olmadan, bir bilgisayarın iç konuşmanın nerede başladığını ve bittiğini anlamak bile zor olabilir.”
Albany’deki New York Eyalet Sağlık Bakanlığı Ulusal Uyarlamalı Nöroteknoloji Merkezi’nde görev yapan Gerwin Schalk: “Hayali konuşma kodu büyük bir adımdır. Bunun nasıl yapılacağı tam olarak net değil.”
Herff: “İlk akla gelen yaklaşımda beyin-bilgisayar arayüzünün kullanıcısına geri bildirim vermek olabilir: Bilgisayarın konuşma yorumlamasını gerçek zamanlı olarak duya bilirlerse, istedikleri sonucu elde etmek için düşüncelerini ayarlayabilirler. Hem kullanıcıların hem de sinir ağlarının yeterince eğitimi ile beyin ve bilgisayar ortada buluşabilir.”
