Microsoft uygulaması, ALS’li kişilerin yalnızca gözlerini kullanarak konuşmalarına yardımcı oluyor.
Motor nöron hastalığı olarak bilinen ALS, kişide sadece gözlerle iletişim kurma iznini verebilen, vücudunun neredeyse tam kapasite kullanımını kısıtlayan zor bir hastalık.
Microsoft araştırmacıları, GazeSpeak adı verilen gözlerle konuşmayı kolaylaştıracak, bir uygulama geliştirdiler.
GazeSpeak bir akıllı telefon üzerinden çalışır ve göz hareketlerini konuşmaya dönüştürmek için yapay zekayı kullanır, bu nedenle muhatabı, hastanın (gerçek zamanlı) ne söylendiğini anlayabilir.
Uygulama, dinleyicinin cihazında çalışır. Akıllı telefonlarını bir fotoğraf çekiyormuşçasına, konuşmacıya yönlendiriyorlar. Telefonun arka yüzündeki, hoparlör tarafından görülebilen bir etiket, sola, sağa, yukarı ve aşağı doğru görünen kutuya karşılık gelen harfleri gruplayan bir ızgarayı gösterir. Hoparlör farklı göz sinyalleri verdiğinde, GazeSpeak bunları harf olarak kaydeder.
GazeSpeak’ı geliştirdiği sırada Microsoft’da bir stajyer olan Xiaoyi Zhang;
“Örneğin, ‘görev'(‘task’) kelimesini söylemek için önce ‘t’ içeren bir grubu seçmek için aşağıya bakıyorlar, daha sonra ‘a’ içeren bir grubu seçmek için yukarıya bakıyorlar ve böyle devam ediyorlar “diyor.
GazeSpeak, konuşmacıların söylemek istediği kelimeyi, akıllı metin mesajına benzer, en yaygın İngilizce kelimeleri tahmin ederek, her gruptan uygun harfi seçer. Hoparlör, hastanın iki saniye boyunca göz kırpışından veya ileriye bakışından, bir sözcüğü bitirdiğini belirtir. Sistem aynı zamanda, hoparlörün muhtemelen kullanacağı adlar veya yerler gibi eklenen kelime listelerini de dikkate alır. Üstteki dört sözcük tahmini ekranda gösterilir ve üstteki dört sözcük tahmini yüksek sesle okunur.
Washington Redmond /Microsoft Research’te çalışan Meredith Morris, “Göz hareketlerini tanımak için bilgisayarla görme, tahminler için de AI’yi kullanıyoruz” diyor.
Bu uygulama, ALS gibi motor özürlü insanlar için tasarlandı, çünkü göz hareketleri bu koşullardaki kişilerin iletişim kurabilmesinin tek yolu olabilir. ALS kademeli olarak sinir hücrelerine zarar verir ve bir kişinin konuşma, yutma ve nihayetinde nefes alma yeteneğini etkiler. Göz kasları sıklıkla etkilenen son maddelerden biridir.
Şu anda ALS’li insanlar için iletişim kurmak için sınırlı seçenekler var. En yaygın olanı, harfleri seçerken hoparlörün göz hareketlerini izleyen bir kişiye, farklı gruplarda harfler gösteren panoları kullanmaktır. Fakat birinin bu göz hareketlerini etkili bir şekilde nasıl yorumlayacağını öğrenmesi uzun zaman alabilir.
GazeSpeak, hem uygulama hem de düşük teknolojili panolar kullanılan 20 kişilik bir deneyde, çok daha hızlı olduğunu kanıtladı. GazeSpeak ile işlemin tamamlanması, panoları kullananlarla (123 saniyeyle) karşılaştırıldığında, ortalama 78 saniye sürdü. Testteki insanların ALS hastalığı yoktu, ancak ekip bazı ALS hastası ve tercümanlarından teknoloji hakkında geribildirim aldıklarını söyledi. Cihazı kullanan bir kişi sadece 62 saniyede bir test tamamladı ve gerçek hayatta daha kolay olacağını düşündüğünü söyledi.
Diğer sistemler halihazırda kızıl ötesi kameralar ile göz hareketlerini izlemek için yazılım kullanmaktadır. Ancak bunlar genellikle pahalıdır ve hantaldır ve kızılötesi kameralar güneş ışığında çok iyi çalışmazlar. GazeSpeak uygulaması taşınabilir ve nispeten ucuz, çünkü uygulama yüklü iOS cihazı, yalnızca bir iPhone veya iPad gerekiyor.
Microsoft, bu uygulamayı Mayıs ayında Colorado’daki Bilişim Sistemleri İnsan Faktörleri Konferansı’nda (Conference on Human Factors in Computing Systems) sunacak. Araştırmacılar, konferans öncesinde Apple App Store’da bulunabileceğini ve kaynak kodun serbestçe kullanılabilir hale getirileceğini ve böylece başkalarının geliştirmesine yardımcı olabileceğini söylediler.
