Gelişen teknoloji sayesinde farklı dilleri çevirmek oldukça kolaylaştı. Yine de, teknolojinin çeviri sunmadığı bir dil var: işaret dili. New York Üniversitesi’ndeki öğrencilerin geliştirdiği yeni artırılmış gerçeklik uygulaması, işaret dilini insanlar için tercüme edebilir ve sözlü kelimeleri işitme engelliler için işaret diline çevirir.
Öğrenciler, projeyi Verizon ve NYC Media Lab’ın üçüncü Connected Futures yarışmasının bir parçası olarak geliştirdiler.Proje liderlerinden Zhongheng Li işitme engelli ebeveynleri olan bir arkadaşından ilham aldığını söyledi.
Li “Arkadaşımın ailesi, Hong Kong’dan ABD’ye taşındı. Evrensel bir işaret dili olmadığını, bu yüzden iletişim kurmakta zorluk çektiğini söyledi.”
Uygulama kamera önünde gerçekleştirilen özel işaret dili el hareketleri yakalamak ve kullanıcının anadilinde gerçek zamanlı çeviri sağlamak için bilgisayar vizyonu ile AR’yi birleştirir.
Prototip aynı zamanda anlatılmak istenen sözcüğü, ilgili el hareketinin ayrıntılı animasyon görüntüsünü gösteren bir akıllı telefonun mikrofonu aracılığıyla konuşma diline dönüştürebilir.
Öğrenecek çok şey var
Dünyada şu an kullanımda olan yüzlerce farklı işaret dili mevcuttur. Ancak işaret dilleri ya da konuşma dilleri arasında çeviri yapmak hala çok zordur.
Li ve meslektaşı, şu anda tek bir amaca yönelik uygulamayı oluşturmak için makine öğrenimini kullandı: Bir sağlık kliniğinde randevu alabilmek. Uygulama tercüme edebildiği birkaç ifade ile sınırlıdır. Uygulamayı işaret dili tercümanlarının her zaman bulunmadığı küçük kliniklerde iletişim kuracak şekilde hastalara hizmet etmek için genişletmeyi umuyorlar (devlet hastaneleri işitme engelli hastalar için yorumlama servislerine ihtiyaç duyuyor).
Li “Yine de sınırlamalar var. İşaret dili oldukça karmaşık yüz ifadeleri içerir. Sözcük sırası İngilizce’den farklıdır, yani bilgisayarın öğrenmesi gereken çok fazla şey vardır. “
Li ve ekibi, fon yardımı ile uygulamanın üst kısmında yer alan küçük tıbbi kliniklerde iletişim kurarak, uygulamaya başka bir dizi senaryo eklemelerine yardımcı olacağını umuyor.
Yakın gelecekte Google Play’de veya App Store’da uygulamayı görüp göremeyeceğimiz konusunda henüz kesin bir şey yok. Ancak ekip bir noktada ticari bir sürüm yayınlamayı planladığını doğruladı.
