Eğitim

AI, İşaret Dilini Öğrenmenize Nasıl Yardımcı Olabilir?

Araştırmacılar, işaret dillerini otomatik ve sezgisel bir şekilde öğretme yazılımı üzerinde çalışıyor. Şu anda, bu araç bir öğrencinin İsviçre-Alman işaret dilinde bir işaretleme şeklini analiz edebilir ve el şekli, hareket, konum ve zamanlamanın nasıl iyileştirileceği hakkında ayrıntılı geri bildirimde bulunabilir. 

İşaret dillerinin öğrenilmesi kolay değildir ve öğretilmesi daha da zordur. Sadece el hareketleri değil aynı zamanda ağız, yüz ifadeleri ve vücut duruşu anlam ifade etmesi için kullanılması gerekmektedir. Bu karmaşıklık, mesleki eğitim programlarının hala nadir ve genellikle pahalı olduğu anlamına gelmektedir. Ancak bu, yapay zekanın (AI) kullanımı ve yardımı ile yakında değişecek gibi görünüyor.

Araştırmacılar, işaret dillerini otomatik ve sezgisel bir şekilde öğretme yazılımı üzerinde çalışıyor. Şu anda, bu araç bir öğrencinin İsviçre-Alman işaret dilinde bir işaretleme şeklini analiz edebilir ve el şekli, hareket, konum ve zamanlamanın nasıl iyileştirileceği hakkında ayrıntılı geri bildirimde bulunabilir. Dünyanın her yerinden çeşitli işaret dillerini öğretebilen bir yazılım oluşturmak için cihazın arkasındaki AI’yı kullanabilir ve cümle dilbilgisi ve iletişimin el dışındaki unsurları gibi dillerin daha karmaşık özelliklerini dikkate alabiliriz.

AI, daha önce işaret dilinin tanınması, çevirisi veya yorumlanması için kullanılmıştır. Ancak şimdi araştırmacılar, kullanıcıya yanlış yaptıkları hakkında geri bildirimde bulunmak için AI teknolojisini kullanmak istiyor.

İşaret dilini uygulamak ve değerlendirmek zordur, çünkü okuyamıyor veya yazamıyorsunuz. Bunun yerine araştırmacılar; bir bilgisayar oyunu geliştirdi. Bir işaret alıştırması yapmak için, oyun size yapılan işaretin bir videosunu gösterir veya size onu (veya her ikisini de) tanımlayacak en yakın konuşulan kelimeyi verir. Ardından, işareti bir video kamera kullanarak, yeniden oluşturma girişiminizi kaydeder ve nasıl daha iyi yapabileceğinizi gösterir. Araştırmacılar, bunu bir oyun haline getirmenin; insanları en iyi puanı almak ve yol boyunca ifadelerini  geliştirmek için rekabet etmeye teşvik ettiğini buldu.

Yapay zeka performans değerlendirmesinin tüm aşamalarında kullanılır. İlk olarak, katmanlı bir sinir ağı (CNN), videodan, üst bedeninizin pozuyla ilgili bilgileri çıkarır. Bir CNN; beyninizdeki görsel korteks tarafından yapılan işleme dayalı olan serbest bir AI türüdür. İskelet poz bilgileriniz ve orijinal video daha sonra el şekli analiz cihazına gönderilir, başka bir CNN videoya bakar ve videodaki her bir noktadaki el şekli bilgisini çıkarır.

İskelet bilgileri ve el şekilleri daha sonra Gizli Markov Modeli (HMM) adı verilen bir el hareketi analiz cihazına gönderilir. Bu tip AI, zaman içinde iskelet ve el şekli bilgilerinin modellenmesine izin verir. Daha sonra, gördüklerini işaretin mükemmel versiyonunu temsil eden bir referans modelle karşılaştırır ve ne kadar iyi eşleştiğine dair bir puan üretir. Hem el şekli analizcisinin hem de el hareket analizcisinin sonuçları puanlanır ve geri bildirim olarak size sunulur. Bu yüzden tüm AI, öğrenmeye odaklanmanızı sağlayan kullanımı kolay bir arayüzün arkasına gizlenmiştir. Araştırmacılar; otomatik, kişisel geri bildirimlerin öğrencileri ifade öğrenme süreciyle daha fazla meşgul etmesini sağlayacağını ummaktadır.

AI’yı Sınıfa Getirmek

Şimdiye kadar, yazılım sadece İsviçre-Alman işaret dili için çalıştı. Ancak araştırma, sistemin “mimarisinin” diğer dillerle başa çıkmak için değişmesi gerekmediğini gösteriyor. Sadece AI’nin eğitilmesi gerekmektedir; veri olarak hareket etmek için her dilin daha fazla video kaydına ihtiyacı vardır.

Araştırma alanı; AI’nın yeni dilleri öğrenmesine yardımcı olmak için bildiklerini nasıl kullanabileceğini gösteriyor. Araştırmacılar, yüz ifadeleri gibi işaret dilini kullanırken iletişimin diğer yönlerini nasıl ekleyebileceklerini de görmek istiyor.

Şu anda, yazılım sınıf gibi basit bir ortamda en iyi şekilde çalışmaktadır. Ancak, video görüntüsünün arka planı daha fazla çeşitliliği tolere etmek için geliştirilebilirse, bir uzman yardımı olmadan nerede olursanız olun bir dil öğrenmenize olanak tanıyan, birçok popüler uygulama gibi olabileceği değerlendiriliyor. Bu tür teknolojilerin gelişmesiyle; yakında işaret dilinin öğrenilmesi, herkesin rahat bir şekilde konuşması ve erişilebilir hale gelmesi mümkün olacaktır.

Kaynak:
TechXplore
Etiketler
1 Oy2 Oy3 Oy4 Oy5 Oy (4 oy verildi, Ortalama: 5 üzerinden 5,00 oy )
Loading...

Benzer Makaleler

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Close