Huawei AI’daki bir grup araştırmacı ve mühendis, işitme engelli çocukların, basılı kitapları yorumlamak için AI ve artırılmış gerçeklik kullanarak işaret dilini okumayı öğrenmelerine yardımcı olacak benzersiz bir yol buldu. Ayrıca, işitme engelli çocuklar okurken keyif alacaklar.
Uygulamanın çıkış noktası, birçok ebeveynin işitme engelli çocuklarına kitap okumaya çalışırken hissettikleri hüsranın bir yansımasıdır. Bu gibi durumlarda, işitme engelli bir ebeveyn, işitme engelli çocuğunu işitme bozukluğu olmayanlar için otomatik geçiş pasajı olan bir etkinliğe dahil etmeye çalışmaktadır. Bu sorunu çözmek için Huawei’deki araştırmacılar, bir çocuğun kitap okumasına yardım etmek için yapay zeka kullanma fikrini keşfettiler.
AI/AR sistemi, bir telefon veya tablet üzerinde çalışabilen StorySign adlı bir uygulamaya yerleştirilmiştir. Ebeveyn veya çocuk, telefonu sayfa üzerinde tutar ve metnin yanında bir avatar görüntülenir. Avatar, kelimeleri işaret yolu ile tercüme eder. Hikaye ilerledikçe, uygulama işaret edilen kelimeleri vurgular ve çocuğun, kelimeleri ifade etmek için kullanılan işarete bağlı olduğunu anlamasına yardımcı olur.
Araştırmacılar, çocukların ilişki kurabilecekleri bir avatar geliştirmek için önemli miktarda çalışma yaptıklarını bildirdiler. Star adında bir avatar yaratmak için Aardman Animations ile çalıştılar. Bu avatar, el hareketlerini sergilemekten daha fazlasını yapar; aynı zamanda duyguları iletmek için vücut ve yüz ifadeleri de kullanarak çocukların kitaptaki içeriğin bağlamsal doğasını anlamalarına yardımcı olur.
Uygulama, tümü Penguin Random House tarafından yayınlanmış belirli çocuk kitaplarını içermektedir..
Bu yazılım uygulaması, Avrupa İşitme Engelliler Birliği ve İngiliz İşitme Engelliler Derneği desteği ile geliştirilmiştir. 10 Avrupa ülkesinde 10 dilde Android ve Apple ürünleri için ücretsiz ve kullanılabilir. Geliştiriciler, uygulamaya olan ilginin artmasına bağlı olarak, daha fazla bölgede ve daha fazla dilde sunulacağını söylüyor.
