Polonya-Japon Bilişim Teknolojileri Akademisi ve Varşova Teknoloji Üniversitesi’ndeki araştırmacılar, duyguları sınıflandırmak ve görselleştirmek için derin bir hizalama ağı (DAN) modeli geliştirdiler. Yöntemlerinin, karşılaştırmalı iki veri kümesi üzerinde en son model duygu sınıflandırma teknolojilerinden daha iyi performans gösterdiği bulunmuştur.
İnsan duygularını tanıyan ve sınıflandıran modeller geliştirmek, makine öğrenimi ve bilgisayar görüşü alanında önemli bir sorundur. Çoğu mevcut duygu tanıma araçları, sınıflandırma aşamasında yüz özelliklerini açıkça çıkarmayan çok katmanlı konvolüsyon ağları kullanır..
Son çalışmayı yapan araştırmacılardan Ivona Tautkutè ve Tomasz Trzcinski, başlangıçta otonom araçlara entegre edilebilecek Kaliforniya merkezli bir başlangıç için bir sistem üzerinde çalışmışlardı. Bu sistem, araca monte edilen tek bir video kameradan çıkarılan verilere dayanarak yolcu saymayı başardı. Daha sonraki bir aşamada, iki araştırmacı; bundan daha fazlasını yapabilecek modelleri keşfetmeye başladı ve yaş ve cinsiyetlerini tahmin ederek yolcular hakkında daha geniş istatistikler oluşturdu. Bu sistemin bariz bir uzantısı da yüz ifadelerini ve duygularını tespit etmekti.
Tautkutè; “Sistem yaşlı yolcularla birlikte kullanıldığında; sürücünün devre dışı bırakılmasıyla ilgili olumsuz ve olumlu duygular yakalamak önemliydi. Duyguların tanınması için mevcut yaklaşımlar mükemmel olmaktan uzaktır, bu yüzden gelişmek için ilginç yeni yollar aramaya başladık. Derin hizalama ağı ile yüz hizalama üzerinde çalışan bir bilgisayar vizyonu araştırmacısı Marek Kowalski ile yapılan tartışmalardan sonra bir fikir geliştirdik (DAN). Yüzdeki işaretlerin yeri, ifade edilen duyguyla doğrudan ilişkilidir, bu yüzden bu iki görevi birleştirecek bir sistem yapıp yapamayacağımızı merak ettik. ”
Tautkutè ve Trzcinski tarafından tasarlanan model olan EmotionalDAN, yüz özellikleriyle ilgili bir terim içeren Kowalski’nin DAN modelinin bir uyarlamasıdır. Bu modifikasyon sayesinde modelleri, aynı anda hem yüz simgelerinin hem de ifade edilen duyguların yerini öğrenir.
Tautkutè, “Bunu, orijinal DAN’ın kayıp işlevini, duygu sınıflandırmasından sorumlu bir terim ile genişleterek başardık. Nöral ağ, yüz noktalarının ve öğrenilmiş duyguların arıtılmasına izin veren ardışık aşamalarda eğitilir. Ayrıca, normalleştirilmiş yüz girdisini, özellik haritasının ve yer işareti ısı haritasının kaydını tutan aşamalar arasında bilgi aktarımı da vardır.”
İlk değerlendirmede EmotionalDAN, en son sınıflandırma metodlarından olan CK + ve ISED yöntemlerini iki kıyaslama veri setinde %5 oranında geride bıraktı. Araştırmacılar ayrıca karar verirken modelleriyle analiz edilen görüntü bölgelerini görselleştirebildiler. Onların gözlemleri, EmotionalDAN’ın insanlarda duyguların ifadesiyle ilişkili yüz noktalarını doğru bir şekilde tanımlayabildiğini ortaya çıkardı.
Tautkutè; “Çalışmamız hakkında gerçekten ilginç olan şey, ağ ile ilgili herhangi bir duyguyla, mekansal bilgiyi beslemememizdir. Model kendi başına yüz ifadelerini anlamaya çalışırken, hangi yüz bölgelerine bakılması gerektiğini öğrenebilme yeteneğine sahiptir. Biz insanların gözlerine ve ağzına dikkat ederek, gülümsemeleri ya da üzüntülerini fark etmek için sezgisel olarak bakıyoruz. Ancak sinir ağı sadece bir piksel matrisini görüyor ve verilen sınıflandırma kararı için hangi görüntü bölgelerinin etkinleştirildiğini doğrulamak, modeli anlamak ve nasıl kararlar vermemiz gerektiğini belirlemede bizi bir adım daha yaklaştırıyor. ”
EmotionalDAN ve diğer duygu tanıma araçları tarafından elde edilen çok umut verici sonuçlara rağmen, insan duygularını anlamak çok karmaşık bir görev olmaya devam ediyor. Duygular önemli ölçüde ifade edildiğinde, mevcut sistemler olağanüstü sonuçlar elde edebilmiştir. Bununla birlikte, gerçek hayattaki durumlarda, genellikle insanlar tarafından ifade edilen duygusal işaretlerin çözümü çok daha zordur. Örneğin, bir insan mutluluğunu her zaman geniş bir gülümsemeyle tüm dişlerini göstererek bunu aktarmayabilir, sadece dudak kenarlarındaki hafif bir hareket de bunu ifade edebilir.
Tautkutè, “Duyguların daha öznel yönlerini ve bunların ifadelerinin bireyler arasında nasıl farklılaştığını anlamak gerçekten ilginç olurdu. Daha ileri gitmek için, sahte duyguları hakiki olanlardan ayırt etmeye çalışabiliriz. Örneğin, nörologlar, farklı yüz kaslarının gerçek ve sahte gülümsemelerle ilişkili olduğunu belirtiyorlar. Özellikle, göz kasları zorunlu ifadelerde kasılmaz. Veriden öğrenilen bilgileri kullanarak benzer ilişkileri keşfetmek ilginç olurdu… ”
