İnsanlar; günlük görevlerini tamamlamak için mevcut olan her türlü duyusal veriden yararlanarak, görsel ve dokunsal uyaranları entegre etme konusunda doğuştan yeteneklidir.
Liverpool Üniversitesi‘ndeki araştırmacılar, son zamanlarda; iki duyudan birine doğrudan erişilemediği durumlarda hem görsel hem de dokunsal bilgilerin kopyalanmasına yardımcı olabilecek, çapraz modsal duyusal veriler üretmek için yeni bir sistem önerdiler. Örneğin, insanların ekrandaki nesneleri (örneğin, e-ticaret sitelerinde bulunan kıyafetleri) hem görsel olarak hem de dokunsal olarak algılamasına izin verebilir.
Araştırmacı Dr. Shan Luo: “Günlük deneyimlerimizde, bir yüzeyin dokusunu görmekten, dokunsal bir tepkiye dayanan nesnenin görselleştirmesini bilişsel olarak oluşturabiliriz. Bir duyunun uyarılmasının, diğer duyulardan bir veya daha fazlasında istemsiz bir reaksiyona neden olduğu, sinestezi adı verilen bu algısal fenomen; erişilemez bir algı oluşturmak için kullanılabilir.”
Luo tarafından açıklanan algısal fenomen tipik olarak bir algı kaynağı bulunmadığında ortaya çıkar. (Örneğin, bir torba içindeki nesneleri onları görmeden dokunmadan gibi..) Bu gibi durumlarda; insanlar diğer duyularını kullanarak, toplanan bilgilerle birlikte belirli bir duyu ile ilgili özellikleri yorumlayabilir. Makinelerde çoğaltılırsa, bu görsel dokunsal mekanizmanın özellikle robotik ve e-ticaret alanlarında birçok ilginç uygulaması olabilir.
Robotlar görsel ve dokunsal algıyı bütünleştirebilselerdi; kavrama ve manipülasyon stratejilerini birlikte çalıştıkları nesnelerin görsel özelliklerine (örneğin şekil, boyut vb.) dayanarak, daha etkili bir şekilde planlayabilirlerdi. Başka bir deyişle, robotlar; nesnelerin genel dokunma özelliklerini kameralar tarafından toplanan görsel bilgileri kullanarak, kavramadan önce algılar. Diğer yandan; kameranın görüş alanı dışındaki bir nesneyi kavrarken, mevcut görsel bilgi eksikliğini gidermek için dokunsal benzeri tepkiler kullanırlardı.
Henüz geliştirilmemiş dokunsal bir cihazla eşleştirilirse, Dr. Luo ve ekibi tarafından önerilen çalışma, örneğin müşterilerin satın almadan önce kıyafetin dokusunu hissetmelerini sağlamak için e-ticarette de kullanılabilir. Araştırmacılar; bu uygulama akılda tutularak, dokunsal verileri kullanıp ters görsel görüntüler üretmek için (görsel verileri kullanarak dokunsal çıktıları), koşullu üretken ters ağları kullandılar.
Dr. Luo: “Çevrimiçi pazarlarda, müşteriler kıyafetlerin veya diğer öğelerin resimlerini görüntüleyerek, alışveriş yapıyorlar. Ancak, malzemelerini hissetmek için bu öğelere dokunamıyorlar. Makalemizde önerilen çapraz modüler duyusal veri üretme şeması, e-ticaret müşterilerinin daha bilinçli seçimler yapmalarına yardımcı olabilir.”
Luo ve meslektaşları, modellerini 100 farklı kumaş türünde makro görüntüleri ve dokunsal okumaları (GelSight sensörü kullanılarak yakalanan) içeren VITac Veri Seti’nde değerlendirdi. Diğerlerinin verilerini kullanarak, bir duyu için duyusal çıktıları etkili bir şekilde tahmin edebileceğini buldular.
Dr. Luo: “Doku algısını bir örnek olarak alıyoruz: Kumaş dokusunun görsel girdi görüntüleri, aynı kumaş parçasının sözde dokunsal bir okumasını üretmek için kullanılır. Bunun yerine, aynı kumaşın görsel bir görüntüsünü tahmin etmek için kumaşın dokunsal okumaları kullanılır. Kumaşların dokuları, yani iplik dağıtım desenleri, görsel bir görüntü ve basınç dağılımı (yani dokunsal) okumasında benzer şekilde görünür. Bununla birlikte, bu çalışma; algı için çapraz model görsel dokunsal veri üretimi elde etmek için de genişletilebilir.”
Luo ve meslektaşları tarafından yürütülen çalışma, buna göre, dokunsal veya görsel bilgi yokluğunda, farklı kumaşlar için gerçekçi dokunsal ve görsel desenler üretme konusunda kayda değer sonuçlar elde etti. Araştırmacılar, çerçevelerini ve görsel verileri kullanarak kumaşların dokunsal öğelerini başarılı bir şekilde “kopyaladı.”
Luo: “Bu çalışma, diğer yöntemler için çapraz modele dayalı veri üretimine de genişletilebilen, robotik çapraz modlu görsel-dokunsal veri üretimini gerçekleştirmeye yönelik ilk girişimdir.”
Gelecekte, Dr. Luo ve meslektaşları tarafından önerilen çerçeve, robotlardaki tutma ve manipülasyon stratejilerini ve çevrimiçi alışveriş deneyimlerini geliştirmek için kullanılabilir. Metodları ayrıca, başka türlü erişilemeyecek olan duyusal veriler üreterek, sınıflandırma görevleri için veri setlerini genişletmek için de kullanılabilir.
Luo: “Gelecekteki araştırmalarda, gerçek dünya ortamında görsel ve dokunsal sınıflandırma gibi görünüşte değişen nesnelerle (örneğin şekil, renk vb.) bir dizi farklı işe uygulanmaya çalışacağız. Ayrıca, önerilen görsel dokunsal veri oluşturma yöntemi, kavrama ve manipülasyon gibi robotik görevleri kolaylaştırmak için kullanılacaktır.”
