Kanadalı Yazar Margaret Atwood’un The Blind Assassin (Kör Suikastçi) adlı kitabında, “Dokunuş; görme duyusundan ve konuşma duyusundan önce gelir. İlk dil; her zaman doğruyu söyler” diyor. Dokunma duyumuz bize fiziksel dünyayı hissetmek için bir kanal verirken, gözlerimiz bu dokunsal sinyallerin tam resmini hemen anlamamıza yardımcı olur.
Görmek veya hissetmek için programlanmış olan robotlar; bu sinyalleri birbirinin yerine kullanamayacak şekilde çalışırlar. Bu duyusal açığı daha iyi bir şekilde köprülemek için, MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’ndan (CSAIL) araştırmacılar; dokunarak görmeyi ve görerek öğrenmeyi öğrenebilen bir “tahmin edici yapay zeka” (AI) geliştirdiler.
Ekibin sistemi görsel girdilerden gerçekçi dokunsal sinyaller oluşturabilir ve hangi nesneye veya hangi kısma dokunsal girdilerden doğrudan dokunulduğunu tahmin edebilir. Bunun için MIT’de başka bir grup tarafından tasarlanan GelSight adlı özel bir dokunsal sensöre sahip bir KUKA robot kolu kullandılar.
Basit bir web kamerası kullanarak ekip; araçlar, ev ürünleri, kumaşlar v.b yaklaşık 200 nesneye, 12.000’den fazla “dokundu.” Bu 12.000 video klibi statik çerçevelere bölen ekip; 3 milyondan fazla görsel / dokunsal eşleştirilmiş görüntünün veri kümesi olan “VisGel”i derledi.
CSAIL Ph.D. Yunzhu Li: “Sahneye bakarak, modelimiz düz bir yüzeye veya keskin bir kenara dokunma hissini hayal edebiliyor. Etrafımıza kör bir şekilde dokunarak, modelimiz çevre ile etkileşimi yalnızca dokunsal duygulardan tahmin edebilir. Bu iki duyuyu bir araya getirmek, robotu güçlendirebilir ve nesneleri manipüle etmek ve kavramakla ilgili işler için ihtiyaç duyabileceğimiz verileri azaltabilir.”
Robotları daha fazla insan benzeri fiziksel duyu ile donatmak için yapılan son çalışma; örneğin sesleri görsel olarak göstermek için derin öğrenme kullanan MIT 2016 Projesi ya da nesnelerin fiziksel güçlere verdikleri yanıtları öngören bir model gibi, her ikisi de etkileşimleri anlamak için mevcut olmayan büyük veri setlerini kullanıyor.
Takımın tekniği; VisGel veri setini ve Üretici Rakip Ağlar (GAN) adı verilen bir şeyi kullanarak, bu sorunu çözüyor.
GAN’lar; diğer modda görüntüler oluşturmak için görsel veya dokunsal görüntüler kullanır. Jeneratörün ayrımcıyı kandırmak için gerçek görünümlü görüntüler oluşturmayı amaçladığı, birbirleriyle rekabet eden bir “jeneratör” ve “ayrımcı” kullanarak çalışırlar. Ayrımcı; jeneratörü her “yakaladığında”, jeneratörün kendisini tekrar tekrar geliştirmesine olanak tanıyan karar için, “içsel akıl yürütmeyi” ortaya koymak zorundadır.
Dokunma vizyonu
İnsanlar; bir nesnenin sadece onu görerek nasıl hissettiğini anlayabilir. Makinelere bu gücü daha iyi verebilmek için, sistem önce dokunuşun konumunu bulmak zorunda kaldı, sonra da bölgenin şekli ve hissi hakkında bilgi verdi.
Referans görüntüler; (herhangi bir robot-nesne etkileşimi olmadan) sistemin nesneler ve çevre hakkındaki ayrıntıları kodlamasına yardımcı oldu. Böylece, robot kol çalışırken; model mevcut çerçeveyi referans görüntüsü ile basitçe karşılaştırabilir ve dokunuşun yerini ve ölçeğini kolayca tanımlayabilir.
Bu; sisteme bir bilgisayar faresinin görüntüsünü beslemek ve daha sonra modelin nesneye alım için dokunulması gerektiğini öngördüğü alanı “görmek” gibi bir şeye benzeyebilir. Bu şekilde makinelerin daha güvenli ve daha verimli eylemler planlamasına büyük ölçüde yardımcı olabilir.
Vizyona dokunma
Vizyon dokunuşunda amaç; dokunsal verilere dayanan görsel bir görüntü üretmektir.
Model; dokunsal bir görüntüyü analiz etti ve sonra temas pozisyonunun şeklini ve malzemesini buldu. Daha sonra “halüsinatif” etkileşim için referans resme geri döndü.
Örneğin, test sırasında model; bir ayakkabı üzerinde dokunsal verilerle beslenirse, o ayakkabının en çok dokunulması gereken yerin görüntüsünü oluşturabilir.
Bu tür bir yetenek; ışık kapalıyken veya kişinin bilinmeyen bir alana kör bir şekilde ulaştığı durumlarda olduğu gibi, görsel verilerin olmadığı durumlarda da görevlerin yerine getirilmesinde yardımcı olabilir.
İleriye bakmak
Geçerli veri kümesinde, yalnızca kontrollü bir ortamda etkileşim örnekleri vardır. Ekip; bunu daha yapılandırılmamış alanlarda veri toplayarak veya veri setinin boyutunu ve çeşitliliğini daha iyi artırmak için MIT tarafından tasarlanmış yeni bir dokunsal eldiven kullanarak geliştirmeyi umuyor.
Bir nesneye dokunmadan ne kadar yumuşak olduğunu söylemek gibi, değiştirme modlarından çıkması zor olabilir. Araştırmacılar; olası sonuçların dağılımını genişletmek ve belirsizliği kaldırmak için daha güçlü modeller oluşturarak, bunun iyileştirilebileceğini söylüyorlar.
Gelecekte, bu tür bir model; vizyon ve robotik arasında daha uyumlu bir ilişki kurmaya yardımcı olabilir.
