NVIDIA, Washington Üniversitesi, Stanford Üniversitesi ve Illinois Üniversitesi Urbana-Champaign’daki araştırmacılar; son zamanlarda PoseRBPF adı verilen 6D poz takibi için Rao-Blackwellized Parçacık Filtresi geliştirdiler. Yaklaşım, bir nesnenin 3D çevirisini ve 3D döndürme üzerindeki tam dağılımını etkin bir şekilde tahmin edebilir. ArXiv’de önceden yayınlanan bu filtreyi tanımlayan makale; Almanya’nın Freiburg kentinde yapılacak olan Robotik Bilim ve Sistemler Konferansı’nda sunulacak.
Videolardaki nesnelerin 6D pozlarının izlenmesi; manipülasyon ve gezinme görevleri dahil olmak üzere çeşitli görevlerde robotların performansını artırabilir. Nesne pozu tahmini için mevcut tekniklerin çoğu; her kamera karesinde bir nesnenin 6D pozu (yani xyz çevirisi ve 3D yönü) için tek bir tahmin öngörmeye çalışmaktadır.
Bu yöntemlerin bazı sınırlamaları ve problemleri vardır. Örneğin; kısmen veya tamamen tıkalı nesnelerin pozunu söyleyememektedirler. Dahası, simetriler nedeniyle; bir nesneyi ortaya koymak için tek bir doğru cevabın olmadığı, görevi daha da karmaşıklaştıran durumlar da vardır.
Araştırmacı Arsalan Mousavian: “Günlük ortamlarımızdaki birçok nesnenin yemek tabağı, kaseler, şişeler veya küpler gibi simetrik olduğu ortaya çıktı. Bu nesnelerin benzersiz bir 3D yönü yok. Çünkü birçok farklı bakış açısıyla aynı görünüyorlar. Bu sorunları aşmak ve bir nesnenin pozunun tam dağılımını izlemek için; (tek poz tahmininin aksine) bir yöntem önerdik. Bu dağıtım; nesnenin pozundaki belirsizliği doğru bir şekilde yakalar ve zaman içerisinde takip etmek, nesnenin pozunu belirsizleştirmeye yardımcı olur.”
Mousavian ve meslektaşları tarafından geliştirilen bir yaklaşım olan PoseRBPF; belirli bir kamerayla ilgili olarak, belirli bir nesnenin 6Dpozu (yani 3D çevirisi, 3D yönü) üzerindeki tam dağılımını izleyebilir. 6D’nin uzayda olasılık dağılımları oldukça karmaşıktır. Bu nedenle doğru şekilde ölçülmezse gerçek zamanlı olarak güncellemek mümkün değildir. İzlenen dağılımların doğruluğunu sağlamak için araştırmacılar; 3 boyutlu nesne çevirisi ve 3 boyutlu nesne yönelimi tahminlerini Rao-Blackwellized Partikül Filtresi adı verilen bir teknik kullanarak ayırdılar.
Mousavian: “Rao-Blackwellized partikül filtresinde, nesne çevirileri örnekler veya partiküller ile temsil edilir ve oryantasyon; 200.000 muhtemel oryantasyona yakın küçük parçalara ayrılır. Nesnenin tüm bu oryantasyonlarda ve keyfi aydınlatma koşullarında nasıl görünebileceğini temsil eden yerleştirmeleri önceden hesaplamak için derin bir öğrenme tekniği kullandık. Son derece paralel NVIDIA GPU işlemesi avantajından yararlanarak , yaklaşımımız mevcut kamera görüntüsünü bunlarla karşılaştırabilir.”
Her adımda, araştırmacılar tarafından tasarlanan yaklaşım; nesnenin ve kameranın bir adımdan diğerine nasıl hareket edebileceğini öngören bir modeli izleyerek ve önceki parçacık grubundan örnekleme yaparak parçacık kümesini güncellemektedir. Bu işlem; PoseRBPF’nin zaman içinde bilgi biriktirmesini sağlar. Bu da daha sağlam ve doğru poz tahminleri sağlar.
Tercüme yönelimi tahminine göre, Mousavian ve meslektaşları tarafından önerilen izleme sistemi; 6 boyutlu nesne pozlarının alanı üzerindeki karmaşık belirsizlik dağılımlarını etkin bir şekilde gösterebilir. Çerçeveleri ayrıca; belirli bir nesnenin pozuyla ilgili belirsiz bilgi sağlar ve bunlar robot manipülasyon görevlerinde özellikle yararlı olabilir. Dahası; sistem sentetik ve açıklamalı olmayan veriler kullanılarak eğitildi, böylece araştırmacılara açıklayıcı verilerde harcanan zaman ve kaynakları koruyabilir.
Mousavian: “Yöntemimiz parçacık filtrelemenin klasik Bayesian tahmin çerçevesini derin öğrenme ile birleştiriyor. Böylece, son on yılda geliştirilen iyi belirlenmiş tahmin tekniklerini ve son derin öğrenme yaklaşımlarının gücünü bir araya getiriyor. Sonuç olarak, PoseRBPF; simetrik olanlar da dahil olmak üzere rasgele nesnelerin pozlarını sağlam bir şekilde tahmin edebilir.”
Araştırmacılar, iki 6D poz tahmin veri setine yaklaşımlarını değerlendirdi: YCB video veri seti ve T-LESS veri seti… PoseRBPF; diğer poz tahmin tekniklerinden daha iyi performans gösteren en gelişmiş sonuçları elde etti. Gelecekte; Mousavian ve meslektaşları tarafından geliştirilen parçacık filtresi; örneğin nesnelerin manipülasyon yeteneklerini artırarak, çeşitli ortamlarda robotların performansını artırabilir.
