Model; otonom sistemlerin gerçek dünyada tehlikeli hatalara neden olabilecek örneklerden öğrendiği durumları tanımlar.
MIT ve Microsoft araştırmacıları tarafından geliştirilen yeni bir model; özerk sistemlerin gerçek dünyada olanlarla eşleşmeyen eğitim örneklerinden “öğrendiği” örnekleri belirler. Mühendisler bu modeli, sürücüsüz araçlar ve otonom robotlar gibi yapay zeka sistemlerinin güvenliğini artırmak için kullanabilirler.
Örneğin; şoförsüz arabalara güç sağlayan AI sistemleri, aracı neredeyse yoldaki her olaya hazırlamak için sanal simülasyonlarda kapsamlı bir şekilde eğitiliyor. Ancak bazen otomobil gerçek dünyada beklenmedik bir hata yapabiliyor. Bunun sebebi; otomobilin davranışını değiştirmesi gereken ancak bunu uygulamadığı durumların oluşması…
Arabaları ayırt etmesi öğretilmemiş bir makine; yolda karşılaştığı örneğin yanıp sönen bi ambulansa, herhangi bir araca büyük beyaz bir araç gibi davranıp, ona yol vermesi gerektiğini algılayamaz. Dolayısıyla buna dair gerekli sensörlere sahip olmadığından trafikte yavaşlayacağını bilemez.
Yapay Zeka Konferansı’nda sunulan bildiride, araştırmacılar; bu eğitimi “ ‘Kör Noktaları’ ortaya çıkarmak için insan girdisini kullanan, bir model” olarak tarif ediyor.
Geleneksel yaklaşımlarda olduğu gibi; araştırmacılar simülasyon eğitimi yoluyla bir AI sistemi oluşturdular. Ancak bu şekilde; bir insan sistemin gerçeklerini etkilediği gibi eylemlerini yakından takip eder. Sistem yapıldığında veya hata yapmak üzereyken geri bildirimde bulunur. Araştırmacılar; daha sonra eğitim verilerini insan geri bildirim verileriyle birleştirdiler. Sistemin daha doğru bir şekilde nasıl hareket edileceği hakkında, daha fazla bilgiye ihtiyaç duydukları durumları belirleyen bir model üretmek için; makine öğrenme tekniklerini kullanır.
Araştırmacılar, video oyunlarını kullanarak yöntemlerini doğruladılar: Simüle edilmiş bir insan, ekrandaki bir karakterin öğrenilmiş yolunu düzeltti. Fakat bir sonraki adım, modeli özerk otomobiller ve insan geri bildirimi olan robotlar için geleneksel eğitim ve test yaklaşımlarıyla birleştirmek olacaktı.
Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı Yüksek Lisans Öğrencisi Ramya Ramakrishnan: “Model, otonom sistemlerin bilmediklerini daha iyi öğrenmesine yardımcı oluyor. Çoğu zaman, bu sistemler devreye girdiğinde; eğitilmiş simülasyonları, gerçek dünya ortamına uymuyor. Kazaya karışmak gibi hatalar yapabilirler. Fikir, simülasyonla gerçek dünya arasındaki boşluğu güvenli bir şekilde köprülemek için insanları kullanmaktır, bu yüzden bu hataları azaltabiliriz.”
Geri Bildirim Almak
Bazı geleneksel eğitim yöntemleri; gerçek dünya test çalışmaları sırasında insan geri bildirimi sağlar. Ancak sadece sistemin eylemlerini günceller. Bu yaklaşımlar; gerçek dünyada daha güvenli uygulama için faydalı olabilecek kör noktaları tanımlamaz.
Araştırmacıların yaklaşımı ilk önce simülasyon sistemini kullanarak, bir AI sistemi koyar. Burada her durumu esasen simülasyonlarda yapabilecekleri en iyi eylemle eşleştiren bir “politika” oluşturur. Daha sonra, sistem; insanların eylemlerinin kabul edilemez olduğu bölgelerde, hata sinyalleri verdiği gerçek dünyada konuşlandırılacak şekilde ayarlanır.
İnsanlar “kanıtlar” ve “düzeltmeler” gibi birçok yolla veri sağlayabilirler. Kanıtlarda, insan gerçek dünyada hareket ederken, sistem insanın eylemlerini bu durumda yapabileceklerini gözlemler ve karşılaştırır. Örneğin, otonom araçlar için, bir insan; arabayı manuel olarak kontrol ederken, planlanan davranışı insan davranışından saptığında sistem bir sinyal verir. İnsanın eylemleriyle uyuşan eşleşmeler ve uyuşmazlıklar; sistemin kabul edilebilir veya kabul edilemez bir şekilde hareket ettiğini gösteren göstergeler sağlar.
Alternatif olarak, insan; sistemi gerçek dünyada hareket ederken, düzeltmeler de sağlayabilir. Bir insan sürücü koltuğuna oturabilirken; otonom araba ise planlanan rotası boyunca kendini sürmektedir. Arabanın hareketleri doğruysa; insan hiçbir şey yapmaz. Ancak, otomobilin hareketleri yanlışsa; insan tekerleği alabilir ve bu da sistemin bu özel durumda kabul edilemez bir şekilde hareket etmediğinin bir sinyalini gönderir.
İnsandan gelen geri bildirim verileri derlendiğinde; sistem esasen bir durum listesine sahiptir. Her durum için; eylemlerinin kabul edilebilir veya kabul edilemez olduğunu söyleyen birçok etiket vardır. Tek bir durum birçok farklı sinyal alabilir. Çünkü sistem birçok durumu aynı olarak algılar. Örneğin, otonom bir araba; yavaşlamadan ve çekmeden birçok kez büyük bir arabanın yanına sürülmüş olabilir. Ancak; sadece bir örnekte, sistemde tamamen aynı görünen bir ambulans seyahat ediyor. Otonom otomobil, ambulansı farklı algılamayaıp, kenara çekmiyor ve sistemin kabul edilemez bir işlem yaptığını bildiren bir geri bildirim sinyali alıyor.
Ramakrishnan: “Bu noktada, sisteme bir insandan çok çelişkili sinyaller verildi: Bazılarının yanında büyük bir araba vardı ve biri olumlu, biri de ambulansın olduğu bir yerde olumsuz sinyaldi… Sistem yanlış bir şey yaptığını not ediyor, fakat nedenini bilmiyor. Temsilci tüm bu çelişkili sinyalleri aldığından, bir sonraki adım sormak için bilgiyi derliyor. İşte sistem bu kadar karışık sinyaller alıyor.”
Akıllı Toplama
Son amaç; bu belirsiz durumların kör noktalar olarak etiketlenmesidir. Ancak bu, her durum için kabul edilebilir ve kabul edilemez eylemlerin basitçe anlatılmasının ötesine geçer. Örneğin ambulans durumunda sistem 10’dan 9’a kadar doğru eylemler gerçekleştirirse, örneğin basit çoğunluk oylaması gerçekleşirse, bu durumu güvenli olarak nitelendiriyor.
Ramakrishnan: “Ancak kabul edilemez eylemler kabul edilebilir eylemlerden çok daha nadir olduğundan, sistem sonunda tüm durumları güvenli olarak tahmin etmeyi öğrenecek, bu da son derece tehlikeli olabilir”
Bu amaçla, araştırmacılar; etiket trafiğini işlemek için genellikle kitle kaynak kullanımında kullanılan bir makine öğrenme yöntemi olan Dawid-Skene Algoritması’nı kullandılar. Algoritma, her biri bir dizi gürültülü “kabul edilebilir” ve “kabul edilemez” etiketlere sahip durumların bir listesini alır. Daha sonra tüm verileri toplar ve öngörülen kör noktaların etiketlerindeki kalıpları ve öngörülen güvenli durumlar için kalıpları tanımlamak için bazı olasılık hesaplamaları kullanır. Bu bilgiyi kullanarak; her bir durum için o etiketteki güven düzeyinin yanı sıra tek bir toplu “güvenli” veya “kör nokta” etiketi çıkarır. Özellikle, algoritma; örneğin zamanın % 90’ının kabul edilebilir bir şekilde gerçekleştirilmiş olabileceği bir durumda; durumun “kör bir nokta”sını hak edecek kadar belirsiz olduğunu öğrenebilir.
Sonunda, algoritma; sistemin orijinal eğitiminden her duruma, sistem için kör nokta olma olasılığının düşük/yüksek bir olasılıkla atandığı bir tür “Isı Haritası” üretmektedir.
Ramakrishnan: “Sistem gerçek dünyaya yerleştirildiğinde, bu öğrenilmiş modeli daha temkinli ve akıllı davranmak için kullanabilir. Öğrenilen model; bir durumun yüksek olasılıkla kör bir nokta olacağını öngörüyorsa, sistem bir insanı kabul edilebilir eylem için sorgulayabilir ve daha güvenli uygulama yapılmasına izin verebilir.”
