Son yıllarda, araştırmacılar yapay zeka (AI) ‘yı daha şeffaf hale getirmeye çalışıyor. Çünkü bu durum makinelere daha fazla güven duyulmasını ve insan-AI etkileşimlerini geliştirmesini sağlıyor. Çabalarına rağmen, bugüne kadar çok az sayıdaki çalışma, AI açıklamalarının insan-AI işbirliğini içeren görevlerde elde edilen performans üzerindeki etkisini somut bir şekilde değerlendirmiştir.
Mevcut literatürdeki bu boşluğu gidermek için; SRI International’daki bir araştırma ekibi, makine açıklamalarının yararlılığını değerlendirmede kullanılabilecek popüler 20 oyundan (20Q) esinlenerek, bir insan-AI görüntü tahmin oyunu yarattı. Son zamanlarda arXiv’de yayınlanan makaleleri, daha ‘açıklanabilir’ AI geliştirmenin etkilerini araştıran ilk çalışmalar arasındadır.
SRI International Bilgisayar Bilimcisi Arijit Ray: “Çalışma; DARPA projesi üzerinde çalışırken ortaya çıktı.
Bu projede, yalnızca istenen çıktıyı değil, (örneğin, nesne tespiti, soruların cevapları vb.) aynı zamanda bu çıktıya nasıl geldiklerini de açıklayan, açıklanabilir AI sistemleri geliştiriyoruz. AI’ler tarafından sağlanan ek açıklamalar; kullanıcının AI sistemlerini daha iyi anlayabilmesi için faydalı oldu. Bu amaçla, ünlü 20Q’nun (20 Question- 20 Soru) uyarlaması olan etkileşimli bir insan-AI ortak çalışma görevi olan Açıklama-Destekli GuessWhich (ExAG) oluşturduk. Oyun, geliştirmekte olduğumuz çeşitli makine açıklama tekniklerinin etkinliğini kanıtlar niteliğindedir.”
Ray ve meslektaşları tarafından geliştirilen görüntü tahmin oyunu; genellikle iki oyuncuyu içeren popüler 20 soru oyununa çok benziyor. 20Q’de, bir oyuncu bir şeyi düşünür ve ikinci oyuncu 20 kapalı uçlu soru sorarak ne olduğunu tahmin etmeye çalışır. Bunlar yalnızca ‘evet’ veya ‘hayır’ ile cevaplanabilen sorulardır.
ExAG’da Ray ve meslektaşları tarafından tasarlanan oyunun uyarlanması, bir kullanıcı AI sistemi tarafından ‘gizli görüntü’ olarak seçilmiş beş görüntü gösteriliyor. Temel olarak, kullanıcının gördüğü resimlerden hangisinin “gizli görüntü” olduğunu bulması ve bu konuda doğal dil soruları sorması gerekir.
Geleneksel 20Q oyununun aksine; ExAG’da insan kullanıcılar hem kapalı hem de açık uçlu sorular sorabilirler. Örneğin, ‘resimde ne var ?’ görüntü nerede çekildi?’ diye sorabilirler. AI sistemi bir kullanıcının sorularını birer birer cevaplar ve isteğe bağlı olarak cevaplarını açıklayabilir.
Bu cevaplara dayanarak, kullanıcı AI’nin seçtiği resmi tahmin etmeye çalışacaktır. Oyunun genel amacı; mümkün olduğunca az soru sorarak ‘gizli görseli’ doğru tanımlamaktır.
Ray: “AI sistemi, görsel ve metinsel olarak iki açıklama modu sunar. Görsel açıklamalar için, AI sistemi cevaplarını destekleyen bölgeleri vurgulayan ısı haritaları oluşturur. Örneğin, bir kullanıcı görüntüde ne olduğunu sorarsa ve bu görüntü bir köpeğe benziyorsa, AI köpek bölgesini vurgulayacak ve ceavbını ‘bu bir köpektir’ şeklinde verecekitir. Diğer yandan, metin açıklamaları için AI sistemi, görüntülerin her biri için ilgili sorulara cevaplar sağlar. Başka bir örnekle; bir kişinin ne yaptığını sorar yanıtının da sörf olduğunu varsayarsak, ‘Resimde ne görüyorum? Bir sörfçü….’ ‘Fotoğraf nerede çekiliyor? Bir plaj….’ gibi cevaplarla karşılaşırız.”
Görüntü tahmin etme oyununun doğası gereği; AI tarafından sağlanan cevapların ve açıklamaların kalitesi bir insanın başarısını ve performansını önemli ölçüde etkileyebilir. Görsel soru cevaplamadaki son teknoloji performansın yüzde 65 civarında olduğuna dikkat etmek önemlidir. Bu, AI sisteminin zamanın yüzde 65’inde doğru cevaplar ürettiği anlamına gelir.
Ray ve meslektaşları; kullanıcıların, özellikle cevapların yanlış olduğu durumlarda, AI açıklamalarından yararlanarak ExAG’da başarılı olduklarını gözlemledi. Örneğin, eğer ‘gizli resim’ bir köpeği canlandırıyorsa, ancak AI de ‘bu bir sörfçüdür’ cevabını veriyrsa; görsel bir açıklama bir insan kullanıcısının AI’nin hatasını fark etmesine yardımcı olabilir. Araştırmacılara göre bu, oyunlarının AI açıklamalarının yararlılığını değerlendirmek için uygun bir araç olduğunu kanıtlıyor.
Ray: “Bana göre, çalışmamızın en ilginç sonucu; kullanıcıların AI cevapları çoğunlukla yanlış olduğunda oyunları kazanmak için sadece birkaç iyi açıklama kullanabilecekleridir. Buna karşılık, benzer cevap doğruluğuna sahip, ancak açıklamaları olmayan oyunlar için kullanıcılar; AI tarafından oluşturulan cevaplara körü körüne güveniyor ve oyunu kaybediyorlar. Bu, özellikle AI sistemi olduğu zaman, bir insan-AI işbirliği sistemleri için birkaç iyi açıklamanın önemini destekliyor.”
Bu fikri daha iyi açıklamak için Ray; kendi kendini süren araçlara dikkat çekiyor. Geçtiğimiz birkaç yıl boyunca; taşıtlar test edilirken meydana gelen kazalar nedeniyle güvenlikleri hakkında çok fazla tartışma yapıldı. Ray’e göre; etkili AI açıklamaları, insan sürücülerin önceden sorunları tanımlamasına ve kazaları önlemesine izin vereceğinden, kendi kendine sürüş araçlarının güvenliğine daha fazla güvenilmesini teşvik edebilir.
Ray: “Örneğin, AI sisteminin şeritleri güvenilir şekilde tespit etmekte sorun yaşadığını varsayalım. Yol şu anda düz olduğu için, ek bilgi olmadan, kullanıcı AI’nin başarısız olup olmadığını söyleyemezdi. Bazı şüpheleri olsa bile, muhtemelen son ana kadar, arabanın ne yapacağına dair bir fikri yoktur. Örneğin; araç, bir dönüş yapmak zorundadır, yapamaz ve çarpar. Ayrıca, eğer arabadaki bir ekran AI’nin ısı haritaları gibi çevreyi nasıl algıladığına dair açıklamalar gösteriyorsa, kullanıcı AI’nin gizli hatası ve tekerleğin kontrolünü önceden ele geçirmiş olur. “
Araştırmacılar, yararlı açıklamaların, insan tahminlerinin görüntü tahmin etme oyunundaki performansını olumlu yönde etkilediğini tespit etti. Bulguları; en az bir ‘doğru’ açıklamanın olmasının, özellikle AI’nin kullanıcı sorularına verdiği yanıtların ‘gürültülü’ olduğu veya çok az tanımlandığı durumlarda önemli ölçüde yardımcı olduğunu göstermektedir. İlginç bir şekilde, oyuncular cevaplar üzerine açıklamalar için bir tercih geliştirdiler ve sıklıkla AI açıklamalarını ‘yardımcı’ olarak değerlendirdiler.
SRI International Kıdemli Teknik Yönetici Yi Yao: “Bir dizi sistemin bir AI sisteminin sonuçları veya eylemleri için açıklamalar sunmaya çalışmasına karşın; AI açıklamalarının etkinliğini değerlendirmek için ve insan-robot etkileşimlerini nasıl geliştirebileceği hakkında bir insan ve makine işbirliği görevi ortaya koyan ilk çalışma olduğunu düşünüyorum. “
Ray ve meslektaşları tarafından yürütülen çalışma; AI açıklamalarının yararlılığı konusunda somut kanıtlar sunan ilk çalışmalardan biridir. Araştırmacılar, araştırmalarının nihayetinde toplumda rasyonel hareket edebilecek AI sistemlerinin gelişimini ve böylece insanlarla daha iyi bağlantı kurup ilişki kurmasını sağlayacaklarını umuyor.
Ray’e göre; eylemlerinin arkasındaki gerekçeleri ve süreçleri açıkça açıklayabilen AI sistemleri; akıllı makinelerin geliştirilmesinde önemli bir adım olacaktır. Soruları etkin bir şekilde cevaplayarak ve kararlarını rasyonelleştirerek, bu sistemler AI’ye daha büyük bir güven duygusu ve bununla daha derin bir ilişki kurabilir.
Bugüne kadar, Ray ve meslektaşlarının çalışmaları, öncelikle, kullanıcılar, görüntüler ve AI cevapları hakkında sorular sordukları Görsel Soru Cevaplama (VQA) görevlerine odaklandı. Şimdi, bu teknikleri daha geniş bir AI görevleri kapsamına uygulayarak, AI açıklama teknikleri konusundaki araştırmalarına devam etmeyi planlıyorlar.
Ray: “AI tarafından oluşturulan açıklamaların daha ince ayrıntılara sahip olduğu etkinliğini değerlendirmek için, protokoller geliştirmeye devam edeceğiz. Örneğin, hangi senaryolarda hangi açıklama daha etkilidir? gibi…
Ayrıca farklı bakış açılarından bakmayı da sağlayabilirler. Örneğin açıklamalar zihinsel modelin oluşturulmasında yardımcı olabilir mi? gibi… Döngüyü kapatmak için, bu değerlendirmelerden öğrenilen dersleri daha etkili açıklama yöntemleri geliştirmek için kullanacağız. Açıklanabilir AI’nin Kutsal Kase’sinin yalnızca kullanıcıları bilgilendirmekle kalmayacak; aynı zamanda akıl yürütme yeteneğini de artırarak makine performansını iyileştirecek açıklamalar yapmak olduğuna inanıyoruz. “
AI açıklamalarının insan kullanıcılarının performansı ve algıları üzerindeki etkilerini araştırmanın yanı sıra, araştırmacılar; AI sistemleri üzerindeki etkilerini de araştırmak istiyorlar. AI açıklamalarının aynı zamanda AI sistemlerini kendiliğinden daha iyi hale getirebileceğini düşünüyor, çünkü bu şekilde; yavaş yavaş akıl yürütme ve rasyonalizasyon becerileri de kazanacaklar.
