Yeni bir teknik, bir makine öğrenimi modelinin akıl yürütmesini bir insanınkiyle karşılaştırır. Böylece kullanıcı modelin davranışındaki kalıpları görebilir. Makine öğreniminde, bir modelin neden belirli kararlar verdiğini anlamak; genellikle bu kararların doğru olup olmadığı kadar önemlidir. Örneğin, bir makine öğrenimi modeli, bir cilt lezyonunun kanserli olduğunu doğru bir şekilde tahmin edebilir. Ancak bunu klinik bir fotoğrafta alakasız bir işaret kullanarak yapabilirdi. Uzmanların bir modelin muhakemesini anlamalarına yardımcı olacak araçlar mevcut olsa da, çoğu zaman bu yöntemler aynı anda yalnızca bir karar hakkında fikir verir ve her birinin manuel olarak değerlendirilmesi gerekir. Modeller genellikle milyonlarca veri girişi kullanılarak eğitilir, bu da bir insanın kalıpları tanımlamak için yeterli kararı değerlendirmesini neredeyse imkansız hale getirir.
MIT ve IBM Research’teki araştırmacılar; bir makine öğrenimi modelinin davranışını, hızlı bir şekilde analiz etmek için, bir kullanıcının bu bireysel açıklamaları toplamasını ve sıralamasını sağlayan bir yöntem oluşturdu. Shared Interest adı verilen teknikleri, bir modelin akıl yürütmesinin bir insanınkiyle ne kadar iyi eşleştiğini karşılaştıran ölçülebilir boyutlar içerir. Shared Interest, kullanıcının bir modelin karar verme sürecindeki ilgili eğilimleri kolayca ortaya çıkarmasına yardımcı olabilir. Örneğin, fotoğraflardaki arka plan nesneleri gibi dikkat dağıtıcı, alakasız özellikler nedeniyle modelin kafası sık sık karışabilir. Bu içgörüleri toplamak; kullanıcının bir modelin güvenilir ve gerçek dünya durumunda uygulanmaya hazır olup olmadığını hızlı ve nicel olarak belirlemesine yardımcı olabilir.
Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) Visualization Group Araştırmacı Angie Boggust: ” Visualization Group’u geliştirirken hedefimiz; modelinizin davranışının ne olduğunu daha küresel düzeyde anlayabilmeniz için bu analiz sürecini ölçeklendirebilmektir”
Boggust, makaleyi, her ikisi de IBM Research’ten olan Benjamin Hoover ve kıdemli yazar Hendrik Strobelt’in yanı sıra, Visualization Group’a liderlik eden bilgisayar bilimleri yardımcı doçenti danışmanı Arvind Satyanarayan ile birlikte yazdı. Bildiri, the Conference on Human Factors in Computing Systems ‘da sunulacaktır.
İnsan-AI Hizalaması
Shared Interest, bir makine öğrenimi modelinin belirginlik yöntemleri olarak bilinen belirli bir kararı nasıl verdiğini gösteren popüler tekniklerden yararlanır. Model görüntüleri sınıflandırıyorsa; belirginlik yöntemleri, karar verirken model için önemli olan bir görüntünün alanlarını vurgular. Bu alanlar; genellikle orijinal görüntünün üzerine yerleştirilmiş, heatmap adı verilen bir tür ısı haritası olarak görselleştirilir. Model; görüntüyü bir köpek olarak sınıflandırdıysa ve köpeğin kafası vurgulandıysa, bu; görüntünün bir köpek içerdiğine karar verdiğinde, model için bu piksellerin önemli olduğu anlamına gelir. Shared Interest, belirginlik yöntemlerini temel gerçek verileriyle karşılaştırarak çalışır. Bir görüntü veri setinde; yer gerçeği verileri, tipik olarak, her görüntünün ilgili kısımlarını çevreleyen, insan tarafından oluşturulan ek açıklamalardır. Önceki örnekte; kutu, fotoğraftaki tüm köpeği çevreliyordu. Bir görüntü sınıflandırma modelini değerlendirirken, Shared Interest, ne kadar iyi hizalandıklarını görmek için aynı görüntü için model tarafından oluşturulan belirginlik verilerini ve insan tarafından oluşturulan yer gerçeği verilerini karşılaştırır. Teknik; bu hizalamayı (veya yanlış hizalamayı) ölçmek için birkaç metrik kullanır ve ardından belirli bir kararı sekiz kategoriden birine ayırır. Kategoriler; mükemmel human-aligned (model doğru bir tahminde bulunur ve belirginlik haritasındaki vurgulanan alan insan tarafından oluşturulan kutuyla aynıdır) tamamen dikkati dağılmışa (model yanlış bir tahmin yapar ve herhangi bir görüntü kullanmaz.) kayar.
Araştırmacı Boggust: “Spekturumun bir ucunda; modeliniz bir insanın verdiği kararla aynı nedenle karar verdi ve spektrumun diğer ucunda ise; modeliniz ve insan bu kararı tamamen farklı nedenlerle veriyor. Bunu, veri kümenizdeki tüm görüntüler için nicelleştirerek; bu nicelemeyi onları sıralamak için kullanabilirsiniz.”
Teknik, görüntü bölgeleri yerine anahtar kelimelerin vurgulandığı metin tabanlı verilerle benzer şekilde çalışır.
Hızlı Analiz
Araştırmacılar, Shared Interest’in hem uzman olmayanlar hem de makine öğrenimi araştırmacıları için nasıl yararlı olabileceğini göstermek için üç vaka çalışması kullandılar.
İlk vaka çalışmasında; bir dermatoloğun, cilt lezyonlarının fotoğraflarından kanseri teşhis etmeye yardımcı olmak için tasarlanmış bir makine öğrenimi modeline güvenip güvenmeyeceğini belirlemesine yardımcı olmak için Shared Interest’i kullandılar. Shared Interest; dermatoloğun modelin doğru ve yanlış tahminlerinin örneklerini hızla görmesini sağladı. Sonunda dermatolog, gerçek lezyonlardan ziyade görüntü artefaktlarına dayalı çok fazla tahminde bulunduğu için modele güvenemeyeceğine karar verdi.
Araştırmacı Boggust: “Buradaki değer, Shared Interest’i kullanarak, bu kalıpların modelimizin davranışında ortaya çıktığını görebiliyoruz. Yaklaşık yarım saat içinde dermatolog, modele güvenip güvenmeme ve dağıtma konusunda kendinden emin bir karar verebildi.”
İkinci vaka çalışmasında, Shared Interest’in modelde önceden bilinmeyen tuzakları ortaya çıkararak belirli bir belirginlik yöntemini nasıl değerlendirebileceğini göstermek için, bir makine öğrenimi araştırmacısıyla çalıştılar. Teknikleri; araştırmacının, tipik manuel yöntemlerin gerektirdiği zamanın çok küçük bir bölümünde binlerce doğru ve yanlış kararı analiz etmesini sağladı.
Üçüncü vaka çalışmasında, belirli bir görüntü sınıflandırma örneğinde daha derine inmek için Shared Interest’i kullandılar. Görüntünün yer gerçeği alanını manipüle ederek, belirli tahminlerde hangi görüntü özelliklerinin en önemli olduğunu görmek için bir olasılık analizi yapabildiler.
Araştırmacılar, Shared Interest’in bu vaka incelemelerinde ne kadar iyi performans gösterdiğini gördüler. Ancak Boggust; tekniğin yalnızca dayandığı belirginlik yöntemleri kadar iyi olduğu konusunda uyarıyor. Bu teknikler önyargı içeriyorsa veya yanlışsa; Shared Interest bu sınırlamaları devralır.
Gelecekte, araştırmacılar; özellikle tıbbi kayıtlarda kullanılan tablo verileri olmak üzere farklı veri türlerine Shared Interest uygulamak istiyor. Ayrıca, mevcut belirginlik tekniklerini geliştirmeye yardımcı olmak için Shared Interest’i kullanmak istiyorlar. Boggust, bu araştırmanın makine öğrenimi modeli davranışını insanlar için anlamlı olacak şekilde nicelleştirmeye çalışan daha fazla çalışmaya ilham vermesini umuyor.
Bu çalışma kısmen MIT-IBM Watson AI Lab, Birleşik Devletler Hava Kuvvetleri Araştırma Laboratuvarı ve Birleşik Devletler Hava Kuvvetleri Yapay Zeka Hızlandırıcısı tarafından finanse edilmektedir.
