Etkileşimli araç, kullanıcıların otomatik model aramalarının nasıl çalıştığını görmelerini ve denetlemelerini sağlar.
MIT araştırmacıları, ilk kez kullanıcıların otomatik makine öğrenme sistemlerinin nasıl çalıştığını görmelerini ve kontrol etmelerini sağlayan etkileşimli bir araç geliştirdiler. Amaç, bu sistemlerde güven oluşturmak ve bunları geliştirmenin yollarını bulmaktır.
Görüntü sınıflandırma; hastalık teşhisi ve borsa tahmini gibi belirli bir görev için bir makine öğrenme modeli tasarlamak zor ve zaman alıcı bir süreçtir. Uzmanlar öncelikle modeli oluşturmak için birçok farklı algoritma arasından seçim yapıyor. Daha sonra, model eğitime başlamadan önce modelin genel yapısını belirleyen “hiperparametreleri” elle ayarlıyorlar.
Son zamanlarda geliştirilen otomatik makine öğrenme (AutoML) sistemleri algoritmaları ve bu hiperparametreleri yinelemeli olarak test edip değiştirir ve en uygun modelleri seçer. Fakat sistemler “kara kutu” olarak çalışır, yani seçim teknikleri kullanıcılardan gizlenir. Bu nedenle, kullanıcılar sonuçlara güvenmeyebilir ve sistemleri arama ihtiyaçlarına göre uyarlamayı zor bulabilirler.
ACM CHI Bilgi İşlem Sistemlerinde İnsan Faktörleri Konferansında sunulan bir makalede; MIT, Hong Kong Bilim ve Teknoloji Üniversitesi (HKUST) ve Zhejiang Üniversitesi’nden araştırmacılar, AutoML yöntemlerinin analizini ve kontrolünü kullanıcılara koyan bir araç açıkladılar. ATMSeer adı verilen araç; bir AutoML sistemi, veri kümesi ve bir kullanıcının görevi hakkında bazı bilgileri girdi olarak alır. Ardından, arama işlemini modellerin performansı hakkında derinlemesine bilgi sağlayan kullanıcı dostu bir arayüzde görselleştirir.
MIT Bilgi ve Karar Sistemleri Laboratuvarı’nda (LIDS) Araştırmacı Kalyan Veeramachaneni: “Kullanıcıların AutoML sistemlerinin nasıl çalıştığını seçmesine ve görmesine izin veriyoruz. En iyi performansı gösteren modeli seçebilir veya sistemi başkalarına göre aramak için sisteme rehberlik etmek için başka düşünceleriniz veya etki alanı uzmanlığınızı kullanabilirsiniz.”
AutoML için çalışan fen yüksek lisans öğrencileri ile yapılan araştırmalarda; araştırmacılar ATMSeer kullanan katılımcıların yaklaşık yüzde 85’inin sistem tarafından seçilen modellere güvendiğini belirledi. Neredeyse tüm katılımcılar; aracı kullanmanın gelecekte AutoML sistemlerini kullanacak kadar konforlu olduklarını söyledi.
LIDS Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS) Yüksek Lisans Öğrencisi Micah Smith: “Bu kara kutuyu açmanın ve sistemin nasıl işlediğini görmenin ve kontrol etmenin bir sonucu olarak insanların AutoML kullanma olasılıklarının daha yüksek olduğunu gördük.”
Modelin Ayarlanması
Yeni aracın özünde; 2017 yılında Veeramachaneni ve diğer araştırmacılar tarafından geliştirilen “Auto-Tuned Models” (ATM) adlı özel bir AutoML sistemi var. Geleneksel AutoML sistemlerinden farklı olarak ATM, tüm arama sonuçlarını modellere uymaya çalışırken tamamen katalogluyor.
ATM herhangi bir veri setini ve kodlanmış bir tahmin görevini girdi olarak alır. Sistem; sinir ağları, karar ağaçları, ormanlar ve lojistik regresyon gibi bir algoritma sınıfını rasgele seçer ve modelin karar ağacının boyutu veya sinir ağı katmanlarının sayısı gibi hiperparametreleri seçer.
Ardından, sistem modeli veri setine karşı çalıştırır. Hiperparametreleri yinelemeli olarak ayarlar ve performansı ölçer. Başka bir model seçmek için o modelin performansı hakkında öğrendiklerini kullanır. Sonunda, sistem bir görev için birkaç en iyi performans gösteren model çıkarır.
İşin püf noktası; her modelin temelde birkaç değişkenli tek bir veri noktası olarak ele alınabileceğidir: Algoritma, hiperparametreler ve performans… Araştırmacılar bu çalışmaya dayanarak; veri noktalarını ve değişkenleri belirlenmiş grafik ve çizelgelere çizen bir sistem tasarladılar. Oradan, bu verileri gerçek zamanlı olarak yeniden yapılandırmalarına izin veren ayrı bir teknik geliştirdiler.
Smith: “İşin püf noktası, bu araçlarla görselleştirebileceğiniz her şeyi de değiştirebileceğinizdir.”
Benzer görselleştirme araçları yalnızca bir özel makine öğrenme modelini analiz etmeye yöneliktir ve arama alanının sınırlı bir şekilde özelleştirilmesine izin verir.
Wang: “Bu nedenle, birçok arama modelinin konfigürasyonlarının analiz edilmesi gereken AutoML süreci için sınırlı destek sunuyorlar. Buna karşılık; ATMSeer, çeşitli algoritmalarla üretilen makine öğrenme modellerinin analizini destekliyor.”
Kullanıcı Kontrolü ve Güven
ATMSeer’in arayüzü üç bölümden oluşmaktadır. Bir kontrol paneli, kullanıcıların veri kümelerini ve bir AutoML sistemini yüklemesine ve arama işlemini başlatmasına veya duraklatmasına izin verir. Aşağıda, aranan algoritmaların ve hiperparametrelerin sayısı gibi temel istatistikleri ve azalan sırada en iyi performans gösteren modellerin “lider tablosu” nu gösteren bir genel bakış paneli bulunmaktadır.
ATMSeer, hepsi ayarlanabilen algoritmalar ve hiperparametreler hakkında derinlemesine bilgi içeren panellere sahip bir “AutoML Profiler” içerir. Bir panel tüm algoritma sınıflarını histogramlar olarak gösterir: Algoritmanın performans puanlarının, hiperparametrelerine bağlı olarak 0 ila 10 arasında bir dağılımını gösteren bir çubuk grafik… Ayrı bir panel, farklı hiperparametreler ve algoritma sınıfları için performanstaki değişmeleri görselleştiren dağılım grafiklerini görüntüler.
AutoML deneyimine sahip olmayan makine öğrenme uzmanlarıyla yapılan örnek çalışmalar; kullanıcı kontrolünün AutoML seçiminin performansını ve verimliliğini artırmaya yardımcı olduğunu ortaya koydu. Biyoloji ve finans gibi farklı bilimsel alanlarda 13 yüksek lisans öğrencisi ile yapılan kullanıcı çalışmaları da açıklayıcıydı.
Sonuçlar, üç ana faktörü gösterir: Aranan algoritma sayısı, sistem çalışma zamanı ve en iyi performans gösteren modeli bulma… Bunlar, kullanıcıların AutoML aramalarını nasıl özelleştirdiklerini belirler.
