Yapay zekadaki yeni bir alan; insan mühendisleri tarafından geliştirilenlerden daha doğru ve verimli olan, sinir ağları olarak bilinen makine öğrenme sistemlerini otomatik olarak tasarlamak için algoritmalar kullanmaktan ibarettir. Ancak bu sözde Sinirsel Mimari Arama (NAS) tekniği hesaplamalı olarak pahalıdır.
Google tarafından son zamanlarda geliştirilen son teknoloji NAS algoritmalarından biri; görüntü sınıflandırma ve tanımlama görevleri için, kullanılan tek bir evrişirsel sinir ağı üretmek için, bir grafik işlem birimi ekibi (GPU’lar) tarafından 48.000 saat çalışmıştır. Google, yüzlerce GPU’yu ve diğer özel devreleri paralel olarak çalıştırma yetkisine sahip, ancak bu birçokları için erişilemez.
Mayıs ayındaki Uluslararası Öğrenme Temsilleri Konferansı’nda sunulan bir makalede, MIT araştırmacıları, büyük bir görüntü veri setinde çalıştırıldıklarında, sadece 200 GPU saatinde, hedef donanım platformları için özel Konvolüsyonel Sinir Ağlarını (CNN’ler) doğrudan öğrenebilen bir NAS algoritması tanımladılar. Bu, bu tür algoritmaların çok daha geniş bir şekilde kullanılmasını sağlayabilir.
Araştırmacılar, zaman ve maliyet tasarruflu algoritmalardan faydalanabileceğini söylüyor. MIT’deki Microsystems Technology Laboratories Elektrik Mühendisliği ve Bilgisayar Bilimleri Profesörü Song Han: “Genel amaç; ‘AI’yi demokratikleştirmek’… Hem AI uzmanlarının hem de uzman olmayanların, belirli bir donanımda hızlı çalışan bir buton çözümü ile sinir ağı mimarilerini verimli bir şekilde tasarlamalarını sağlamak istiyoruz.
Araştırmacılar Han Cai ve Ligeng Zhu: “Bu tür NAS algoritmaları asla insan mühendislerinin yerine geçmeyecek. Amaç, sinir ağı mimarileri tasarlamak ve incelemekle gelen tekrarlayan ve sıkıcı işleri boşaltmaktır.”
“Yol Düzeyinde” İkili Hale Getirme ve Budama
Çalışmalarında, araştırmacılar; gereksiz sinir ağı tasarımı bileşenlerini silmenin, hesaplama zamanlarını kısaltmanın ve bir NAS algoritmasını çalıştırmak için yalnızca donanım belleğinin bir kısmını kullanmanın yollarını geliştirdiler. Ek bir yenilik de, çıkarılan her CNN’nin, geleneksel yaklaşımlarla tasarlananlardan daha belirli donanım platformlarında (CPU, GPU ve mobil cihazlar) daha verimli çalışmasını sağlar. Testlerde, araştırmacıların CNN’leri bir cep telefonunda benzer hassasiyetle geleneksel altın standart modellere göre 1.8 kat daha hızlı ölçülmüştür.
Bir CNN mimarisi, “filtreler” adı verilen ayarlanabilir parametrelerle hesaplama katmanlarından ve bu filtreler arasındaki olası bağlantılardan oluşur. Filtreler, görüntü piksellerini her biri bir kareyi kaplayan 3×3, 5×5 veya 7×7 gibi kare ızgaralarda işler. Filtreler esasen görüntü üzerinde hareket eder ve kapsanan piksel ızgarasının tüm renklerini tek bir pikselde birleştirir. Farklı katmanlar, farklı boyutlarda filtrelere sahip olabilir ve verileri farklı şekillerde paylaşmak için bağlanabilir. Çıktı, bir bilgisayar tarafından daha kolay analiz edilebilen yoğunlaştırılmış bir görüntüdür.
“Arama alanı” olarak adlandırılan seçilebilecek mimarilerin sayısı çok büyük olduğundan, büyük görüntü veri setleri üzerinde bir sinir ağı oluşturmak için NAS’ı uygulamak hesaplayıcı olarak yasaklayıcıdır da.. Mühendisler tipik olarak daha küçük proxy veri kümelerinde NAS kullanır ve öğrendikleri CNN mimarilerini hedef göreve aktarır. Bununla birlikte, bu genelleme yöntemi; modelin doğruluğunu azaltır. Dahası, aynı çıktı mimarisi, verimlilik sorunlarına yol açan tüm donanım platformlarına da uygulanır.
Araştırmacılar, yeni NAS algoritmalarını bin sınıfta milyonlarca görüntü içeren ImageNet veri setindeki bir görüntü sınıflandırma görevinde eğitmiş ve test etmiştir. İlk önce, tüm olası aday CNN “yollarını” içeren, katmanlar ve filtrelerin verileri işlemek için nasıl birleştiğine bağlı bir arama alanı yarattılar. Bu, NAS algoritmasına en uygun mimariyi bulmak için ücretsiz imkan sağlar.
Bu genellikle, olası tüm yolların GPU bellek sınırlarını aşacak şekilde bellekte saklanması gerektiği anlamına gelir. Bunu ele almak için, araştırmacılar bir kerede yalnızca bir örneklenmiş yolu depolayan ve bellek tüketiminde bir büyüklük sırası kazandıran “yol düzeyinde ikilileştirme” adı verilen bir teknikten yararlanırlar. Bu ikilileştirmeyi, bir sinir ağındaki geleneksel olarak “nöronların” çıktıyı etkilemeden silinebileceğini öğrenen bir teknik olan “yol düzeyinde budama” ile birleştirirler. Bununla birlikte, nöronları atmak yerine, araştırmacıların NAS algoritması; sinir ağının mimarisini tamamen değiştiren tüm yolları eritir.
Eğitimde, tüm yollara başlangıçta aynı seçim şansı verilir. Algoritma; daha sonra çıktılarının doğruluğunu ve kaybını (yanlış tahminler için verilen sayısal bir cezayı) not almak için, her seferinde yalnızca bir tanesini depolayan yollar izler. Daha sonra hem doğruluk hem de verimliliği optimize etmek için yolların olasılıklarını ayarlar. Sonunda, algoritma; tüm düşük-olasılıklı yollardan uzaklaşır ve sadece en yüksek olasılıklı yolu tutar; ki bu da son CNN mimarisidir.
Donanımın Farkında Olmak
Diğer bir önemli yenilik, NAS’ın algoritmasını “donanımın farkında” olmasını sağlamaktı. Han’ın mimariyi optimize etmesi; her donanım platformundaki gecikmeyi bir geri besleme sinyali olarak kullandığı anlamına geliyor. Bu gecikmeyi mobil cihazlarda ölçmek için, (örneğin, Google gibi büyük şirketler) çok pahalı bir mobil cihaz grubu kullanacaklardır. Araştırmacılar bunun yerine, yalnızca tek bir cep telefonu kullanarak, gecikmeyi öngören bir model geliştirdiler.
Seçilen her ağ katmanı için; algoritma bu gecikme-tahmin modelindeki mimariyi örnekler. Daha sonra bu bilgileri, yüksek doğruluk elde ederken, mümkün olan en hızlı şekilde çalışan bir mimari tasarlamak için kullanır. Deneylerde, araştırmacıların CNN’i mobil cihazlarda altın standart bir modelden iki kat daha hızlı çalıştı.
Han; ilginç bir sonuç olarak, NAS algoritmalarının uzun zamandır yetersiz kaldıkları için CNN mimarileri tasarladığını söylüyor. Ancak, araştırmacıların testlerinde, belirli donanımlar için gerçekten optimize edildiği gözlmeleniyor. Örneğin, mühendisler 7×7 filtreleri kullanmayı bıraktılar. Çünkü hesaplama açısından birden fazla küçük filtreden daha pahalılar. Yine de, araştırmacıların NAS algoritması; 7×7 filtre katmanlarının yer aldığı mimarilerin GPU’larda en iyi şekilde çalıştığını buldu. Bunun nedeni, GPU’ların yüksek paralelliklere sahip olmalarıdır; yani birçok hesaplamayı aynı anda hesaplarlar ve tek bir büyük filtreyi aynı anda birden çok küçük filtreyi işlemekten daha verimli bir şekilde işleyebilir.
Han: “Arama alanı ne kadar büyükse, insanların o kadar çok bilinmeyen şeyler bulabilir. Bir şeyin geçmişteki insan deneyiminden daha iyi olup olmayacağını bilemeyiz. Ancak AI’nın bunu çözmesine izin veriyoruz.”
