Stanford Üniversitesi’nden bir araştırmacı ekip, kısa bir süre önce gri tonlamalı görüntüleri renklendirmek için bir CNN sınıflandırma yöntemi geliştirdi. ColorUNet olarak adlandırdıkları bu araç, görüntü segmentasyonu için tam anlamıyla bir iletişim ağı olan U-Net’den ilham alır.
Araştırmacılardan Vincent Billaut; “Stanford’un Bilgisayar Görüntü sınıfının bir parçası olarak, bu proje üzerinde birkaç ay çalıştık. Amacımız, hafif bir model kullanarak; eğitim setinin boyutunu veya hesaplama karmaşıklığını artırarak mevcut modelleri geliştirmek yerine, CV problemlerinde çok yaygın bir yaklaşımla son teknoloji ürünü sonuçları elde etmekti. Sonuçlarımızın değerlendirilmesinin ve görsel olarak çekici olmasının kolay olmasını istedik, çünkü yararlı ve etkili uygulamaların yanı sıra CV de harika bir şey.”
Billaut ve meslektaşları, sonlu renk seçenekleri ile çalışarak, gri tonlamalı görüntüleri sınıflandırma açılarından otomatik olarak renklendirme görevine yaklaşmaya karar verdiler. Modelleri gerçekçi görüntüler üzerinde renkli görüntüler desteklenerek bir kayıp ve tahmin fonksiyonu izledi.
Araştırmacılardan Marc Thibault; “Renkleri bir regresyon göreviyle doğrudan tahmin etmeye çalışmak yerine, tüm renkleri bir sınıflandırma göreviyle birlikte kutulara ayırdık. Sorunu bir sınıflandırma görevi olarak formüle etmek, çıktımızın ne kadar renkli görünmesini istiyorsak, ağın çıktısından nasıl bir renk öngördüğümüzü ince ayar yaparak daha iyi kontrol etmemizi sağlar.”
Araştırmacılar modellerini, manzara görüntülerini içeren SUN ve ImageNet veri kümelerinin alt kümeleri üzerinde eğitmişlerdir. Geliştirdikleri sinir ağı mimarisi, derin öğrenme algoritmasının her bir gri tonlamalı görüntüden, hem yerel hem de global bilgileri çıkarmasına izin verdi.
U-Net Mimarisi
Thibault; “Algoritma, kendi yönüne ve çevresine bağlı olarak bir bölgenin rengine karar verebilir. Genel olarak, gerçek hayattaki karar alma teknikleri için AI tekniklerinin, hem yerel olarak kesin özne tanımlamasını hem de daha geniş bir bağlamı anlamalarını sağlaması çok önemlidir.”
Çalışmanın ana hedeflerinden biri, ölçeklendirilebilen hafif bir mimari geliştirmek oldu ama bunun yanı sıra renklendirme görevlerinde de en son modellerin gerçekleştirilmesi sağlanmıştır. Bunu başarmak için araştırmacılar doğal peyzaj görüntülerini sınırlandırdılar.
Araştırmacılardan Matthieu de Rochemonteix; “En önemlisi, performansı artırmak ve modelin karmaşıklığını azaltmak için bir U-Net mimarisi kullandık. ColorUnet, seçilen alt istasyonda en son teknoloji performansına yaklaşıyor. Mimarisi, modelin derinliğini ve temsili gücünü kullanmadan daha hızlı ve daha istikrarlı bir eğitim sağlıyor.”
Manzara resimlerinde değerlendirildiğinde, ColorUNet, veri büyütme ile modelin performansını ve sağlamlığını önemli ölçüde artıran çok umut verici sonuçlar elde etti. Araştırmacılar aynı zamanda video renklendirmesi için modele başvurdular ve sıralı girdiler için tekrarlayan bir ağ oluşturmaya gerek kalmadan kareler boyunca renk tahminlerini düzeltmenin bir yolunu önerdiler.
Thibault; “Bu tekniğin ana katkısı, bir görüntünün, yerel bir ölçekte bir görüntüde neler olup bittiğini anlaması ve tüm görüntünün içeriğini beslemesidir. Verimliliğini görüntü renklendirmesinde göstermiş olsak da, özellikle tıbbi alanda diğer uygulamalar üzerinde çalışıyoruz. Stanford’daki Gevaert Laboratuvarı’nda, MRI taramalarına dayanan glioma (beyin kanseri) hastaları için tümör tespitine bu yöntemi uyguladık. Bu alanda araştırmalar giderek artmakta, tıbbi görüntüleme için daha fazla CV teknikleri kullanılmaktadır.”
