UC Berkeley ve Ecole des Ponts Paris Tech‘deki araştırmacılar son zamanlarda sanat koleksiyonlarında tekrar eden görsel kalıpları keşfetmek için bir derin öğrenme yaklaşımı geliştirdiler.
Her sanat eseri benzersiz görünse de, sanatçılar sıklıkla tekrarlayan görsel öğeler veya motifler kullanır. (Melekler, yel değirmenleri vb…) Örneğin, eleştirmenler; Flaman Ressam Jan Brueghel’in bazı resimlerinin; babası Pieter Breughel’in imitasyonları veya uyarlamaları olduğuna inanıyor.
Araştırmalarında, sanat tarihçileri sıklıkla farklı sanat eserleri arasındaki görsel bağlantıları ortaya çıkarmaya çalışırlar. Çünkü bu onların kanıtlarına ve yazarlıklarına ışık tutabilir. Ancak, büyük sanat koleksiyonlarında benzer görsel kalıpları ortaya çıkarmak, hem insanlar hem de makineler için çok zor olabilir.
Araştırmacı Mathieu Aubry: “Bu projeye, bir sanat tarihçisi Elizabeth Honig ile yaptığı sunumun ardından başladık. İlk hedefimiz, temsil tarzındaki küçük değişikliklere ve farklılıklara rağmen, farklı eserler arasında doğrudan kopyalanan dijital görüntü koleksiyonlarının ayrıntılarını otomatik olarak tanımlayarak, sanat tarihçilerinin işini daha kolay ve daha ölçeklenebilir hale getirmekti.”
Son çalışmalarında, Aubry ve arkadaşları büyük sanat koleksiyonlarında tekrarlayan, görsel kalıpları otomatik olarak keşfedebilecek bir yaklaşım önerdiler. Temel olarak, farklı sanat eserlerindeki yinelenen görsel öğeler arasındaki yazışmaları bulmak için denetimsiz bir makine öğrenme modeli geliştirdiler.
Aubry: “Yaklaşımımızın ana yeniliği, insan gözetimi olmadan, görevimize özel olarak uyarlanmış bir derin resim tanımlayıcıyı öğrenmektir: Farklı temsil stilleri arasında tam kopyaları eşleştiriyor.”
Araştırmacılar, komşu özellik eşleşmeleri arasındaki uzamsal tutarlılığı denetleyici bir ince ayar sinyali olarak kullandılar. Bu uyarlanmış özellik; daha hassas tarzı değişmeyen eşleşmelerine yol açar. Geometrik doğrulamaya dayanan standart bir keşif yaklaşımı ile bir araya geldiğinde; bu özellik derin öğrenme yaklaşımlarının büyük sanatlar veri kümelerinde yinelenen kalıpları tanımlamalarına izin veriyor.
Aubry: “CVPR çalışmalarımız bilgisayar vizyonu yönlerine odaklandı. Sanat koleksiyonlarını analiz etmek için geliştirdiğimiz yöntemi uygulamak için sanat tarihçileriyle işbirlikleri hala devam ediyor. Sanat tarihçilerinin; sanat eserleri arasındaki bağlantıları daha geniş bir ölçekte aramalarını ve analiz etmelerini sağlayarak, hem ölçeği hem de çalışma sanatının türünü gerçekten değiştireceğini düşünüyoruz. Gerçekten de, sadece birkaç ayrıntı için bağlantıları açıklamaya çalışırken orta ölçekli bir veri setinde, böyle bir sürecin elle gerçekleştirilmesinin ne kadar sıkıcı ve maliyetli olduğunu ilk elden gördük. “
Aubry ve arkadaşları, Brueghel ailesine atfedilen yeni açıklamalı sanat eserleri veri seti ile Oxford5K fotoğraf veri seti de dahil olmak üzere çeşitli veri kümelerinde yöntemlerini değerlendirdi. Bu değerlendirmelerde yaklaşımları, sanat eserlerinde görsel kalıpları ortaya çıkarmak için, diğer son teknoloji teknikleri geride bırakarak kayda değer sonuçlar elde etti. Ek olarak, yaklaşımları, Büyük Zaman Boşluğu Konumu veri setinde, geçmiş mimari fotoğrafların ve modern fotoğrafların etkin bir şekilde yerelleştirilmesiyle son teknoloji performansa ulaşmıştır.
Aubry: “Yaklaşımımızın uygulamalarını, insanlık tarihine özgü yöntemlere uyarlamak ve kullanmalarına yardımcı olmak için doğrudan sanat tarihçileriyle birlikte çalışarak, zorlamak istiyoruz. Ayrıca, derin öğrenme konusundaki fazlalık ve mekansal tutarlılığın artırılması fikrinin, farklı görüntü türlerine ve farklı uygulama türlerine yükseltilmesi üzerine çalışmayı planlıyoruz.”
