Hollanda TU Delft’teki araştırmacılar yakın zamanda; Van Gogh’un zaman içinde kötüleşen çizimleri yeniden oluşturmak için Evrişimli Sinir Ağı (CNN) tabanlı bir model geliştirdi. Springer’in Makine Vizyonu ve Uygulamaları bölümünde yayınlanan çalışmalarında, özellikle mürekkep solması ve renk solması nedeniyle yıllarca harap olmuş Vincent Van Gogh’un çizimlerinin bazılarını yeniden oluşturmak için modeli kullandılar.
Araştırmacı Jan van der Lubbe: “Hollanda; Rembrandt, Mondrian ve Van Gogh gibi ünlü sanatçılarla sanat konusunda uluslararası bir üne sahiptir. Bu nedenle, sanat tarihi araştırması ve kültürel mirasın nasıl korunacağına dair araştırmalar; Hollanda’da önemli bir rol oynamaktadır.”
Son yıllarda, gittikçe artan sayıda araştırmacı; CNN’ler gibi makine öğrenim tekniklerini sanat eserlerinin analizi için geliştirmeye çalıştı. Şimdiye kadar, bu araçlar; öncelikle belirli sanat eserleri yaratan sanatçıyı tanımlamak ya da resimlerin gerçek mi yoksa sahte mi olduğunu belirlemek için kullanılmıştır.
Önceki araştırmaların aksine; van der Lubbe ve meslektaşları; kötüleşen resimlerin piksel şeklinde yeniden yapılandırılması için makine öğrenme tekniklerinin kullanımını araştırmaya başladılar. Sanatın korunması söz konusu olduğunda; resimlerin ve çizimlerin bozulması önemli bir zorluktur. Bu nedenle eksik veya harap sanat eserlerini otomatik olarak yeniden yapılandıran araçlar sanat tarihçisinin eserini büyük ölçüde basitleştirecektir.
TU Delft‘teki araştırmacılar; CNN tabanlı modellerini, izlenimci olmayan ressam Van Gogh tarafından bozulmuş çizimlerin reprodüksiyonları konusunda eğitti. Aslında, Van Gogh’un mürekkep çizimlerinin bazıları geçtiğimiz yüzyılda önemli ölçüde kötüleşmişti ve sanat tarihçileri sık sık onları yeniden üretmeye çalıştılar.
Bu çizimler şu anda sergilenemez ve birkaç on yıl içinde tamamen bozulabilirler. Bunu akılda tutarak, Van der Lubbe ve meslektaşları; bu paha biçilmez sanat eserlerini korumak ve halka açık hale getirmek için otomatik olarak yeniden yapılandırabilecek bir model geliştirmek istedi.
van der Lubbe: “Araştırmamızın ana hedeflerinden biri; sanat eserlerinin orijinal, geçmiş ve gelecekteki kâğıt görünümlerini hem kullanılan renklerin derinlemesine incelemelerinin hem de zaman içindeki renk değişikliklerinin sonuçlarını birleştiren makine öğrenme yöntemleri ile tahmin etmekti. Bu, örneğin Van Gogh tarafından yapılan bir çizimin yaratılış tarihine nasıl bakmış olabileceğini öngörmeye yardımcı olabilir.”
Van der Lubbe ve meslektaşları tarafından tasarlanan yaklaşım; çok çözünürlüklü görüntü analizi ve derin CNN’lerin tekniklerini birleştirerek çizimlerin geçmişe dönük görünümlerini tahmin eder. CNN’ler; büyük miktarda veriyi analiz ederek belirli görevleri tamamlamak için eğitilebilecek insan beyni gibi biyolojik sinir ağlarından esinlenen algoritmalardır.
Van der Lubbe: “En iyi bilgimiz için, sanat eserlerinin dijital rekonstrüksiyonunda makine-öğrenme yöntemlerinin kullanımı konusunda önceden yapılmış çalışma yoktur. Bu, araştırmalarımızı ve makine öğrenmesini sanat eserlerini yeniden yapılandırmak için kullanmaya iten temel fikirdir. Farklı makine öğrenme algoritmalarını düşündüğümüz önceki çalışmalardan, Evrimsel Sinir Ağı (CNN) yaklaşımları en umut verici göründü.”
Araştırmalarında, araştırmacılar; özellikle soluk Van Gogh çizimlerini kağıt üzerine dijital olarak yeniden oluşturmak için bir CNN eğitmişlerdir. Algoritma, geçen yüzyılda farklı zamanlarda yapılan, özgün kalitede çizimlerin reprodüksiyonlarını içeren bir veri kümesi üzerinde eğitildi.
Van der Lubbe: “Çalışmamızda kullandığımız örnekler; içeriğin ve rengin daha az solduğu Van Gogh çizimlerinin reprodüksiyonlarıdır, bu nedenle Van Gogh tarafından yapılan orijinal çizime daha yakındırlar. Van Gogh Müzesi koleksiyonundan orijinal çizimler ve reprodüksiyonları aldık.”
Çizimlerin geçmişte nasıl göründüğünü ortaya çıkarmanın yanı sıra, van der Lubbe ve meslektaşları tarafından önerilen yaklaşım; sanat tarihçilerine sanat eserlerinin korunmasında ve sergilenmesinde etkili uygulamaların yanı sıra uygun sanat eserlerinin korunması ve restorasyon stratejilerinin belirlenmesinde yardımcı olabilir.
Araştırmacılar modellerini bir dizi deneyde değerlendirdiler ve dikkate değer sonuçlar elde ettiklerini buldular. Bulguları, bozulmuş görüntülerin, belgelerin ve sanat eserlerinin öngörücü yeniden inşası için makine öğreniminin kullanılmasının fizibilitesini vurgulamaktadır. Her ne kadar araştırmacılar; Van Gogh’un çizimlerini yeniden inşa etmek için modellerini özel olarak kullanmış olsalar da, kağıttaki veya 19. yüzyıl elyazmalarındaki kötüleşen diğer sanat eserlerine de uygulanabilir.
Van der Lubbe ve meslektaşları tasarılarında; çok ayrıntılı görüntü analizi ve derin CNN’lerin tekniklerini birleştirerek çizimlerin geçmişe bakış görünümlerini tahmin eder.
Araştırmacılar modellerini bir dizi deneyde değerlendirdiler ve değerlerini buldular. Bulguları; bozulmuş görüntülerin, belgelerin ve sanat eserlerinin öngörücüsü önceden belirlenmeli ve makine öğrenmenin kullanılmasının fizibilitesini vurgulamaktadır. Mühendisler modellerini Van Gogh’un çizimleri için özel olarak kullansalar da, kağıttaki veya 19. yüzyıl elyazmalarındaki kötüleşen diğer sanat eserlerine de tasarladılar.
