Avignon Üniversitesi‘ndeki bir araştırma ekibi; yakın zamanda çevrimiçi topluluklardaki kötüye kullanımı otomatik olarak saptamak için bir sistem geliştirdi. ArXiv‘de önceden yayınlanan bir makalede sunulan bu sistemin; kötüye kullanımı tespit etmek ve kullanıcı tarafından oluşturulan içeriği denetlemek için mevcut yaklaşımlardan daha iyi performans gösterdiği bulunmuştur.
Çevrimiçi kullanıcı tarafından oluşturulan içeriğin ölçülmesi, genellikle insanlar tarafından elle gerçekleştirilir. Bu nedenle, hem pahalı hem de zaman alıcı olabilir. Maliyetleri azaltmak için araştırmacılar; insan moderatörlerinin yerini alabilecek veya yardımcı olabilecek tam otomatik içerik denetleme araçları geliştirmeye çalışıyorlar.
Araştırmacılar çalışmada; içerik denetleme görevini bir sınıflandırma problemi olarak formüle ettiler ve metodları, çok oyunculu bir “çevrimiçi rol yapma oyunu” olan MMORPG oyuncuları tarafından paylaşılan bir mesaj grubuna uyguluyorlar.
İlk adım olarak, araştırmacılar; konuşma ağlarını her kötü niyetli mesajın gönderildiği konuşmaları temsil eden ham sohbet kayıtlarından çıkardılar ve topolojik önlemleri kullanarak, bunları karakterize ettiler. Sonuçlarını özellik olarak kullandılar, çevrimiçi platformlarda kötüye kullanımı tespit etmek için bir sınıflandırıcı eğitimi verdiler.
Konuşma ağlarını çıkarırken, araştırmacılar; üç adımlı bir yöntem izledi. İlk önce, ağı çıkarmak için kullanacakları mesajların alt kümesini belirlediler. Ardından, her iletinin olası alıcıları olan bir kullanıcı alt grubunu seçtiler. Son olarak, kenarları eklediler ve bu potansiyel mesaj alıcılarını temel alarak ağırlıklarını gözden geçirdiler.
Araştırmacılar, kötü niyetli mesajların otomatik olarak algılanması için mevcut yöntemlerde, birçok sorunu ortaya çıkaran değiş tokuş edilen mesajların metin içeriğine odaklanıyor: Dile özgü sorunlar, sözdizimi hataları, yazım hataları, şaşırtma ve diğerleri… Aksine, yalnızca kullanıcılar arasındaki etkileşimlerin varlığını / yokluğunu, yani bazı mesajların değişip değişmediğini, değiş tokuş edilen mesajların niteliğine karşı kullanıyorlar. Bu şekilde içeriği göz ardı etmek bu sorunları çözmeyi sağladı.
Temel olarak, araştırmacılar; düğümlerin kullanıcıları ve mesajların, mesaj alışverişini temsil ettiği bir grafik kullanarak, çevrimiçi konuşmaları modellediler. Grafiğe özgü önlemleri kullanarak; küfürlü mesajları içerip içermediklerine bağlı olarak konuşmaların yapılandırılma şeklindeki farklılıkları gözlemleyebildiler. Bu farklılıklar; daha sonra kullanıcılar arasındaki konuşmalarda kötüye kullanımı tespit etmek için bir sınıflandırıcı yetiştirmek için kullanıldı.
Araştırmacıların ilk çalışmaları, geleneksel yaklaşıma dayanıyordu, yani mesajların metin içeriğini kullanıyorlardı. Bu grafik tabanlı yöntemi önerdiklerinde, bu kadar iyi çalışması bile öngörülmüyordu. Çalışmanın en anlamlı bulgusu; en azından bu özel görev için konuşmanın yapısının, değiş tokuş edilen içeriğin niteliğinden daha ayırt edici olduğudur.
Araştırmacılar; sistemlerini bir Fransız MMORPG oyunundan gelen kullanıcı yorumlarının bir veri seti üzerinde test etmiş ve tam özellik setini kullanırken 83.89’luk bir F ölçüsü ile mevcut yaklaşımlardan daha iyi performans gösterdiğini bulmuşlardır. Özellik kümesini azaltarak ve sadece en ayırt edici özellikleri koruyarak; mükemmel performansı korurken hesaplama süresini önemli ölçüde azaltabildiler. Gelecekte, grafik tabanlı yaklaşımları, çevrimiçi “troll algılama” gibi diğer mesaj sınıflandırma görevlerine de uygulanabilir.
Araştırmacıların bir sonraki adımı ise; benzer bilgilerden yararlanıp yararlanmadıklarını kontrol etmek için her iki yaklaşımı (içerik ve grafik tabanlı) birleştirmeye çalışmak olacak. Bu durumda sonuçların benzer olup olmayacağını veya tamamlayıcı bilgilere dayanıp dayanmadıklarının kontrolünü ve onları birleştirmenin performansta iyileşmelere yol açması gerektiğidir. Bu durumda; konuşma grafiklerini karakterize etmek için, Grafik Yerleştirmeleri adı verilen daha otomatik bir yönteme doğru ilerlemiş olacaklar. Bu grafiklerin verimli bir temsilini elde etmek için, bir sinir ağının eğitilmesinden oluşan derin öğrenme temelli bir yöntemdir.
