Model, şüpheli etkinliği daha doğru bir şekilde işaretlemek için işlem verilerinden granüler davranış kalıplarını çıkarır.
Günlük hayatta çoğu kez alışveriş esnasında, kredi kartının reddedildiği, işlem göremediği veya yüksek bir fiyattan çekim yaptığına tanıklık etmişsinizdir.
Meşru işlemlerde tüketicilerin kredi kartları şaşırtıcı bir şekilde sıklıkla reddediliyor. Bunun nedeni; müşterinin bankasında kullanılan ‘sahtekarlıktan koruma teknolojileri’nin, satışı yanlışlıkla şüpheli olarak işaretlemesidir. MIT araştırmacıları ise; bu yanlış pozitifleri büyük ölçüde azaltmak, bankalardan tasarruf etmek ve müşteri hayal kırıklığını hafifletmek için yeni bir makine öğrenme tekniği kullandılar.
Mali dolandırıcılık tarihlerini 1990’ların başlarına kadar tespit etmek için makine öğrenimini kullanıldı ve yıllar içinde geliştirildi. Araştırmacılar; dolandırıcılık sinyali taşıyan “özellikler” (faetures) denilen geçmiş işlemlerden, davranış kalıplarını çıkarmak için modelleri eğitiyorlar. Müşteri kartını kaydırdığında, modele ping atıyor* ve eğer özellikler dolandırıcılık davranışlarıyla eşleşiyorsa, satış engelleniyor.
*Ping atmak: Bir sunucunun veya web sitesinin aktif durumda olup olmadığını kontrol etmenin en kolay yoludur
Belirli bir müşteri, bir satın alma işlemine 2,000 $’dan fazla harcama yaparsa veya aynı günde çok sayıda satın alma işlemi gerçekleştirirse, işaretlenebilir. Ancak tüketici harcama alışkanlıkları bireysel hesaplarda bile değiştiğinden; bu modeller bazen yanlıştır: Javelin Strateji ve Araştırma tarafından hazırlanan 2015 raporunda, beş dolandırıcılık tahmininden sadece birinin doğru olduğu ve hataların 118 milyar $’lık bir gelire sahip bir bankaya mal olabileceği tahmin edilmektedir.
MIT araştırmacıları, her bir bireysel işlem için 200’den fazla ayrıntılı öznitelik çıkartan bir “Otomatik Özellik Mühendisliği” (Automated Feature Engineering) yaklaşımı geliştirdi. Örneğin, bir kullanıcı satın alma sırasında mevcutsa ve belirli satıcılarda belirli günlerde harcanan ortalama miktar belliyse… Bu yüzden, kart sahibinin harcama alışkanlıklarının normdan sapması daha iyi olabilir.
Büyük bir bankadan 1,8 milyon işlemden oluşan bir veri seti üzerinde test edilen böyle bir model; geleneksel modellere göre yüzde 54 oranında yanlış pozitif tahminleri düşürmüş oluyor. Araştırmacıların tahminlerine göre banka; 190 bin avro (yaklaşık 220.000 $) kayıp gelir elde ediyor.
MIT’nin Bilgi ve Karar Sistemleri Laboratuvarı’nda (LIDS) temel araştırmacılardan biri olan Kalyan Veeramachaneni: “Bu sektördeki en büyük zorluk; yanlış pozitif sinyali… Feature Mühendisliği ile yanlış pozitiflerin azaltılması arasında doğrudan bir bağlantı olduğunu söyleyebiliriz. Bu, makine öğrenme modellerinin doğruluğunu geliştirmek için en etkili yöntem…”
Deep Feature Synthesis
Üç yıl önce, Veeramachaneni ve Kanter; herhangi bir verinin son derece ayrıntılı özelliklerini çıkartan ve finansal işlemlere uygulamayı kararlaştırmış, otomatik bir yaklaşım olan Deep Feature Synthesis’i (DFS) geliştirdi.
Şirketler; sahtecilik gibi bir tahmin problemiyle birlikte, sınırlı bir veri seti sağladıkları takdirde; rekabete ev sahipliği yaptılar. Veri bilimcileri tahmin modellerini geliştiriyor ve para ödülü en doğru modele gidiyor.
Araştırmacılar böyle bir rekabete girdiler ve DFS ile en yüksek puanı aldılar. Savunma İleri Araştırma Projeleri Ajansı’nın Modellerden Veriye Dayalı Keşif Programı tarafından desteklenen Kanter ve ekibi; teknolojiyi ticarileştiren bir spinout olan Featuretools adlı açık kaynaklı bir kitaplık geliştirdi.
Araştırmacılar; işlem tutarı, zamanları, konumları, satıcı türleri ve kullanılan terminaller hakkında ayrıntılı bilgi içeren uluslararası bir banka tarafından sağlanan, üç yıllık veri setini elde ettiler. Yaklaşık 7 milyon bireysel karttan yaklaşık 900 milyonu işlem içeriyordu. Bu işlemlerden yaklaşık 122.000’i dolandırıcılık olarak doğrulandı. Araştırmacılar modellerini bu verilerin alt kümeleri üzerinde eğitmiş ve test etmişlerdir.
Eğitimde, model; işlem kalıplarını ve sahtekarlık olaylarıyla eşleşen kartlar arasında bir ilişki arar. Daha sonra, bulduğu tüm farklı değişkenleri; her bir işlemde son derece ayrıntılı bir görünüm sağlayan “derin” özelliklere (deep feature) otomatik olarak birleştirir. Veri kümesinden; DFS modeli her işlem için 237 özellik çıkardı.
Veeramachaneni: “Kart sahipleri için son derece özelleştirilmiş değişkenleri temsil ediliyor. Diyelim ki, bir müşterinin Cuma günü, Starbucks’a 5 veya 15 dolar harcayacağı biliniyor. Bu değişken, ‘Cuma günü bir kafede ne kadar para harcanmış?’ şeklinde görünecektir.”
Daha sonra dolandırıcılık yapan ve dolandırıcılığı olmayan özelliklerin hesabı için if / then (eğer/sonra) karar ağacı oluşturur. Karar ağacında yeni bir işlem yürütüldüğünde, model; işlemin hileli olup olmadığına bakılmaksızın gerçek zamanlı olarak karar verir.
Bankanın kullandığı geleneksel modele karşı çıkarılan, DFS modeli; 133.000 yanlış pozitif karşısında 289.000 yanlış pozitif sonuç verdi, yani yaklaşık % 54 daha az olay meydana getirdi. Araştırmacılar, daha az sayıda yanlış negatifle ve tespit edilen gerçek sahtekarlıkla birlikte, bankanın 190 bin avro tasarruf edebileceğini tahmin ediyor.
İstifleme İlkelleri
Modelin omurgası; yaratıcı olarak yığılmış “primitif” lerden oluşuyor: İki giriş alan ve bir çıktı veren basit fonksiyonlar… Örneğin, ortalama iki sayıyı hesaplamak bir primitif’dir. Bu işlemler arasında ortalama bir zaman elde etmek için iki işlemin zaman damgasına* bakan bir ‘primitif’ (basit) ile birleştirilebilir. Bu işlemlerden iki adres arasındaki mesafeyi hesaplayan bir başka pirimitif öğeyi istemek; iki belirli konumda iki satın alma arasında ortalama bir zaman verir. Başka bir primitif; satın alma işleminin bir hafta içi veya haftasonunda yapıldığını belirleyebilir.
*Zaman damgası (Timestamp), herhangi bir olayın ne zaman meydana geldiğini, genellikle saniyenin küçük bir kısmına yakın bir doğrulukta, tarih ve zaman olarak tanımlayan bir karakter veya kodlanmış bilgi dizisidir.
Veeramachaneni: “Bu şekilde algoritmanın derinliklerini kazarsanız; primitif maddelere ulaşabilirsiniz…”
Modelin ürettiği önemli bir özellik, Veeramachaneni’nin notları; bu iki konum arasındaki mesafeyi ve şahsen ya da uzaktan olup olmadığını hesaplıyor. Eğer Stata Center’da bir şey satın alan kişi, bir buçuk saat sonra, 200 mil uzakta bir şey satın alırsa; o zaman yüksek bir sahtekarlık olasılığı vardır. Ancak cep telefonu üzerinden bir satın alma gerçekleştiyse, sahtekarlık olasılığı düşer.
Veeramachaneni: “Geçmişte gerçekleşen dolandırıcılık veya gayri nakdi kullanım davalarıyla ilgili davranışları karakterize eden pek çok özellik var.”
