Yazılım

Büyük veri kümelerinde saklanan anormallikleri bulmak için yapay zeka

0

Yeni bir makine öğrenimi tekniği; potansiyel elektrik şebekesi arızalarını veya kademeli trafik sıkışıklıklarını gerçek zamanlı olarak belirleyebilir.

Ülkenin elektrik şebekesindeki bir arızayı tespit etmek, devasa bir samanlıkta iğne aramaya çalışmak gibi olabilir. ABD’ye yayılmış yüz binlerce birbiriyle ilişkili sensör; elektrik akımı, voltaj ve diğer kritik bilgilerle ilgili verileri gerçek zamanlı olarak yakalar ve genellikle saniyede birden fazla kayıt alır. MIT-IBM Watson AI Lab’deki araştırmacılar; bu veri akışlarındaki anormallikleri gerçek zamanlı olarak otomatik olarak tespit edebilen, hesaplama açısından verimli bir yöntem geliştirdiler. Elektrik şebekesinin birbirine bağlılığını modellemeyi öğrenen yapay zeka yöntemlerinin; bu aksaklıkları tespit etmede diğer bazı popüler tekniklerden çok daha iyi olduğunu gösterdiler. Geliştirdikleri makine öğrenimi modeli, eğitim için elektrik şebekesi anormallikleri hakkında açıklamalı veriler gerektirmediğinden; yüksek kaliteli, etiketli veri kümelerinin genellikle zor olduğu gerçek dünya uygulanmasında daha kolay olacaktır. Model; aynı zamanda esnektir ve trafik izleme sistemleri gibi çok sayıda birbirine bağlı sensörün veri topladığı ve raporladığı diğer durumlara da uygulanabilir. Örneğin, trafik sıkışıklıklarını belirleyebilir veya trafik sıkışıklığının nasıl art arda geldiğini ortaya çıkarabilir.

MIT-IBM Watson Yapay Zeka Laboratuvarı Araştırmacı Jie Chen: “Bir elektrik şebekesi durumunda; insanlar istatistikleri kullanarak verileri yakalamaya çalıştılar ve daha sonra, örneğin, voltaj belirli bir oranda yükselirse, şebeke operatörünün uyarılması gerektiğini söylemek için alan bilgisi ile algılama kurallarını tanımladılar. Bu tür kural tabanlı sistemler, istatistiksel veri analizi ile güçlendirilmiş olsa bile, çok fazla emek ve uzmanlık gerektirir. Bu süreci otomatikleştirebileceğimizi ve ayrıca gelişmiş makine öğrenimi tekniklerini kullanarak verilerden kalıpları öğrenebileceğimizi gösteriyoruz” diyor.

Araştırmacılar, bir anormalliği; voltajdaki ani bir yükselme gibi, meydana gelme olasılığı düşük olan bir olay olarak tanımlayarak başladılar. Elektrik şebekesi verilerini bir olasılık dağılımı olarak ele alırlar. Böylece olasılık yoğunluklarını tahmin edebilirlerse, veri kümesindeki düşük yoğunluklu değerleri tanımlayabilirler. Oluşma olasılığı en düşük olan veri noktaları anormalliklere karşılık gelir. Bu olasılıkları tahmin etmek kolay bir iş değildir, özellikle de her örnek birden fazla zaman serisini yakaladığından ve her bir zaman serisi, zaman içinde kaydedilen çok boyutlu veri noktaları kümesidir. Ayrıca, tüm bu verileri yakalayan sensörler birbirine bağlıdır, yani belirli bir konfigürasyonda bağlanırlar ve bir sensör bazen diğerlerini de etkileyebilir. Verilerin karmaşık koşullu olasılık dağılımını öğrenmek için araştırmacılar; bir örneğin olasılık yoğunluğunu tahmin etmede özellikle etkili olan normalleştirme akışı adı verilen özel bir derin öğrenme modeli kullandılar. Farklı sensörler arasındaki karmaşık, nedensel ilişki yapısını öğrenebilen, Bayes Ağı olarak bilinen bir grafik türü kullanarak normalleştirici akış modelini geliştirdiler. Chen, bu grafik yapısının, araştırmacıların verilerdeki kalıpları görmelerini ve anormallikleri daha doğru tahmin etmelerini sağladığını açıklıyor.

Araştırmacı Chen: “Sensörler birbirleriyle etkileşiyorlar ve nedensel ilişkileri var ve birbirlerine bağlılar. Dolayısıyla, bu bağımlılık bilgisini olasılıkları hesaplama şeklimize enjekte edebilmeliyiz”

Bu Bayes Ağı; çoklu zaman serisi verilerinin ortak olasılığını, parametreleştirmesi, öğrenmesi ve değerlendirmesi çok daha kolay olan daha az karmaşık, koşullu olasılıklara ayırır veya böler. Bu, araştırmacıların belirli sensör okumalarını gözlemleme olasılığını tahmin etmelerine ve meydana gelme olasılığı düşük olan, yani anormal oldukları anlamına gelen okumaları tanımlamalarına olanak tanır. Yöntemleri özellikle güçlüdür, çünkü bu karmaşık grafik yapısının önceden tanımlanmasına gerek yoktur; model, grafiği denetimsiz bir şekilde kendi başına öğrenebili

Güçlü bir teknik

Elektrik şebekesi verilerindeki, trafik verilerindeki ve su sistemi verilerindeki anormallikleri ne kadar iyi tanımlayabildiğini görerek bu çerçeveyi test ettiler. Test için kullandıkları veri kümeleri, insanlar tarafından tanımlanan anormallikleri içeriyordu. Bu nedenle araştırmacılar; modellerinin belirlediği anormallikleri her sistemdeki gerçek hatalarla karşılaştırabildiler. Modelleri, her veri kümesinde daha yüksek bir gerçek anomali yüzdesi saptayarak tüm temel çizgilerden daha iyi performans gösterdi.

Araştırmacı Chen: “Temel çizgiler için, çoğu, grafik yapısını içermiyor. Bu, hipotezimizi mükemmel bir şekilde doğrular. Grafikteki farklı düğümler arasındaki bağımlılık ilişkilerini bulmak kesinlikle bize yardımcı oluyor”

Araştırmacılarım metodolojileri de esnektir. Büyük, etiketlenmemiş bir veri kümesiyle donanmış olarak, trafik modelleri gibi diğer durumlarda etkili anormallik tahminleri yapmak için modeli ayarlayabilirler. Chen; modelin devreye alınmasından sonra, veri dağılımındaki olası sapmaya uyum sağlayarak ve zaman içinde doğruluğu koruyarak, sabit bir yeni sensör verisi akışından öğrenmeye devam edeceğini söylüyor. Bu özel proje sona ermek üzere olsa da, öğrendiği dersleri diğer derin öğrenme araştırma alanlarına, özellikle de grafiklere uygulamayı dört gözle bekliyor. Chen ve meslektaşları, diğer karmaşık, koşullu ilişkileri haritalayan modeller geliştirmek için bu yaklaşımı kullanabilirler. Ayrıca, grafikler muazzam hale geldiğinde; belki de milyonlarca veya milyarlarca birbirine bağlı düğümle bu modelleri nasıl verimli bir şekilde öğrenebileceklerini araştırmak istiyorlar ve anormallikleri bulmak yerine; bu yaklaşımı veri kümelerine dayalı tahminlerin doğruluğunu artırmak veya diğer sınıflandırma tekniklerini kolaylaştırmak için de kullanabilirler.

Spread the love

Facebook ve Twitter’dan Ukrayna’daki kullanıcılara ‘hesaplarını kapatma veya kilitleme’ tavsiyesi

Previous article

Elon Musk’tan Ukrayna’ya destek: Starlink uyduları aktif

Next article

Comments

Comments are closed.

Login/Sign up