Araştırmacılar, doktorların hastanın sağlık kaydındaki bilgileri daha verimli bir şekilde bulmasına yardımcı olabilecek makine öğrenimi modelleri geliştirdiler. Doktorlar; tedavi kararları vermelerine yardımcı olacak bilgiler için sıklıkla hastanın elektronik sağlık kaydını sorgular, ancak bu kayıtların hantal yapısı süreci engeller. Araştırmalar; doktorun elektronik sağlık kaydı (EHR) kullanmak üzere eğitilmiş olsa bile, yalnızca bir soruya yanıt bulmanın ortalama olarak sekiz dakikadan fazla sürebileceğini göstermiştir. Doktorlar çoğu zaman hantal bir EHR arayüzünde gezinmek için ne kadar fazla zaman harcamak zorunda kalırsa, hastalarla etkileşime girmek ve tedavi sağlamak için o kadar az zaman harcarlar. Bu sürecin daha hızlı işleyebilmesi için araştırmacılar; doktorların ihtiyaç duyduğu bilgileri bir EHR’de otomatik olarak bularak süreci kolaylaştırabilecek makine öğrenimi modelleri geliştirmeye başladılar. Bununla birlikte, etkili modellerin eğitimi, gizlilik kısıtlamaları nedeniyle genellikle ulaşılması zor olan ilgili tıbbi soruların büyük veri kümelerini gerektirir. Mevcut modeller, bir insan doktor tarafından sorulacak gerçek sorular üretmek için mücadele ediyor ve çoğu zaman doğru cevapları başarılı bir şekilde bulamıyor. Bu veri eksikliğinin üstesinden gelmek için MIT’deki araştırmacılar, doktorların EHR’leri gözden geçirirken sorduğu soruları incelemek için tıp uzmanlarıyla çalıştı. Ardından, bu tıp uzmanları tarafından yazılmış, klinik olarak ilgili 2.000’den fazla sorudan oluşan, kamuya açık bir veri seti oluşturdular. Klinik sorular oluşturmak, bir makine öğrenimi modelini eğitmek için veri kümelerini kullandıklarında, modelin zamanın yüzde 60’ından fazlasında tıp uzmanlarının gerçek sorularına kıyasla yüksek kaliteli ve özgün sorular sorduğunu gördüler. Bu veri seti ile çok sayıda özgün tıbbi soru üretmeyi ve ardından bu soruları, doktorların bir hastanın kaydında aranan bilgileri daha verimli bir şekilde bulmasına yardımcı olacak bir makine öğrenimi modelini eğitmek için kullanmayı planlıyorlar.
Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) Araştırmacı Eric Lehman: “İki bin soru çok gibi gelebilir, ancak günümüzde eğitilen makine öğrenimi modellerine baktığınızda, çok fazla veriye, belki de milyarlarca veri noktasına sahipler., sağlık hizmeti ortamlarında çalışmak için makine öğrenimi modellerini eğittiğinizde, gerçekten yaratıcı olmanız gerekir, çünkü çok fazla veri yok”
Araştırmacı Szolovits: “Gerçekçi veriler, görevle ilgili ancak bulunması veya oluşturulması zor olan eğitim modelleri için kritik öneme sahiptir. Bu çalışmanın değeri, klinisyenler tarafından hasta vakaları hakkında sorulan soruları dikkatli bir şekilde toplamakta yatıyor; bu sorulardan, bu verileri ve genel dil modellerini kullanarak daha fazla makul soru sormak için yöntemler geliştirebiliyoruz.”
Veri Eksikliği
Lehman, araştırmacıların bulabildiği birkaç büyük klinik soru veri setinin bir dizi sorunu olduğunu açıklıyor. Bazıları web forumlarında hastalar tarafından sorulan ve doktor sorularından çok uzak olan tıbbi sorulardan oluşuyordu. Diğer veri kümeleri; şablonlardan üretilen soruları içeriyor, bu nedenle yapı olarak çoğunlukla aynıdırlar ve birçok soruyu gerçekçi olmaktan çıkarırlar.
Araştırmacı Lehman: “Yüksek kaliteli verilerin toplanması, özellikle sağlık hizmetleri bağlamında, makine öğrenimi görevlerini yerine getirmek için gerçekten önemlidir ve bunun yapılabileceğini gösterdik.”
MIT araştırmacıları, veri kümelerini oluşturmak için eğitimlerinin son yılında pratisyen hekimler ve tıp öğrencileriyle çalıştı. Bu tıp uzmanlarına 100’den fazla EHR taburcu özeti verdiler ve bir özeti okumalarını ve olabilecek tüm soruları sormalarını söylediler. Araştırmacılar; doğal soruları toplamak için soru türlerine veya yapılarına herhangi bir kısıtlama getirmediler. Ayrıca tıp uzmanlarından, EHR’deki her soruyu sormalarına neden olan “tetikleyici metni” tanımlamalarını istediler. Örneğin; bir tıp uzmanı EHR’de bir hastanın geçmiş, tıbbi kaydının prostat kanseri ve hipotiroidizm için önemli olduğunu söyleyen bir not okuyabilir. Tetikleyici metin olan “prostat kanseri mi?”, “uzmanı kim?” “tanı tarihi ne zaman?” veya “herhangi bir müdahale yapıldı mı?”gibi sorular sormaya yöneltebilir. Çoğu sorunun semptomlara, tedavilere veya hastanın test sonuçlarına odaklandığını buldular. Lehman; bu bulgular beklenmedik olmasa da, her geniş konuyla ilgili soru sayısının nicelleştirilmesi, gerçek bir klinik ortamda kullanım için etkili bir veri seti oluşturmalarına yardımcı olacağını söylüyor. Veri kümelerini ve beraberindeki tetikleyici metni derledikten sonra, tetikleyici metne dayalı olarak yeni sorular sormak, makine öğrenimi modellerini eğitmek için kullandılar. Daha sonra tıp uzmanları, bu soruların dört ölçüt kullanarak “iyi” olup olmadığına karar verdi:
-anlaşılabilirlik (soru bir insan hekime anlamlı geliyor mu?),
-önemsizlik (soru tetikleyici metinden çok kolay yanıtlanabilir mi?),
-tıbbi alaka düzeyi (Bu soru bir insan hekim için anlamlı mı?) (bu soruyu bağlama göre sormak mantıklı mı?)
-tetikleyiciyle alaka düzeyi (tetik soruyla mı ilgili?).
Araştırmacılar, bir modele tetikleyici metin verildiğinde, zamanın yüzde 63’ünde iyi bir soru üretebildiğini, bir insan doktorun ise; zamanın yüzde 80’inde iyi bir soru sorabileceğini buldu. Ayrıca, bu projenin başlangıcında buldukları kamuya açık veri kümelerini kullanarak klinik soruların yanıtlarını kurtarmak için modelleri eğittiler. Ardından, insan tıp uzmanları tarafından sorulan “iyi” sorulara yanıt bulup bulamayacaklarını görmek için bu eğitimli modelleri test ettiler. Modeller; doktor tarafından oluşturulan sorulara verilen yanıtların yalnızca yüzde 25’ini kurtarabildi.
Araştırmacı Lehman: “Bu sonuç gerçekten endişe verici. İnsanların iyi performans gösterdiğini düşündükleri modeller pratikte berbattı çünkü test ettikleri değerlendirme soruları başlangıçta iyi değildi”
Ekip şimdi bu çalışmayı ilk hedeflerine doğru uyguluyor: EHR’de doktorların sorularını otomatik olarak yanıtlayabilen bir model oluşturmak… Bir sonraki adımda, otomatik olarak binlerce veya milyonlarca iyi klinik soru üretebilen ve daha sonra otomatik soru yanıtlama için yeni bir model eğitmek için kullanılabilecek bir makine öğrenimi modelini eğitmek için veri kümelerini kullanacaklar. Bu modelin gerçeğe dönüşmesi için daha yapılacak çok iş olsa da, Lehman ekibin bu veri seti ile gösterdiği güçlü ilk sonuçlardan cesaret alıyor.
