“Development and External Validation of an AI-model to Triage Echocardiograms” Çalışma Değerlendirmesi

Hazırlayan: Dr. Hüseyin Emre Cebeci1, Dr. Mevlüt Serdar Kuyumcu2
1Araştırma Görevlisi Doktor, Süleyman Demirel Üniversitesi Tıp Fakültesi Kardiyoloji Anabilim Dalı, Isparta, Türkiye
2Profesör Doktor, Süleyman Demirel Üniversitesi Tıp Fakültesi Kardiyoloji Anabilim Dalı, Isparta, Türkiye

Çalışmanın adı: Development and external validation of an AI-model to triage echocardiograms

Çalışmanın amacı ve metodolojisi: ABD’deki kurumların %70’inden fazlasında ekokardiyografi personeli eksikliği bildirilmekte ve bu durum gerekli transtorasik ekokardiyografi (TTE) incelemelerine erişimi kısıtlayabilmektedir. Bu çalışmada, yalnızca EKG dalga formlarını kullanarak TTE’de klinik olarak anlamlı bir patoloji bulunma olasılığını öngörmek amacıyla ASTRAL-ECG adlı derin öğrenme modeli geliştirilmiş ve dış doğrulaması yapılmıştır.

Modelin hedeflediği birleşik sonlanım noktası; Sol ventrikül ejeksiyon fraksiyonu (LVEF) %50’nin altında olması veya duvar hareket bozukluğu, en az orta derecede perikardiyal efüzyon, intrakardiyak kitle, akut aort sendromu, VSD veya ASD, en az orta derecede kapak hastalığı, en az orta derecede pulmoner hipertansiyon, aort anevrizması ve en az orta derecede sağ ventrikül disfonksiyonunu içermektedir. Model, aynı gün EKG ve TTE yapılan 45.321 olgunun yer aldığı MIMIC-IV veri tabanında iki boyutlu konvolüsyonel sinir ağı kullanılarak geliştirilmiş ve iç doğrulaması 10 katlı çapraz doğrulama ile değerlendirilmiştir. Dış doğrulama ise 77.917 hastadan oluşan çok merkezli EchoNext veri setinde gerçekleştirilmiştir. Birleşik sonlanım noktası MIMIC-IV kohortunda hastaların %34,0’ında, EchoNext kohortunda ise %41,9’unda mevcuttu.
Çalışmanın sonuçları ve tartışma: MIMIC-IV leave-out test örnekleminde modelin doğruluğu %78,4, ROC-AUC değeri 0,847, AUPRC değeri 0,745, duyarlılığı %68,3 ve özgüllüğü %83,6 olarak bulundu. Açıklanabilirlik amacıyla gerçekleştirilen Grad-CAM analizi, modelin sınıflandırma sırasında özellikle P dalgası ve QRS kompleksi çevresindeki EKG sinyallerine odaklandığını gösterdi. Çok merkezli EchoNext dış doğrulama örnekleminde modelin doğruluğu %76,8, ROC-AUC değeri 0,804, AUPRC değeri 0,705, duyarlılığı %39,9 ve özgüllüğü %95,1 olarak saptandı. Bu sonuçlar, modelin bağımsız ve çok merkezli bir veri setinde de ayırt edici performans gösterdiğini ortaya koydu. Derivasyon kohortunun leave-out test örnekleminde, duyarlılığı en üst düzeye çıkarmaya yönelik 0,098’lik karar eşiğinde duyarlılık %95,6, özgüllük %40,8, pozitif prediktif değer %45,4 ve negatif prediktif değer %94,7 olarak elde edildi. Bu bulgular, ASTRAL-ECG’nin TTE’nin yerini almak yerine, klinik olarak anlamlı patoloji saptanma olasılığı düşük TTE incelemelerinin önceliğini azaltabilecek ve sınırlı ekokardiyografi kaynaklarının daha etkin kullanılmasına yardımcı olabilecek bir triyaj aracı olarak potansiyel taşıdığını göstermektedir. Bununla birlikte, modelin klinik uygulamada kullanımı öncesinde ek klinik doğrulama gereklidir.

Erişim Linki: https://esc365.escardio.org/esc-congress/sessions/20413-artificial-intelligence-powered-assessment-of-cardiac-function

Şekil 1. EKG’de sinir ağı sınıflandırmasının odaklandığı bölgeleri gösteren Grad-CAM haritası. Kırmızı ve sarı alanlar model açısından daha yüksek öneme sahip bölgeleri, mavi alanlar ise daha düşük öneme sahip bölgeleri göstermektedir.

Şekil 2. Dış doğrulama örnekleminde modelin Kesinlik–Duyarlılık ve ROC eğrileri. Kesinlik-Duyarlılık eğrisi (PRC), farklı eşik değerlerinde kesinlik ile duyarlılık arasındaki dengeyi göstermektedir. ROC eğrisi ise gerçek pozitif oranını yanlış pozitif oranına karşı değerlendirerek modelin ayırt edici performansını göstermektedir. Dış doğrulama örnekleminde AUPRC 0,705, ROC-AUC 0,804 olarak bulunmuştur; eğri altında kalan alan değerlerinin 1,0’a yaklaşması daha yüksek ayırt edici performansı göstermektedir.

Erişim Linki: https://esc365.escardio.org/esc-congress/sessions/20413-artificial-intelligence-powered-assessment-of-cardiac-function