Stanford çalışmasına göre bazı FDA onaylı yapay zeka tıbbi cihazları 'yeterince' değerlendirilmedi

ABD Gıda ve İlaç İdaresi (FDA) tarafından onaylanan yapay zeka destekli bazı tıbbi cihazlar, veri kaymalarına ve yeterince temsil edilmeyen hastalara karşı önyargılara karşı savunmasızdır. Bu bir Stanford'a göre ders çalışma yayınlanan Nature Medicine Geçtiğimiz hafta, yapay zeka daha fazla tıbbi cihaza gömülü hale gelse bile (FDA geçen yıl 65'ten fazla yapay zeka cihazını onayladı), bu algoritmaların doğruluğunun mutlaka titizlikle incelenmediğini buldu.

Akademik topluluk yapay zeka klinik deneyleri için kılavuzlar geliştirmeye başlamış olsa da ticari algoritmaların değerlendirilmesine yönelik yerleşik uygulamalar mevcut değildir. ABD'de yapay zeka destekli tıbbi cihazların onaylanmasından FDA sorumludur ve kurum bu cihazlarla ilgili performans verileri de dahil olmak üzere düzenli olarak bilgi yayınlamaktadır.

Stanford araştırmasının ortak yazarları, FDA onaylı tıbbi yapay zeka cihazlarından oluşan bir veri tabanı oluşturdu ve her birinin onay almadan önce nasıl test edildiğini analiz etti. Araştırmacılara göre, Ocak 126 ile Aralık 130 arasında FDA tarafından onaylanan yapay zeka destekli cihazların neredeyse tamamı (2015 cihazdan 2020'sı) yalnızca retrospektif çalışmalara tabi tutuldu. Onaylanan 54 yüksek riskli cihazın hiçbiri ileriye dönük çalışmalar tarafından değerlendirilmedi; bu, test verilerinin, cihazların kullanıma sunulmasıyla eş zamanlı olarak değil, onaylanmadan önce toplandığı anlamına geliyor.

Ortak yazarlar, özellikle yapay zeka tıbbi cihazları için ileriye dönük çalışmaların gerekli olduğunu, çünkü sahadaki kullanımın amaçlanan kullanımdan sapabileceğini savunuyorlar. Örneğin, bilgisayar destekli teşhis cihazlarının çoğu, birincil teşhis araçlarından ziyade karar destek araçları olarak tasarlanmıştır. Prospektif bir çalışma, klinisyenlerin tanı için bir cihazı kötüye kullandıklarını ortaya çıkarabilir ve bu da beklenenden farklı sonuçlara yol açabilir.

Bu sapmaların hatalara yol açabileceğini gösteren kanıtlar var. Harrisburg'daki Pensilvanya Hasta Güvenliği Otoritesi tarafından yapılan izlemede, Ocak 2016'dan Aralık 2017'ye kadar eyaletteki laboratuvar testleri sırasında EHR sistemlerinin 775 sorundan sorumlu olduğu, olayların %54.7'sinden insan-bilgisayar etkileşimlerinin ve geri kalan %45.3'ünün ise insan-bilgisayar etkileşimlerinden sorumlu olduğu ortaya çıktı. bir bilgisayar. Dahası, 2018'de yayınlanan bir ABD hükümeti raporu taslağı, klinisyenlerin ilaç etkileşimleriyle ilgili küçük sorunlardan önemli riskler oluşturanlara kadar uzanan uyarıları (bazıları yapay zeka tarafından sağlanan) sıklıkla gözden kaçırdığını ortaya çıkardı.

Stanford araştırmacıları ayrıca FDA onaylı cihazlar üzerinde yapılan testlerde hasta çeşitliliğinin eksikliğini buldu. 130 cihazdan 93'ü çoklu saha değerlendirmesine tabi tutulmazken, 4'ü yalnızca bir tesiste, 8 cihaz ise yalnızca iki tesiste test edildi. 59 cihaza ilişkin raporlarda ise çalışmaların örneklem büyüklüğünden bahsedilmedi. Bu bilgiye sahip 71 cihaz çalışmasından medyan boyutu 300'dü ve yalnızca 17 cihaz çalışmasında algoritmanın farklı hasta gruplarında nasıl performans gösterebileceği değerlendirildi.

Daha önceki çalışmalar, kısmen kod, veri kümeleri ve teknikleri yayınlama konusundaki çekingenlik nedeniyle, bugün hastalıkların teşhisi için yapay zeka algoritmalarını eğitmek için kullanılan verilerin çoğunun eşitsizlikleri devam ettirebileceğini gösterdi. İngiliz bilim adamlarından oluşan bir ekip bulundu neredeyse tüm göz hastalığı veri kümelerinin Kuzey Amerika, Avrupa ve Çin'deki hastalardan geldiğini, yani göz hastalığı teşhis algoritmalarının yeterince temsil edilmeyen ülkelerdeki ırk grupları için daha az kesin olduğu anlamına geliyor. Başka ders çalışmaToronto Üniversitesi, Vector Institute ve MIT'den araştırmacılar, yaygın olarak kullanılan göğüs röntgeni veri setlerinin kodlamak ırk, cinsiyet ve sosyoekonomik önyargı.

Temel veri seti zorluklarının ötesinde, yeterli düzeyde akran incelemesi bulunmayan modeller, gerçek dünyada kullanıldığında öngörülemeyen engellerle karşılaşabilir. Harvard'daki bilim adamları bulundu CT taramalarını tanımak ve sınıflandırmak için eğitilen algoritmalar, belirli CT makinesi üreticilerinin tarama formatlarına karşı önyargılı hale gelebilir. Bu arada, Google tarafından yayınlanan bir Whitepaper Tayland hastanelerinde göz hastalığı tahmin sisteminin uygulanmasında tarama doğruluğuyla ilgili sorunlar da dahil olmak üzere zorluklar ortaya çıktı. Ve gibi şirketlerin yürüttüğü çalışmalar Babylon SağlıkKısa mesajlardan çeşitli hastalıkların önceliklerini belirleyebildiğini iddia eden, iyi finanse edilen bir teletıp girişimi olan .

Stanford çalışmasının ortak yazarları, klinisyenlerin, araştırmacıların ve hastaların belirli bir yapay zeka tıbbi cihazının güvenilirliği hakkında bilinçli kararlar verebilmeleri için değerlendirmedeki yerlerin sayısı hakkındaki bilgilerin "tutarlı bir şekilde raporlanması" gerektiğini savunuyor. Çok bölgeli değerlendirmelerin algoritmik önyargıyı ve güvenilirliği anlamak için önemli olduğunu ve ekipman, teknisyen standartları, görüntü depolama formatları, demografik yapı ve hastalık yaygınlığındaki farklılıkların hesaba katılmasına yardımcı olabileceğini söylüyorlar.

Ortak yazarlar, "Yapay zeka cihazlarının performansını birden fazla klinik alanda değerlendirmek, algoritmaların temsili popülasyonlarda iyi performans göstermesini sağlamak için önemlidir" diye yazdı. "Standart bakımla karşılaştırmalı ileriye dönük çalışmaları teşvik etmek, zararlı aşırı uyum riskini azaltır ve gerçek klinik sonuçları daha doğru bir şekilde yakalar. Prospektif, çok merkezli denemelerde tespit edilemeyen istenmeyen sonuçların ve önyargıların anlaşılması ve ölçülmesi için AI cihazlarının pazar sonrası gözetimi de gereklidir."

Kaynak: https://venturebeat.com/2021/04/12/some-fda-approved-ai-medical-devices-are-not-adequately-evaluated-stanford-study-says/