Joitakin FDA: n hyväksymiä tekoälyn lääkinnällisiä laitteita ei ole arvioitu riittävästi, Stanfordin tutkimus kertoo

Jotkut Yhdysvaltain elintarvike- ja lääkeviraston (FDA) hyväksymät tekoälyllä toimivat lääkinnälliset laitteet ovat alttiita tietojen muutoksille ja puolueellisuudelle aliedustettuihin potilaisiin. Se on Stanfordin mukaan opiskella julkaistu Nature Medicine Viime viikolla todettiin, että vaikka tekoäly upotettaisiin enemmän lääkinnällisiin laitteisiin - FDA hyväksyi yli 65 tekoälylaitetta viime vuonna - näiden algoritmien tarkkuutta ei välttämättä tutkita tarkasti.

Vaikka akateeminen yhteisö on alkanut kehittää ohjeita tekoälyn kliinisistä kokeista, ei ole vakiintuneita käytäntöjä kaupallisten algoritmien arvioimiseksi. Yhdysvalloissa FDA vastaa tekoälyllä toimivien lääkinnällisten laitteiden hyväksymisestä, ja virasto julkaisee säännöllisesti tietoja näistä laitteista, mukaan lukien suorituskykytiedot.

Stanfordin tutkimuksen tekijät loivat tietokannan FDA: n hyväksymistä lääketieteellisistä tekoälylaitteista ja analysoivat, miten kukin testattiin ennen kuin se sai hyväksynnän. Lähes kaikille FDA: n tammikuun 126 ja joulukuun 130 välisenä aikana hyväksymille tekoälyllä toimiville laitteille - 2015: sta 2020: stä - tehtiin tutkijoiden mukaan vain takautuvat tutkimukset. Eikä mitään 54 hyväksytystä korkean riskin laitteesta arvioitu prospektiivisilla tutkimuksilla, eli testitiedot kerättiin ennen laitteiden hyväksymistä eikä samanaikaisesti niiden käyttöönoton kanssa.

Tekijät väittävät, että prospektiiviset tutkimukset ovat välttämättömiä etenkin tekoälylääketieteellisille laitteille, koska kenttäkäyttö voi poiketa suunnitellusta käytöstä. Esimerkiksi useimmat tietokoneavusteiset diagnostiikkalaitteet on suunniteltu pikemminkin diagnoosityökaluiksi kuin päätöksenteon tukityökaluiksi. Tulevaisuuden tutkimus saattaa paljastaa, että lääkärit käyttävät laitetta väärin diagnoosiin, mikä johtaa lopputuloksiin, jotka poikkeavat odotetusta.

On näyttöä siitä, että nämä poikkeamat voivat johtaa virheisiin. Harrisburgin Pennsylvanian potilasturvallisuusviranomaisen tekemä seuranta osoitti, että tammikuusta 2016 joulukuuhun 2017 EHR-järjestelmät olivat vastuussa 775 ongelmasta osavaltion laboratoriotesteissä, jolloin ihmisen ja tietokoneen vuorovaikutus aiheutti 54.7% tapahtumista ja loput 45.3% johtui tietokone. Lisäksi vuonna 2018 julkaistussa Yhdysvaltain hallituksen raporttiluonnoksessa todettiin, että lääkärit eivät harvoin kaipaa ilmoituksia - jotkut tekoälystä tietoisia - aina pienistä huumeiden vuorovaikutusta koskevista aiheista merkittäviin riskeihin.

Stanfordin tutkijat havaitsivat myös potilaan monimuotoisuuden puutteen FDA: n hyväksymillä laitteilla tehdyissä testeissä. 130 laitteen joukossa 93 ei läpäissyt usean sivuston arviointia, kun taas 4 testattiin vain yhdessä paikassa ja 8 laitetta vain kahdessa paikassa. Ja 59 laitteen raportissa ei mainittu tutkimusten otoskokoa. Niistä 71 laitetutkimuksesta, joilla oli tämä tieto, mediaanikoko oli 300, ja vain 17 laitetutkimuksessa tarkasteltiin, kuinka algoritmi voisi toimia eri potilasryhmille.

Osittain johtuen koodin, tietojoukkojen ja tekniikoiden julkaisemisen pidättyväisyydestä suuri osa tiedoista, joita käytetään nykyään tekoälyalgoritmien kouluttamiseen sairauksien diagnosoimiseksi, saattaa ylläpitää eriarvoisuutta, aikaisemmat tutkimukset ovat osoittaneet. Iso-Britannian tutkijoiden ryhmä löytyi että melkein kaikki silmäsairaudet ovat peräisin potilailta Pohjois-Amerikasta, Euroopasta ja Kiinasta, mikä tarkoittaa, että silmäsairauksia diagnosoivat algoritmit toimivat vähemmän varmasti aliedustettujen maiden roduryhmissä. Toisessa opiskella, Toronton yliopiston, Vector-instituutin ja MIT: n tutkijat osoittivat, että laajalti käytetyt rintakehän röntgentiedot koodittaa rotuun, sukupuoleen ja sosioekonomiseen puolueellisuuteen.

Perustietojoukko-haasteiden lisäksi mallit, joista puuttuu riittävä vertaisarviointi, voivat kohdata odottamattomia esteitä reaalimaailmassa. Harvardin tutkijat löytyi että algoritmit, jotka on koulutettu tunnistamaan ja luokittelemaan TT-skannauksia, voivat olla puolueellisia tiettyjen CT-koneiden valmistajien skannausmuotoja kohtaan. Samaan aikaan Googlen julkaisema whitepaper paljasti haasteet silmäsairauksien ennustamisjärjestelmän toteuttamisessa Thaimaan sairaaloissa, mukaan lukien skannaustarkkuudella. Ja sellaisten yritysten tekemät tutkimukset, kuten Babylon Health, hyvin rahoitettu telelääketieteen käynnistys, joka väittää kykenevänsä erilaisten sairauksien selvittämiseen tekstiviesteistä, on kyseenalaistettu toistuvasti.

Stanfordin tutkimuksen tekijät väittävät, että tiedot arviointikohteiden lukumäärästä on "ilmoitettava johdonmukaisesti", jotta lääkärit, tutkijat ja potilaat voivat tehdä perusteltuja päätöksiä tietyn tekoälyn lääketieteellisen laitteen luotettavuudesta. Usean sivuston arvioinnit ovat tärkeitä algoritmisten ennakkoluulojen ja luotettavuuden ymmärtämiseksi, ja niiden avulla voidaan selvittää laitteiden, teknikkostandardien, kuvien tallennusmuotojen, väestörakenteen ja tautien esiintyvyyden vaihtelut.

"Tekoälylaitteiden suorituskyvyn arviointi useissa kliinisissä kohteissa on tärkeää sen varmistamiseksi, että algoritmit toimivat hyvin edustavilla populaatioilla", kirjoittajat. "Tulevaisuuden tutkimusten kannustaminen verrattuna tavanomaiseen hoitoon vähentää haitallisen ylikuntoisuuden riskiä ja kuvaa tarkemmin todelliset kliiniset tulokset. AI-laitteiden markkinoinnin jälkeistä valvontaa tarvitaan myös sellaisten tahattomien tulosten ja ennakkoluulojen ymmärtämiseen ja mittaamiseen, joita ei havaita tulevassa monikeskustutkimuksessa. "

Lähde: https://venturebeat.com/2021/04/12/some-fda-approved-ai-medical-devices-are-not-adequately-evaluated-stanford-study-says/