Seitsemän haastetta, joihin rahoituslaitosten on puututtava hyödyntääkseen koneoppimisen potentiaalia (Anshuman Prasad)

Julkaissut Platon

seuraajia: 0

Koneoppiminen (ML), tekoälyn (AI) näkyvin haara, katkaisee molempiin suuntiin rahoituspalvelualaa, jossa sen sovellukset laajenevat päivä päivältä.

Edut ovat ilmeisiä. ML-mallit on koulutettu oppimaan tuloksista aivan kuten ihmisaivot tekevät, ja ne voivat suorittaa monimutkaisia tehtäviä sellaisessa mittakaavassa ja nopeudessa, johon ihmiset yksinkertaisesti eivät pysty.

Mutta vaaroja riittää. Mallien monimutkaisuus on riski. Monet voivat olla läpinäkymättömiä ja hämäriä, ja ne tunnetaan mustina laatikoina. Ja kun läpinäkymättömät mallit eivät toimi, asiat voivat riistäytyä käsistä.

Äärimmäisissä tapauksissa se voi jopa johtaa rahoituslaitosten kaatumiseen, millä on systeemisiä seurauksia koko talouteen.

Rahoituslaitoksille on useita haasteita saada ML-mallit noudattamaan olemassa olevia malliriskinhallinnan periaatteita ja parhaita käytäntöjä. Kokemuksemme mukaan työskennellessämme rahoituslaitosten kanssa, seuraavat seitsemän yleisintä kohtaamiamme haasteita ja toimia niiden ratkaisemiseksi.

1) ML-mallin validointikehys, joka kattaa algoritmit, validointitekniikat, ohjaukset ja dokumentaation

Rahoituslaitosten on otettava käyttöön päästä-päähän validointikehys erityisesti ML-malleille.

Sopivien algoritmien valitseminen liiketoiminnan vaatimusten ja tiedon saatavuuden kannalta on ratkaisevan tärkeää. Tämä edellyttää ML-mallinnuksen, liiketoiminnan ymmärtämisen ja ohjelmoinnin asiantuntemusta.

ML-mallien validointitekniikat eroavat niistä, joita rahoituslaitokset yleensä käyttävät muihin malleihin. Ne voivat myös vaihdella käytetyn ML-algoritmin sekä tietojen saatavuuden ja rakenteen mukaan.

Lisäksi uudelleenvalidoinnin ja kohdennettujen validointien (olemassa oleviin malleihin sovelletut merkittävät muutokset) tulisi kuulua toisen puolustuslinjan piiriin sen varmistamiseksi, että malli sopii tarkoitukseen. ML-malleissa pienet muutokset parametreihin tai asetusten virittäminen voivat vaikuttaa merkittävästi algoritmin toimintaan ja mallin tuloksiin.

Sitten valvontakehyksen on oltava paikallaan, ja siinä on korostettava valvonnan suunnittelua ja tehokkuutta. Täydelliset dokumentaatiot ovat välttämättömiä sen varmistamiseksi, että riippumaton osapuoli ymmärtää mallinnuksen tavoitteen, käytetyt algoritmit ja validointitekniikat, hallitsee omistajuutta ja kattavuutta.

On myös tärkeää, että mallien validointitoiminnoissa työskentelee ihmisiä, joilla on oikeat tiedot ja taidot. Siksi mallin validointitiimien on palkattava ihmisiä, joilla on datatieteellinen tausta ja vankka perusta erilaisille AI- ja ML-mallinnustekniikoille.

2) Lakisääteisiä vaatimuksia, hallintoa ja valvontaa sekä seurantaa koskevien toimintatapojen laatiminen

ML-mallin validointiin liittyviin sääntelyvaatimuksiin liittyy edelleen huomattavaa epävarmuutta.

Sääntelyelimet ovat esittäneet yleisiä sääntelyodotuksia; ML-malleille ei kuitenkaan ole olemassa virallista sääntelykehystä. Rahoituslaitosten tulisi kehittää yleiset sääntelyvaatimukset määrittelevä politiikka, joka voi sisältää malliriskienhallinnan ohjeet ja ohjeet ML-malleille.

Mallin riskienhallintaohjeiden tulisi kattaa käsitteellinen luotettavuus, tietojen laadun tarkistukset, hallinto ja valvonta, mallien seuranta ja mallin validointi. Hallituksen ja ylimmän johdon tulee olla tietoisia käyttötapauksista ja ymmärtää ML-mallin elinkaaren aikana käytettävien kontrollien tehokkuus. Roolit ja vastuut on määriteltävä selkeästi omistajuuden ja vastuullisuuden saavuttamiseksi.

3) ML-mallien toteutus vankassa ja kontrolloidussa ympäristössä

ML-mallien käyttöönotto on riskialtista. Verrattuna tilastollisiin tai perinteisiin malleihin ML-algoritmien monimutkaiset spesifikaatiot painottavat laskennan ja muistin tehokkuutta, mikä lisää huolta toteutusriskeistä.

ML-mallien toteuttaminen eri alustoilla vaatii asiantuntemusta ja infrastruktuuria. Painopisteen tulisi olla vankan IT-infrastruktuurin luomisessa, ohjelmointia käyttävien työkalujen kehittämisessä, mallien seurannan parantamisessa ja näiden työkalujen validointiasennuksissa. Tämä monimutkaisuus tekee validointitehtävästä vaikeampaa varmistaa mallien oikea toteutus IT-järjestelmässä.

Toteutusprosessin dokumentointi antaa riippumattomalle osapuolelle mahdollisuuden ymmärtää käytetyn järjestelmän prosessikulkua. Mallin validointitoiminnon on arvioitava mallin toteutuksen asianmukaisuus ja arvioitava suoritettu testaus ja mallin taustalla oleva yleinen ohjauskehys.

4) Tehokkaiden tiedonhallintaprosessien suunnittelu

Koska data on tärkeä osa ML-malleja, sen ympärillä olevat riittävät hallintoprosessit ovat kriittisiä. Tietojen hallinnointiprosessin tulisi kattaa lähteet, syötetietojen laadun tarkistukset, tietojen analysointi (johon sisältyy yksimuuttuja-analyysi ja outliers-analyysi), manuaalisten syötteiden hallinta ja muut näkökohdat.
Mallin validoinnin näkökulmasta tietojen testaus vaatii tehokkaan tiedonhallintakehyksen, joka määrittää mallien tietojen laadulle, täydellisyydelle ja oikea-aikaisuudelle säännöt. Siinä mielessä poikkeamat näistä standardeista ovat haastava aihe, sillä ML-menetelmissä käytetty data on valtava verrattuna perinteisiin malleihin. Lisäksi ML-mallit perustuvat suuriin määriin heterogeenista ja suuriulotteista dataa, minkä vuoksi on tärkeää dokumentoida hankinnasta, käsittelystä ja muuntamisesta mallin täyden käyttöönoton viimeiseen vaiheeseen saakka, jotta tiedot ovat asianmukaisia.

Siksi mallin validointiryhmän on vahvistettava, että syöttötiedot ovat saatavilla ja että niille on tehty asianmukaiset laatutarkastukset ennen kuin niitä käytetään tuotannossa. On myös tarpeen testata, kuinka erilaiset ML-tekniikat käsittelevät puuttuvaa dataa, normalisointitekniikoita ja poikkeavia tietoja. Yritysten tulee myös varmistaa tietojen hyvä jäljitettävyys lähdejärjestelmiin, jotta tietohaasteet voidaan korjata lähteellä.

5) Ohjaus ML-mallien selittämättömyyden vuoksi

ML-mallien selittämättömyyden puute on suuri haaste monimutkaisemmille tekniikoille, kuten ANN:lle, jossa panos-lähtövasteet ovat epäselviä ja vailla läpinäkyvyyttä. Joidenkin ML-mallien monimutkaisuus voi tehdä haastavaksi antaa selkeän hahmotelman teoriasta, oletuksista ja lopullisten arvioiden matemaattisista perusteista. Lopuksi, tällaisia malleja on vaikea validoida tehokkaasti.

Mustan laatikon ominaisuus vaikeuttaa mallin käsitteellisen kestävyyden arviointia, mikä heikentää sen luotettavuutta. Esimerkiksi hyperparametrien validointi saattaa vaatia tilastollista lisätietoa, ja siksi laitosten tulee varmistaa, että validointia valvova henkilöstö on asianmukaisesti koulutettu.

Mallin validoijat voivat tarkastella lieventäviä ohjauskeinoja avoimuuden puutteen korjaamiseksi. Tällaiset tarkastukset voivat olla osa jatkuvaa seurantaa, joka on tiukempaa. On myös suositeltavaa käyttää benchmark-malleja tulosten ja varianssien vertaamiseen ennalta määriteltyihin sääntöihin, mikä voi johtaa lisätutkimuksiin tai mallien käytön lopettamiseen tuotannossa.

6) ML-mallien hyperparametrien kalibrointi

ML-mallien keskeiset oletukset ovat yleensä mallissa käytettäväksi kehitetyt ja viritettävät hyperparametrit. Jos nämä oletukset ovat läpinäkymättömiä, niin olisi myös liike-elämän intuitio tai järkevyys. Lisäksi ML-malleissa hyperparametrien arvo voi vaikuttaa vakavasti mallin tuloksiin.

Hyperparametrin asetusten muutokset on arvioitava mallintajan valinnan asianmukaisuuden arvioimiseksi. Jos hyperparametreihin tehdään lisää muutoksia, validointiryhmän on varmistettava, että mallin tulokset ovat yhdenmukaisia.

7) Tulosanalyysi

Olemme nähneet tulosanalyysin olevan ratkaisevan tärkeä kompensoimaan joidenkin ML-tekniikoiden selittämättömyyden puute. Lisäksi tulosanalyysillä on tärkeä rooli mallin suorituskyvyn arvioinnissa. Analyysi keskittyy ristiinvalidointiin ja sen muunnelmiin. Jälkitestausmenettelyillä ei ole samaa merkitystä kuin perinteisillä malleilla.

Varianssi vs. harha kompromissi ML-malleissa voi olla haastavaa ja huolestuttavaa. Vaikka tämä ei ole ollut tilastollisten ja regressiomallien ulkopuolella, ML-mallit vahvistavat hälytyksiä.

Tähän tarkoitukseen voidaan käyttää monia mittareita mallin metodologiasta riippuen. Esimerkiksi MSE voidaan hajottaa harhaan ja varianssiin. Kompromissien eksplisiittinen arviointi olisi tarkistettava ja dokumentoitava.

Otoksen ulkopuolinen testaus on myös tärkeä osa AI/ML:n tulosanalyysiä. Validaattorien on tarkasteltava ja arvioitava, onko mallin kehitysprosessissa noudatettu asianmukaisia menettelyjä varmistaakseen tulosanalyysin asianmukaisen suorittamisen, mukaan lukien ristiinvalidointi ja testaussarjat.