Syv utfordringer finansinstitusjoner må takle for å utnytte maskinlæringspotensialet (Anshuman Prasad)

Syv utfordringer finansinstitusjoner må takle for å utnytte maskinlæringspotensialet (Anshuman Prasad)

Tidsstempel: 9. mars 2023 11:20
Kilde node: 2001633

Maskinlæring (ML), den mest fremtredende armen innen kunstig intelligens (AI), skjærer begge veier for finansnæringen, der applikasjonene blir bredere for hver dag.

Fordelene er åpenbare. ML-modeller er opplært til å lære av resultater akkurat som den menneskelige hjernen gjør og kan utføre komplekse oppgaver i en skala og hastighet mennesker rett og slett ikke kan.

Men farene er mange. Modellenes kompleksitet er en risiko. Mange kan være ugjennomsiktige og obskure, beryktet for å være svarte bokser. Og når ugjennomsiktige modeller ikke fungerer, kan ting gå ut av kontroll.

I ekstreme tilfeller kan det til og med føre til at finansinstitusjoner svikter, med systemmessige konsekvenser for hele økonomien.

For finansinstitusjoner er det en rekke utfordringer med å faktisk få ML-modeller til å følge de eksisterende prinsippene og beste praksisene for modellrisikostyring. I vår erfaring med finansinstitusjoner er følgende syv av de vanligste utfordringene vi ser og hvilke skritt de tar for å løse dem.

1) Operasjonalisere et ML-modellvalideringsrammeverk som dekker algoritmer, valideringsteknikker, kontroller og dokumentasjon

Finansinstitusjoner må sette på plass et ende-til-ende valideringsrammeverk spesielt for ML-modeller.

Å velge passende algoritmer med hensyn til forretningskrav og tilgjengelighet av data er avgjørende. Dette krever ekspertise innen ML-modellering, forretningsforståelse og programmering.

Valideringsteknikkene for ML-modeller skiller seg fra de som vanligvis brukes av finansinstitusjoner for andre modeller. De kan også variere i henhold til ML-algoritmen som brukes og tilgjengeligheten og strukturen til dataene.

I tillegg bør revalideringer og målrettede valideringer (betydelige endringer brukt på eksisterende modeller) dekkes av den andre forsvarslinjen, for å bekrefte at modellen er egnet for formålet. I ML-modeller kan mindre endringer i parametere eller justering av oppsettet påvirke oppførselen til algoritmen og modellens resultater betydelig.

Da må kontrollrammeverket være på plass, med vekt på utformingen og effektiviteten til kontrollene. Fullstendig dokumentasjon er et must for å sikre at den uavhengige parten forstår målet med modellering, algoritmer og valideringsteknikker som brukes, kontrolleierskap og dekning.

Det er også viktig at modellvalideringsfunksjoner er bemannet med personer som besitter riktig kunnskap og ferdigheter. Derfor må modellvalideringsteam ansette folk med datavitenskapelig bakgrunn og solid forankring av forskjellige AI- og ML-modelleringsteknikker.

2) Sette opp retningslinjer som dekker regulatoriske krav, styring og kontroller, overvåking

Det er fortsatt betydelig usikkerhet rundt regulatoriske krav til ML-modellvalidering.

Reguleringsorganer har presentert generelle regulatoriske forventninger; Det er imidlertid ikke noe formelt regelverk for ML-modeller. Finansinstitusjoner bør utvikle en policy som angir generelle regulatoriske krav, som kan inkludere retningslinjer for modellrisikostyring og retningslinjer for ML-modeller.

Retningslinjene for modellrisikostyring bør dekke konseptuell soliditet, datakvalitetskontroller, styring og kontroller, modellovervåking og modellvalidering. Styret og toppledelsen bør være oppmerksomme på brukstilfeller og forstå effektiviteten av kontrollene som brukes i ML-modellens livssyklus. Roller og ansvar må være klart definert for å oppnå eierskap og ansvarlighet.

3) Implementering av ML-modeller innenfor et robust og kontrollert miljø

Implementering av ML-modeller er disponert for risiko. Sammenlignet med statistiske eller tradisjonelle modeller legger de komplekse spesifikasjonene til ML-algoritmer vekt på beregnings- og minneeffektivitet, noe som øker bekymringene for implementeringsrisiko.

Implementering av ML-modeller ved bruk av ulike plattformer krever ekspertise og infrastruktur. Det bør legges vekt på å skape en robust IT-infrastruktur, utvikle verktøy ved bruk av programmering, forbedre modellovervåking og valideringsoppsett innenfor disse verktøyene. Denne kompleksiteten gjør valideringsoppgaven vanskeligere å verifisere riktig implementering av modeller i IT-systemet.

Dokumentasjon av implementeringsprosessen gjør det mulig for en uavhengig part å forstå prosessflyten til systemet som brukes. Modellvalideringsfunksjonen må vurdere hensiktsmessigheten av modellimplementeringen, og evaluere testingen utført og det overordnede kontrollrammeverket som ligger til grunn for modellen.

4) Utforme effektive datastyringsprosesser

Siden data er et viktig aspekt ved ML-modeller, er tilstrekkelige styringsprosesser rundt dem avgjørende. Datastyringsprosessen bør dekke kilder, kvalitetskontroller av inputdata, analyse av data (som inkluderer univariat analyse og uteliggeranalyse), kontroller på manuelle input og andre aspekter.
Fra et modellvalideringsperspektiv krever datatesting et effektivt dataadministrasjonsrammeverk som etablerer et sett med regler for datakvalitet, fullstendighet og aktualitet for modeller. Slik sett er avvik fra disse standardene et utfordrende tema, da data som brukes i ML-metoder er enorme sammenlignet med tradisjonelle modeller. ML-modeller er også avhengige av store volumer av heterogene og høydimensjonale data, noe som gjør det viktig å dokumentere fra innkjøp, prosessering og transformasjon, til siste fase av den fulle utrullingen av modellen, for å sikre at data er passende.

Derfor må modellvalideringsteamet bekrefte at inputdata er tilgjengelig og har gjennomgått passende kvalitetskontroller før de brukes i produksjon. Det er også nødvendig å teste hvordan ulike ML-teknikker håndterer manglende data, normaliseringsteknikker og unormale data. Bedrifter bør også sikre god sporbarhet av data tilbake til kildesystemer slik at datautfordringer kan løses ved kilden.

5) Kontrollere for manglende forklarbarhet av ML-modeller

Mangelen på forklarbarhet av ML-modeller er en stor utfordring for de mer komplekse teknikkene, slik som ANN, hvor input-output-svarene er uklare og mangler åpenhet. Kompleksiteten til noen ML-modeller kan gjøre det utfordrende å gi en klar oversikt over teorien, antakelsene og det matematiske grunnlaget for de endelige estimatene. Til slutt viser det seg at slike modeller er vanskelige å validere effektivt.

Den svarte boks-karakteristikken gjør det vanskelig å vurdere en modells konseptuelle soliditet, noe som reduserer påliteligheten. For eksempel kan valideringen av hyperparametrene kreve ytterligere statistisk kunnskap, og derfor bør institusjoner sørge for at personalet som fører tilsyn med validering er riktig opplært.

Modellvalidatorer kan se på avbøtende kontroller for å løse mangelen på åpenhet. Slike kontroller kan være en del av den løpende overvåkingen som er strengere. Det anbefales også å bruke referansemodeller for å sammenligne resultater og avvik mot forhåndsdefinerte regler, noe som kan føre til ytterligere undersøkelser eller avvikling av bruken av modeller i produksjonen.

6) Hyperparameterkalibrering av ML-modeller

Nøkkelforutsetningene for ML-modeller er vanligvis hyperparametrene utviklet og innstilt for å brukes i modellen. Hvis disse forutsetningene er ugjennomsiktige, vil det også være forretningsintuisjonen eller soliditeten. Dessuten, i ML-modeller, kan verdien av hyperparametrene ha stor innvirkning på modellens resultater.

Endringer i hyperparameterinnstillingene må evalueres for å vurdere hensiktsmessigheten av modellbyggerens valg. Hvis ytterligere endringer i hyperparametre utføres, må valideringsteamet bekrefte at modellresultatene er konsistente.

7) Resultatanalyse

Resultatanalyse, har vi sett, er avgjørende for å kompensere for mangelen på forklarbarhet i enkelte ML-teknikker. Dessuten har resultatanalyse en viktig rolle i å vurdere modellytelse. Analysen er fokusert på kryssvalidering og dens varianter. Back-testing prosedyrer har ikke samme relevans som i de tradisjonelle modellene.

Avveining mellom varians og skjevhet i ML-modeller kan være utfordrende og bekymringsfull. Selv om dette ikke har vært utenfor omfanget av statistiske og regresjonsmodeller, forsterker ML-modeller alarmene.

Mange beregninger kan brukes til dette formålet, avhengig av modellens metodikk. For eksempel kan MSE dekomponeres i skjevhet og varians. Eksplisitt evaluering av avveiningene bør gjennomgås og dokumenteres.

Ut-av-prøve-testing er også en viktig komponent for resultatanalyse for AI/ML. Validatorene må gjennomgå og vurdere om hensiktsmessige prosedyrer har blitt fulgt i modellutviklingsprosessen for å sikre at resultatanalysen er riktig utført, inkludert kryssvalidering og testsett.

Tidstempel:

Mer fra Fintextra