Syv udfordringer, som finansielle institutioner skal tage fat på for at udnytte potentialet for maskinlæring (Anshuman Prasad)

Genudgivet af Platon

Abonnenter: 0

Machine learning (ML), den mest fremtrædende arm inden for kunstig intelligens (AI), skærer begge veje for finanssektoren, hvor dens applikationer bliver bredere for hver dag.

Fordelene er indlysende. ML-modeller er trænet til at lære af resultater, ligesom den menneskelige hjerne gør og kan udføre komplekse opgaver i en skala, og hastighed, som mennesker simpelthen ikke kan.

Men farer er der masser af. Modellernes kompleksitet er en risiko. Mange kan være uigennemsigtige og obskure, berygtede for at være sorte kasser. Og når ugennemsigtige modeller ikke fungerer, kan tingene gå ud af kontrol.

I ekstreme tilfælde kan det endda føre til, at finansielle institutioner går konkurs med systemiske konsekvenser for hele økonomien.

For finansielle institutioner er der en række udfordringer ved faktisk at få ML-modeller til at overholde de eksisterende principper og bedste praksis for modelrisikostyring. I vores erfaring med at arbejde med finansielle institutioner er følgende syv af de mest almindelige udfordringer, vi ser, og hvilke skridt de tager for at løse dem.

1) Operationalisering af en ML-modelvalideringsramme, der dækker algoritmer, valideringsteknikker, kontroller og dokumentation

Finansielle institutioner skal indføre en end-to-end valideringsramme specifikt for ML-modeller.

At vælge passende algoritmer med hensyn til forretningskrav og tilgængelighed af data er afgørende. Dette kræver ekspertise i ML-modellering, forretningsforståelse og programmering.

Valideringsteknikkerne for ML-modeller adskiller sig fra dem, der generelt anvendes af finansielle institutioner til andre modeller. De kan også afvige afhængigt af den anvendte ML-algoritme og tilgængeligheden og strukturen af dataene.

Derudover bør revalideringer og målrettede valideringer (betydelige ændringer anvendt på eksisterende modeller) dækkes af den anden forsvarslinje for at bekræfte, at modellen er egnet til formålet. I ML-modeller kan mindre ændringer i parametre eller justering af opsætningen påvirke adfærden af algoritmen og modellens resultater væsentligt.

Derefter skal kontrolrammen være på plads med vægt på udformningen og effektiviteten af kontrollerne. Fuldstændig dokumentation er et must for at sikre, at den uafhængige part forstår formålet med modellering, algoritmer og anvendte valideringsteknikker, kontrolejerskab og dækning.

Det er også vigtigt, at modelvalideringsfunktioner er bemandet med personer, der besidder den rette viden og færdigheder. Derfor skal modelvalideringsteams ansætte folk med en datavidenskabsbaggrund og en solid forankring af forskellige AI- og ML-modelleringsteknikker.

2) Opstilling af politikker, der dækker regulatoriske krav, styring og kontrol, overvågning

Der er stadig betydelig usikkerhed omkring regulatoriske krav til validering af ML-modeller.

Reguleringsorganer har fremlagt generelle regulatoriske forventninger; der er dog ingen formel lovgivningsramme for ML-modeller. Finansielle institutioner bør udvikle en politik, der angiver generelle regulatoriske krav, som kunne omfatte retningslinjer for modelrisikostyring og retningslinjer for ML-modeller.

Retningslinjerne for modelrisikostyring bør dække konceptuel soliditet, datakvalitetstjek, styring og kontrol, modelovervågning og modelvalidering. Bestyrelsen og den øverste ledelse bør være opmærksomme på use cases og forstå effektiviteten af de kontroller, der anvendes i ML-modellens livscyklus. Roller og ansvar skal være klart defineret for at opnå ejerskab og ansvarlighed.

3) Implementering af ML-modeller i et robust og kontrolleret miljø

Implementeringen af ML-modeller er disponeret for risici. Sammenlignet med statistiske eller traditionelle modeller lægger de komplekse specifikationer af ML-algoritmer vægt på beregnings- og hukommelseseffektivitet, hvilket øger bekymringen om implementeringsrisici.

Implementeringen af ML-modeller ved hjælp af forskellige platforme kræver ekspertise og infrastruktur. Vægten bør være på at skabe en robust it-infrastruktur, udvikle værktøjer ved hjælp af programmering, forbedre modelovervågning og valideringsopsætninger inden for disse værktøjer. Denne kompleksitet gør valideringsopgaven sværere at verificere den korrekte implementering af modeller i it-systemet.

Dokumentation af implementeringsprocessen gør det muligt for en uafhængig part at forstå procesflowet i det anvendte system. Modelvalideringsfunktionen skal vurdere hensigtsmæssigheden af modelimplementeringen og evaluere den udførte testning og den overordnede kontrolramme, der understøtter modellen.

4) Design af effektive datastyringsprocesser

Da data er et vigtigt aspekt af ML-modeller, er passende styringsprocesser omkring dem kritiske. Datastyringsprocessen bør dække kilder, kvalitetstjek af inputdata, analyse af data (som inkluderer univariat analyse og outliers-analyse), kontroller af manuelle input og andre aspekter.
Fra et modelvalideringsperspektiv kræver datatest en effektiv datastyringsramme, der etablerer et sæt regler om datakvalitet, fuldstændighed og aktualitet for modeller. I den forstand er afvigelser fra disse standarder et udfordrende emne, da data, der bruges i ML-metoder, er enorme sammenlignet med dem i traditionelle modeller. ML-modeller er også afhængige af store mængder af heterogene og højdimensionelle data, hvilket gør det vigtigt at dokumentere fra sourcing, behandling og transformation, indtil sidste fase af den fulde implementering af modellen, for at sikre, at data er passende.

Derfor skal modelvalideringsteamet bekræfte, at inputdata er tilgængelige og har gennemgået passende kvalitetstjek, før de bruges i produktionen. Det er også nødvendigt at teste, hvordan forskellige ML-teknikker håndterer manglende data, normaliseringsteknikker og unormale data. Virksomheder bør også sikre god sporbarhed af data tilbage til kildesystemer, så dataudfordringer kan løses ved kilden.

5) Kontrol for manglende forklarlighed af ML-modeller

Manglen på forklarlighed af ML-modeller er en stor udfordring for de mere komplekse teknikker, såsom ANN, hvor input-output-svarene er uklare og mangler gennemsigtighed. Kompleksiteten af nogle ML-modeller kan gøre det udfordrende at give en klar oversigt over teorien, antagelserne og det matematiske grundlag for de endelige estimater. Endelig viser sådanne modeller sig at være svære at validere effektivt.

Den sorte boks-karakteristik gør det vanskeligt at vurdere en models konceptuelle soliditet, hvilket reducerer dens pålidelighed. For eksempel kan valideringen af hyperparametrene kræve yderligere statistisk viden, og derfor bør institutionerne sikre, at personalet, der fører tilsyn med validering, er passende uddannet.

Modelvalidatorer kan se på afbødende kontroller for at imødegå manglen på gennemsigtighed. Sådanne kontroller kan være en del af den løbende overvågning, som er mere streng. Det anbefales også at bruge benchmarkmodeller til at sammenligne output og afvigelser i forhold til foruddefinerede regler, hvilket kan føre til yderligere undersøgelse eller afbrydelse af brugen af modeller i produktionen.

6) Hyperparameterkalibrering af ML-modeller

Nøgleantagelserne for ML-modeller er normalt de hyperparametre, der er udviklet og indstillet til at blive anvendt i modellen. Hvis disse antagelser er uigennemsigtige, ville forretningsintuitionen eller soliditeten også være det. Desuden kan værdien af hyperparametrene i ML-modeller have en alvorlig indvirkning på modellens resultater.

Ændringer i hyperparameterindstillingerne skal evalueres for at vurdere hensigtsmæssigheden af modelbyggerens valg. Hvis der udføres yderligere ændringer i hyperparametre, skal valideringsteamet bekræfte, at modelresultaterne er konsistente.

7) Resultatanalyse

Resultatanalyse, har vi set, er afgørende for at kompensere for manglen på forklarlighed i nogle ML-teknikker. Desuden spiller resultatanalyse en vigtig rolle i vurderingen af modellens ydeevne. Analysen er fokuseret på krydsvalidering og dens varianter. Back-test-procedurer har ikke samme relevans som i de traditionelle modeller.

Afvejning mellem varians og bias i ML-modeller kan være udfordrende og bekymrende. Selvom dette ikke har været uden for rammerne af de statistiske modeller og regressionsmodeller, forstærker ML-modeller alarmerne.

Mange metrics kan bruges til dette formål, afhængigt af modellens metodik. For eksempel kunne MSE dekomponeres i bias og varians. Eksplicit evaluering af afvejningerne bør gennemgås og dokumenteres.

Test uden for stikprøven er også en vigtig komponent til resultatanalyse for AI/ML. Validatorerne skal gennemgå og vurdere, om passende procedurer er blevet fulgt i modeludviklingsprocessen for at sikre, at resultatanalysen udføres korrekt, herunder krydsvalidering og testsæt.