Sju utmaningar som finansinstitut måste ta itu med för att utnyttja maskininlärningens potential (Anshuman Prasad)

Sju utmaningar som finansinstitut måste ta itu med för att utnyttja maskininlärningens potential (Anshuman Prasad)

Tidsstämpel: 9 mars 2023 11:20
Källnod: 2001633

Maskininlärning (ML), den mest framträdande grenen av artificiell intelligens (AI), skär åt båda hållen för finansbranschen, där dess tillämpningar blir bredare för varje dag.

Fördelarna är uppenbara. ML-modeller är tränade för att lära av resultat precis som den mänskliga hjärnan gör och kan utföra komplexa uppgifter i en skala och hastighet som människor helt enkelt inte kan.

Men farorna finns i överflöd. Modellernas komplexitet är en risk. Många kan vara ogenomskinliga och obskyra, ökända för att vara svarta lådor. Och när icke-transparenta modeller inte fungerar kan saker och ting gå över styr.

I extrema fall kan det till och med leda till att finansiella institutioner går under, med systemkonsekvenser för hela ekonomin.

För finansiella institutioner finns det ett antal utmaningar i att faktiskt få ML-modeller att följa befintliga principer och bästa praxis för modellriskhantering. Enligt vår erfarenhet av att arbeta med finansiella institutioner är följande sju av de vanligaste utmaningarna vi ser och vilka steg de tar för att ta itu med dem.

1) Operationalisera ett ramverk för validering av ML-modeller som täcker algoritmer, valideringstekniker, kontroller och dokumentation

Finansiella institutioner måste införa ett ramverk för end-to-end-validering specifikt för ML-modeller.

Att välja lämpliga algoritmer med hänsyn till affärskrav och tillgänglighet av data är avgörande. Detta kräver expertis inom ML-modellering, affärsförståelse och programmering.

Valideringsteknikerna för ML-modeller skiljer sig från de som vanligtvis används av finansinstitut för andra modeller. De kan också skilja sig åt beroende på vilken ML-algoritm som används och dataernas tillgänglighet och struktur.

Dessutom bör omvalideringar och riktade valideringar (betydande förändringar som tillämpas på befintliga modeller) täckas av den andra försvarslinjen, för att bekräfta att modellen är lämplig för ändamålet. I ML-modeller kan mindre ändringar i parametrar eller justering av inställningen påverka algoritmens beteende och modellens resultat avsevärt.

Sedan måste kontrollramverket finnas på plats, med tonvikt på kontrollernas utformning och effektivitet. Fullständig dokumentation är ett måste för att säkerställa att den oberoende parten förstår syftet med modellering, algoritmer och valideringstekniker som används, kontrollägande och täckning.

Det är också viktigt att modellvalideringsfunktioner bemannas med personer som besitter rätt kunskaper och färdigheter. Därför måste modellvalideringsteam anställa personer med en datavetenskaplig bakgrund och en solid grund av olika AI- och ML-modelleringstekniker.

2) Inrätta policyer som täcker regulatoriska krav, styrning och kontroller, övervakning

Det råder fortfarande stor osäkerhet kring myndighetskrav för validering av ML-modeller.

Tillsynsorgan har presenterat allmänna regleringsförväntningar; det finns dock inget formellt regelverk för ML-modeller. Finansiella institut bör utveckla en policy som anger allmänna myndighetskrav, som kan innefatta riktlinjer för modellriskhantering och riktlinjer för ML-modeller.

Riktlinjerna för modellriskhantering bör omfatta konceptuell sundhet, datakvalitetskontroller, styrning och kontroller, modellövervakning och modellvalidering. Styrelsen och ledande befattningshavare bör vara medvetna om användningsfall och förstå effektiviteten av de kontroller som används i ML-modellens livscykel. Roller och ansvar måste vara tydligt definierade för att uppnå ägarskap och ansvarsskyldighet.

3) Implementering av ML-modeller i en robust och kontrollerad miljö

Implementeringen av ML-modeller är utsatt för risker. Jämfört med statistiska eller traditionella modeller lägger de komplexa specifikationerna för ML-algoritmer stress på beräknings- och minneseffektivitet, vilket ökar oron för implementeringsrisker.

Implementeringen av ML-modeller med olika plattformar kräver expertis och infrastruktur. Tonvikten bör ligga på att skapa en robust IT-infrastruktur, utveckla verktyg som använder programmering, förbättra modellövervakning och valideringsinställningar inom dessa verktyg. Denna komplexitet gör valideringsuppgiften svårare att verifiera korrekt implementering av modeller inom IT-systemet.

Dokumentation av implementeringsprocessen gör det möjligt för en oberoende part att förstå processflödet i det system som används. Modellvalideringsfunktionen måste bedöma lämpligheten av modellimplementeringen och utvärdera den utförda testningen och det övergripande kontrollramverket som ligger till grund för modellen.

4) Utforma effektiva datastyrningsprocesser

Eftersom data är en viktig aspekt av ML-modeller är adekvata styrningsprocesser kring det avgörande. Datastyrningsprocessen bör omfatta källor, kvalitetskontroller av indata, analys av data (som inkluderar univariat analys och analys av extremvärden), kontroller av manuella inmatningar och andra aspekter.
Ur ett modellvalideringsperspektiv kräver datatestning ett effektivt ramverk för datahantering som fastställer en uppsättning regler om datakvalitet, fullständighet och aktualitet för modeller. I en sådan mening är avvikelser från dessa standarder ett utmanande ämne, eftersom data som används i ML-metoder är enorma jämfört med traditionella modeller. ML-modeller förlitar sig också på stora volymer av heterogen och högdimensionell data, vilket gör det viktigt att dokumentera från inköp, bearbetning och transformation, till det sista steget av den fullständiga implementeringen av modellen, för att säkerställa att data är lämpliga.

Därför måste modellvalideringsteamet bekräfta att indata finns tillgängliga och har genomgått lämpliga kvalitetskontroller innan de används i produktionen. Det är också nödvändigt att testa hur olika ML-tekniker hanterar saknad data, normaliseringstekniker och avvikande data. Företag bör också säkerställa god spårbarhet av data tillbaka till källsystem så att datautmaningar kan åtgärdas vid källan.

5) Kontroll för bristande förklaring av ML-modeller

Bristen på förklaringsmöjligheter för ML-modeller är en stor utmaning för de mer komplexa teknikerna, såsom ANN, där input-output-svaren är otydliga och saknar transparens. Komplexiteten hos vissa ML-modeller kan göra det utmanande att ge en tydlig översikt över teorin, antagandena och den matematiska grunden för de slutliga uppskattningarna. Slutligen visar sig sådana modeller vara svåra att validera effektivt.

Den svarta lådan gör det svårt att bedöma en modells konceptuella sundhet, vilket minskar dess tillförlitlighet. Till exempel kan valideringen av hyperparametrarna kräva ytterligare statistisk kunskap, och därför bör institutionerna se till att personalen som övervakar valideringen har lämplig utbildning.

Modellvaliderare kan titta på mildrande kontroller för att åtgärda bristen på transparens. Sådana kontroller kan vara en del av den pågående övervakningen som är mer rigorösa. Det rekommenderas också att använda benchmarkmodeller för att jämföra utdata och avvikelser mot fördefinierade regler, vilket kan leda till ytterligare undersökning eller avbrytande av användningen av modeller i produktionen.

6) Hyperparameterkalibrering av ML-modeller

De viktigaste antagandena för ML-modeller är vanligtvis hyperparametrarna som utvecklats och anpassats för att användas i modellen. Om dessa antaganden är ogenomskinliga, så skulle affärsintuitionen eller sundheten vara det. Dessutom, i ML-modeller kan värdet av hyperparametrarna allvarligt påverka modellens resultat.

Ändringar i hyperparameterinställningarna måste utvärderas för att bedöma lämpligheten av modellerarens val. Om ytterligare ändringar i hyperparametrar görs måste valideringsteamet bekräfta att modellresultaten är konsekventa.

7) Resultatanalys

Resultatanalys, har vi sett, är avgörande för att kompensera för bristen på förklaringsbarhet i vissa ML-tekniker. Dessutom har resultatanalys en viktig roll för att bedöma modellprestanda. Analysen är fokuserad på korsvalidering och dess varianter. Back-testing-procedurer har inte samma relevans som i de traditionella modellerna.

Varians kontra bias avvägning i ML-modeller kan vara utmanande och oroande. Även om detta inte har varit utanför ramarna för de statistiska och regressionsmodellerna, förstärker ML-modellerna larmen.

Många mätetal kan användas för detta ändamål, beroende på modellens metodik. Till exempel kan MSE delas upp i bias och varians. Explicit utvärdering av avvägningarna bör granskas och dokumenteras.

Utomprovstestning är också en viktig komponent för resultatanalys för AI/ML. Validatorerna måste granska och bedöma om lämpliga procedurer har följts i modellutvecklingsprocessen för att säkerställa att resultatanalysen genomförs på lämpligt sätt, inklusive korsvalidering och testuppsättningar.

Tidsstämpel:

Mer från Fintextra