Zeven uitdagingen die financiële instellingen moeten aanpakken om het potentieel van machine learning te benutten (Anshuman Prasad)

Machine learning (ML), de meest prominente tak van kunstmatige intelligentie (AI), snijdt aan twee kanten voor de financiële dienstverlening, waar de toepassingen met de dag breder worden.

De voordelen liggen voor de hand. ML-modellen zijn getraind om te leren van resultaten, net zoals het menselijk brein dat doet, en kunnen complexe taken uitvoeren op een schaal en snelheid die mensen simpelweg niet kunnen.

Maar gevaren zijn er genoeg. Complexiteit van de modellen is een risico. Velen kunnen ondoorzichtig en obscuur zijn, berucht omdat ze zwarte dozen zijn. En als niet-transparante modellen niet goed werken, kan het uit de hand lopen.

In extreme gevallen kan het er zelfs toe leiden dat financiële instellingen failliet gaan, met systeemgevolgen voor de hele economie.

Voor financiële instellingen zijn er een aantal uitdagingen om ML-modellen daadwerkelijk te laten voldoen aan de bestaande principes en best practices van modelrisicobeheer. In onze ervaring met het werken met financiële instellingen, zijn de volgende zeven van de meest voorkomende uitdagingen die we zien en welke stappen ze nemen om ze aan te pakken.

1) Operationaliseren van een ML-modelvalidatieraamwerk dat algoritmen, validatietechnieken, controles en documentatie omvat

Financiële instellingen moeten een end-to-end validatieraamwerk opzetten, specifiek voor ML-modellen.

Het selecteren van geschikte algoritmen met betrekking tot zakelijke vereisten en beschikbaarheid van gegevens is cruciaal. Dit vereist expertise in ML-modellering, zakelijk inzicht en programmeren.

De validatietechnieken voor ML-modellen verschillen van die welke financiële instellingen doorgaans gebruiken voor andere modellen. Ze kunnen ook verschillen afhankelijk van het gebruikte ML-algoritme en de beschikbaarheid en structuur van de gegevens.

Bovendien moeten hervalidaties en gerichte validaties (significante wijzigingen toegepast op bestaande modellen) worden gedekt door de tweede verdedigingslinie, om te bevestigen dat het model geschikt is voor het doel. In ML-modellen kunnen kleine wijzigingen in parameters of het afstemmen van de instellingen het gedrag van het algoritme en de resultaten van het model aanzienlijk beïnvloeden.

Vervolgens moet het controlekader aanwezig zijn, met de nadruk op het ontwerp en de effectiviteit van de controles. Volledige documentatie is een must om ervoor te zorgen dat de onafhankelijke partij het doel van modellering, gebruikte algoritmen en validatietechnieken, controle-eigendom en dekking begrijpt.

Daarnaast is het van belang dat modelvalidatiefuncties worden bemand met mensen die over de juiste kennis en vaardigheden beschikken. Daarom moeten modelvalidatieteams mensen aannemen met een achtergrond in datawetenschap en een solide basis van verschillende AI- en ML-modelleringstechnieken.

2) Opstellen van beleid met betrekking tot wettelijke vereisten, governance en controles, monitoring

Er is nog steeds veel onzekerheid over wettelijke vereisten voor validatie van ML-modellen.

Regelgevende instanties hebben algemene regelgevende verwachtingen gepresenteerd; er is echter geen formeel regelgevingskader voor ML-modellen. Financiële instellingen dienen een beleid te ontwikkelen met algemene wettelijke vereisten, waaronder mogelijk richtlijnen voor modelrisicobeheer en richtlijnen voor ML-modellen.

De richtlijnen voor risicobeheer van modellen moeten betrekking hebben op conceptuele deugdelijkheid, controles van gegevenskwaliteit, governance en controles, modelmonitoring en modelvalidatie. Het bestuur en het senior management moeten op de hoogte zijn van use cases en de effectiviteit begrijpen van de controles die worden gebruikt in de levenscyclus van het ML-model. Rollen en verantwoordelijkheden moeten duidelijk worden gedefinieerd om eigenaarschap en verantwoordelijkheid te bereiken.

3) Implementatie van ML-modellen binnen een robuuste en gecontroleerde omgeving

De implementatie van ML-modellen is vatbaar voor risico's. Vergeleken met statistische of traditionele modellen leggen de complexe specificaties van ML-algoritmen de nadruk op reken- en geheugenefficiëntie, wat de bezorgdheid over implementatierisico's vergroot.

De implementatie van ML-modellen met verschillende platformen vereist expertise en infrastructuur. De nadruk moet liggen op het creëren van een robuuste IT-infrastructuur, het ontwikkelen van tools met behulp van programmering, het verbeteren van modelmonitoring en validatie-instellingen binnen deze tools. Deze complexiteit maakt de validatietaak moeilijker om de correcte implementatie van modellen binnen het IT-systeem te verifiëren.

Documentatie van het implementatieproces stelt een onafhankelijke partij in staat om de processtroom van het gebruikte systeem te begrijpen. De modelvalidatiefunctie moet de geschiktheid van de modelimplementatie beoordelen en de uitgevoerde tests en het algemene controlekader dat aan het model ten grondslag ligt, evalueren.

4) Ontwerpen van effectieve data governance processen

Aangezien gegevens een belangrijk aspect van ML-modellen zijn, zijn adequate governanceprocessen daaromheen van cruciaal belang. Het gegevensbeheerproces moet betrekking hebben op bronnen, kwaliteitscontroles van invoergegevens, analyse van gegevens (inclusief univariate analyse en analyse van uitschieters), controles op handmatige invoer en andere aspecten.
Vanuit het oogpunt van modelvalidatie vereist het testen van gegevens een effectief raamwerk voor gegevensbeheer dat een reeks regels vaststelt voor gegevenskwaliteit, volledigheid en tijdigheid voor modellen. In die zin zijn afwijkingen van deze standaarden een uitdagend onderwerp, aangezien de gegevens die in ML-methoden worden gebruikt enorm zijn in vergelijking met die in traditionele modellen. ML-modellen zijn ook afhankelijk van grote hoeveelheden heterogene en hoog-dimensionale gegevens, waardoor het belangrijk is om te documenteren vanaf sourcing, verwerking en transformatie tot de laatste fase van de volledige implementatie van het model, om ervoor te zorgen dat de gegevens geschikt zijn.

Daarom moet het modelvalidatieteam bevestigen dat invoergegevens beschikbaar zijn en de juiste kwaliteitscontroles hebben ondergaan voordat ze in productie worden genomen. Het is ook nodig om te testen hoe verschillende ML-technieken omgaan met ontbrekende gegevens, normalisatietechnieken en afwijkende gegevens. Bedrijven moeten ook zorgen voor een goede traceerbaarheid van gegevens naar de bronsystemen, zodat problemen met gegevens bij de bron kunnen worden opgelost.

5) Controleren op gebrek aan verklaarbaarheid van ML-modellen

Het gebrek aan verklaarbaarheid van ML-modellen is een grote uitdaging voor de meer complexe technieken, zoals ANN, waar de input-output-reacties onduidelijk en transparant zijn. De complexiteit van sommige ML-modellen kan het een uitdaging maken om een ​​duidelijk overzicht te geven van de theorie, aannames en wiskundige basis van de uiteindelijke schattingen. Ten slotte blijken dergelijke modellen moeilijk efficiënt te valideren.

De black box-karakteristiek maakt het moeilijk om de conceptuele deugdelijkheid van een model te beoordelen, waardoor de betrouwbaarheid afneemt. De validatie van de hyperparameters kan bijvoorbeeld aanvullende statistische kennis vereisen, en daarom moeten instellingen ervoor zorgen dat het personeel dat toezicht houdt op de validatie naar behoren is opgeleid.

Modelvalidators kunnen kijken naar beperkende controles om het gebrek aan transparantie aan te pakken. Dergelijke controles kunnen deel uitmaken van de voortdurende monitoring die strenger is. Het wordt ook aanbevolen om benchmarkmodellen te gebruiken om outputs en afwijkingen te vergelijken met vooraf gedefinieerde regels, wat zou kunnen leiden tot verder onderzoek of stopzetting van het gebruik van modellen in de productie.

6) Hyperparameterkalibratie van ML-modellen

De belangrijkste aannames voor ML-modellen zijn meestal de hyperparameters die zijn ontwikkeld en afgestemd om in het model te worden toegepast. Als deze aannames ondoorzichtig zijn, zou de zakelijke intuïtie of deugdelijkheid dat ook zijn. Bovendien kan de waarde van de hyperparameters in ML-modellen de resultaten van het model ernstig beïnvloeden.

Wijzigingen in de hyperparameterinstellingen moeten worden geëvalueerd om de geschiktheid van de keuze van de modelleur te beoordelen. Als er verdere wijzigingen in hyperparameters worden uitgevoerd, moet het validatieteam bevestigen dat de modelresultaten consistent zijn.

7) Resultatenanalyse

Uitkomstanalyse, zoals we hebben gezien, is cruciaal om het gebrek aan verklaarbaarheid in sommige ML-technieken te compenseren. Bovendien speelt uitkomstanalyse een belangrijke rol bij het beoordelen van modelprestaties. De analyse is gericht op kruisvalidatie en zijn varianten. Back-testing procedures hebben niet dezelfde relevantie als in de traditionele modellen.

De afweging tussen variantie en vooringenomenheid in ML-modellen kan uitdagend en zorgwekkend zijn. Hoewel dit niet buiten de reikwijdte van de statistische en regressiemodellen viel, versterken ML-modellen de alarmen.

Hiervoor kunnen veel statistieken worden gebruikt, afhankelijk van de methodologie van het model. MSE kan bijvoorbeeld worden ontleed in bias en variantie. Expliciete evaluatie van de afwegingen moet worden beoordeeld en gedocumenteerd.

Out-of-sample testen is ook een belangrijk onderdeel voor uitkomstanalyse voor AI/ML. De validators moeten beoordelen en beoordelen of de juiste procedures zijn gevolgd in het modelontwikkelingsproces om ervoor te zorgen dat de uitkomstanalyse op de juiste manier wordt uitgevoerd, inclusief kruisvalidatie en testsets.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs