Sieben Herausforderungen, denen sich Finanzinstitute stellen müssen, um das Potenzial des maschinellen Lernens zu nutzen (Anshuman Prasad)

Sieben Herausforderungen, denen sich Finanzinstitute stellen müssen, um das Potenzial des maschinellen Lernens zu nutzen (Anshuman Prasad)

Zeitstempel: 9. März 2023, 11:20 Uhr
Quellknoten: 2001633

Maschinelles Lernen (ML), der prominenteste Zweig der künstlichen Intelligenz (KI), geht in beide Richtungen für die Finanzdienstleistungsbranche, wo ihre Anwendungen von Tag zu Tag breiter werden.

Die Vorteile liegen auf der Hand. ML-Modelle sind darauf trainiert, aus den Ergebnissen zu lernen, genau wie das menschliche Gehirn, und können komplexe Aufgaben in einem Umfang und mit einer Geschwindigkeit ausführen, die Menschen einfach nicht erreichen können.

Aber es gibt viele Gefahren. Die Komplexität der Modelle ist ein Risiko. Viele können undurchsichtig und obskur sein, berüchtigt dafür, Black Boxes zu sein. Und wenn nicht transparente Modelle versagen, könnten die Dinge außer Kontrolle geraten.

Im Extremfall kann es sogar zum Zusammenbruch von Finanzinstituten kommen, mit systemischen Folgen für die gesamte Wirtschaft.

Für Finanzinstitute gibt es eine Reihe von Herausforderungen, wenn es darum geht, ML-Modelle tatsächlich an die bestehenden Prinzipien und Best Practices des Modellrisikomanagements anzupassen. Nach unserer Erfahrung in der Zusammenarbeit mit Finanzinstituten sind die folgenden sieben der häufigsten Herausforderungen, die wir sehen, und welche Schritte sie unternehmen, um sie anzugehen.

1) Operationalisierung eines ML-Modell-Validierungsrahmens, der Algorithmen, Validierungstechniken, Kontrollen und Dokumentation abdeckt

Finanzinstitute müssen einen End-to-End-Validierungsrahmen speziell für ML-Modelle einrichten.

Die Auswahl geeigneter Algorithmen in Bezug auf Geschäftsanforderungen und Datenverfügbarkeit ist entscheidend. Dies erfordert Fachwissen in ML-Modellierung, Geschäftsverständnis und Programmierung.

Die Validierungstechniken für ML-Modelle unterscheiden sich von denen, die im Allgemeinen von Finanzinstituten für andere Modelle verwendet werden. Sie können sich auch nach dem verwendeten ML-Algorithmus und der Verfügbarkeit und Struktur der Daten unterscheiden.

Darüber hinaus sollten Neuvalidierungen und gezielte Validierungen (erhebliche Änderungen an bestehenden Modellen) von der zweiten Verteidigungslinie abgedeckt werden, um zu bestätigen, dass das Modell für den Zweck geeignet ist. In ML-Modellen können geringfügige Änderungen an Parametern oder die Abstimmung des Setups das Verhalten des Algorithmus und die Ergebnisse des Modells erheblich beeinflussen.

Dann muss der Kontrollrahmen vorhanden sein, wobei der Schwerpunkt auf der Gestaltung und Wirksamkeit der Kontrollen liegt. Eine vollständige Dokumentation ist ein Muss, um sicherzustellen, dass die unabhängige Partei das Ziel der Modellierung, der verwendeten Algorithmen und Validierungstechniken, der Kontrolle des Eigentums und der Abdeckung versteht.

Es ist auch wichtig, dass die Modellvalidierungsfunktionen mit Personen besetzt sind, die über die richtigen Kenntnisse und Fähigkeiten verfügen. Daher müssen Modellvalidierungsteams Mitarbeiter mit datenwissenschaftlichem Hintergrund und soliden Kenntnissen verschiedener KI- und ML-Modellierungstechniken einstellen.

2) Erstellung von Richtlinien, die regulatorische Anforderungen, Governance und Kontrollen sowie Überwachung abdecken

Es besteht nach wie vor erhebliche Unsicherheit in Bezug auf die regulatorischen Anforderungen für die ML-Modellvalidierung.

Regulierungsbehörden haben allgemeine Regulierungserwartungen vorgelegt; Es gibt jedoch keinen formalen Regulierungsrahmen für ML-Modelle. Finanzinstitute sollten eine Richtlinie entwickeln, die allgemeine regulatorische Anforderungen festlegt, die Richtlinien für das Risikomanagement von Modellen und Richtlinien für ML-Modelle umfassen könnten.

Die Richtlinien für das Modellrisikomanagement sollten konzeptionelle Solidität, Datenqualitätsprüfungen, Governance und Kontrollen, Modellüberwachung und Modellvalidierung abdecken. Der Vorstand und die Geschäftsleitung sollten sich der Anwendungsfälle bewusst sein und die Wirksamkeit der im Lebenszyklus des ML-Modells verwendeten Kontrollen verstehen. Rollen und Verantwortlichkeiten müssen klar definiert werden, um Eigenverantwortung und Rechenschaftspflicht zu erreichen.

3) Implementierung von ML-Modellen in einer robusten und kontrollierten Umgebung

Die Implementierung von ML-Modellen ist mit Risiken behaftet. Im Vergleich zu statistischen oder traditionellen Modellen belasten die komplexen Spezifikationen von ML-Algorithmen die Rechen- und Speichereffizienz, was Bedenken hinsichtlich Implementierungsrisiken verstärkt.

Die Implementierung von ML-Modellen auf verschiedenen Plattformen erfordert Fachwissen und Infrastruktur. Der Schwerpunkt sollte auf der Schaffung einer robusten IT-Infrastruktur, der Entwicklung von Tools mithilfe von Programmierung, der Verbesserung der Modellüberwachung und der Validierungskonfigurationen innerhalb dieser Tools liegen. Diese Komplexität erschwert die Validierungsaufgabe, die korrekte Implementierung von Modellen innerhalb des IT-Systems zu verifizieren.

Die Dokumentation des Implementierungsprozesses ermöglicht es einer unabhängigen Partei, den Prozessablauf des verwendeten Systems nachzuvollziehen. Die Modellvalidierungsfunktion muss die Angemessenheit der Modellimplementierung beurteilen und die durchgeführten Tests und den gesamten Kontrollrahmen, der dem Modell zugrunde liegt, bewerten.

4) Gestaltung effektiver Data-Governance-Prozesse

Da Daten ein wichtiger Aspekt von ML-Modellen sind, sind angemessene Governance-Prozesse um sie herum von entscheidender Bedeutung. Der Data-Governance-Prozess sollte Quellen, Eingangsdatenqualitätsprüfungen, Datenanalyse (einschließlich univariater Analysen und Ausreißeranalysen), Kontrollen manueller Eingaben und andere Aspekte umfassen.
Aus Sicht der Modellvalidierung erfordert das Testen von Daten ein effektives Datenmanagement-Framework, das eine Reihe von Regeln für die Datenqualität, Vollständigkeit und Aktualität von Modellen festlegt. In diesem Sinne sind Abweichungen von diesen Standards ein herausforderndes Thema, da die in ML-Methoden verwendeten Daten im Vergleich zu denen in traditionellen Modellen riesig sind. Außerdem stützen sich ML-Modelle auf große Mengen heterogener und hochdimensionaler Daten, weshalb es wichtig ist, von der Beschaffung, Verarbeitung und Transformation bis zur letzten Phase der vollständigen Bereitstellung des Modells zu dokumentieren, um sicherzustellen, dass die Daten angemessen sind.

Daher muss das Modellvalidierungsteam bestätigen, dass Eingabedaten verfügbar sind und vor der Verwendung in der Produktion angemessenen Qualitätsprüfungen unterzogen wurden. Außerdem muss getestet werden, wie verschiedene ML-Techniken mit fehlenden Daten, Normalisierungstechniken und anomalen Daten umgehen. Außerdem sollten Unternehmen eine gute Rückverfolgbarkeit der Daten zurück zu den Quellsystemen sicherstellen, damit Datenprobleme an der Quelle behoben werden können.

5) Kontrolle wegen mangelnder Erklärbarkeit von ML-Modellen

Die mangelnde Erklärbarkeit von ML-Modellen ist eine große Herausforderung für komplexere Techniken wie KNN, bei denen die Input-Output-Reaktionen unklar und nicht transparent sind. Die Komplexität einiger ML-Modelle kann es schwierig machen, einen klaren Überblick über die Theorie, die Annahmen und die mathematische Grundlage der endgültigen Schätzungen zu geben. Schließlich erweisen sich solche Modelle als schwierig effizient zu validieren.

Die Black-Box-Charakteristik erschwert die Beurteilung der konzeptionellen Solidität eines Modells und verringert seine Zuverlässigkeit. Beispielsweise kann die Validierung der Hyperparameter zusätzliche statistische Kenntnisse erfordern, und daher sollten Institutionen sicherstellen, dass das Personal, das die Validierung überwacht, angemessen geschult ist.

Modellvalidierer können sich mit mindernden Kontrollen befassen, um den Mangel an Transparenz zu beheben. Solche Kontrollen können Teil der laufenden Überwachung sein, die strenger ist. Es wird auch empfohlen, Benchmark-Modelle zu verwenden, um Ergebnisse und Abweichungen mit vordefinierten Regeln zu vergleichen, was zu einer weiteren Untersuchung oder Einstellung der Verwendung von Modellen in der Produktion führen könnte.

6) Hyperparameter-Kalibrierung von ML-Modellen

Die Schlüsselannahmen für ML-Modelle sind normalerweise die Hyperparameter, die für die Anwendung im Modell entwickelt und abgestimmt wurden. Wenn diese Annahmen undurchsichtig sind, wäre dies auch die Geschäftsintuition oder Solidität. Darüber hinaus kann der Wert der Hyperparameter in ML-Modellen die Ergebnisse des Modells stark beeinflussen.

Änderungen in den Hyperparametereinstellungen müssen bewertet werden, um die Angemessenheit der Wahl des Modellierers zu beurteilen. Wenn weitere Änderungen an Hyperparametern durchgeführt werden, muss das Validierungsteam bestätigen, dass die Modellergebnisse konsistent sind.

7) Ergebnisanalyse

Wie wir gesehen haben, ist die Ergebnisanalyse entscheidend, um den Mangel an Erklärbarkeit bei einigen ML-Techniken auszugleichen. Darüber hinaus spielt die Ergebnisanalyse eine wichtige Rolle bei der Bewertung der Modellleistung. Die Analyse konzentriert sich auf die Kreuzvalidierung und ihre Varianten. Backtesting-Verfahren haben nicht die gleiche Relevanz wie in den traditionellen Modellen.

Der Kompromiss zwischen Varianz und Bias in ML-Modellen kann herausfordernd und besorgniserregend sein. Während dies nicht außerhalb des Umfangs der Statistik- und Regressionsmodelle lag, verstärken ML-Modelle die Alarme.

Zu diesem Zweck können viele Metriken verwendet werden, abhängig von der Methodik des Modells. Beispielsweise könnte MSE in Bias und Varianz zerlegt werden. Die explizite Bewertung der Kompromisse sollte überprüft und dokumentiert werden.

Out-of-Sample-Testing ist auch ein wichtiger Bestandteil der Ergebnisanalyse für KI/ML. Die Validatoren müssen überprüfen und bewerten, ob im Modellentwicklungsprozess angemessene Verfahren befolgt wurden, um sicherzustellen, dass die Ergebnisanalyse angemessen durchgeführt wird, einschließlich Kreuzvalidierung und Testreihen.

Zeitstempel:

Mehr von Fintextra