Sept défis que les institutions financières doivent relever pour exploiter le potentiel de l'apprentissage automatique (Anshuman Prasad)

Republié par Platon

Suiveurs: 0

L'apprentissage automatique (ML), le bras le plus important de l'intelligence artificielle (IA), va dans les deux sens pour le secteur des services financiers, où ses applications s'élargissent de jour en jour.

Les avantages sont évidents. Les modèles ML sont formés pour apprendre des résultats tout comme le fait le cerveau humain et peuvent exécuter des tâches complexes à une échelle et à une vitesse que les humains ne peuvent tout simplement pas.

Mais les périls abondent. La complexité des modèles est un risque. Beaucoup peuvent être opaques et obscurs, connus pour être des boîtes noires. Et lorsque les modèles non transparents fonctionnent mal, les choses peuvent devenir incontrôlables.

Dans des cas extrêmes, cela pourrait même conduire à la faillite d'institutions financières, avec des conséquences systémiques pour l'ensemble de l'économie.

Pour les institutions financières, il existe un certain nombre de défis pour faire en sorte que les modèles de ML adhèrent aux principes existants et aux meilleures pratiques de gestion des risques de modèle. D'après notre expérience de travail avec les institutions financières, voici sept des défis les plus courants que nous constatons et les mesures qu'ils prennent pour les résoudre.

1) Opérationnaliser un cadre de validation de modèle ML qui couvre les algorithmes, les techniques de validation, les contrôles et la documentation

Les institutions financières doivent mettre en place un cadre de validation de bout en bout spécifiquement pour les modèles ML.

La sélection d'algorithmes appropriés en fonction des besoins de l'entreprise et de la disponibilité des données est cruciale. Cela nécessite une expertise en modélisation ML, en compréhension de l'entreprise et en programmation.

Les techniques de validation des modèles de BC diffèrent de celles généralement utilisées par les institutions financières pour les autres modèles. Ils peuvent également différer en fonction de l'algorithme ML utilisé et de la disponibilité et de la structure des données.

De plus, les revalidations et les validations ciblées (changements significatifs appliqués aux modèles existants) doivent être couvertes par la deuxième ligne de défense, pour confirmer que le modèle est adapté à l'objectif. Dans les modèles ML, des modifications mineures des paramètres ou le réglage de la configuration peuvent affecter de manière significative le comportement de l'algorithme et les résultats du modèle.

Ensuite, le cadre de contrôle doit être en place, en mettant l'accent sur la conception et l'efficacité des contrôles. Une documentation complète est indispensable pour s'assurer que la partie indépendante comprend l'objectif de la modélisation, les algorithmes et les techniques de validation utilisés, la propriété du contrôle et la couverture.

Il est également important que les fonctions de validation des modèles soient dotées de personnes possédant les connaissances et les compétences appropriées. Par conséquent, les équipes de validation de modèles doivent embaucher des personnes ayant une formation en science des données et une solide connaissance des différentes techniques de modélisation de l'IA et du ML.

2) Mise en place de politiques couvrant les exigences réglementaires, la gouvernance et les contrôles, la surveillance

Il existe encore une incertitude considérable concernant les exigences réglementaires pour la validation des modèles de ML.

Les organismes de réglementation ont présenté des attentes réglementaires générales ; cependant, il n'y a pas de cadre réglementaire formel pour les modèles de ML. Les institutions financières devraient élaborer une politique énonçant les exigences réglementaires générales, qui pourraient inclure des lignes directrices sur la gestion des risques liés aux modèles et des lignes directrices pour les modèles de BC.

Les lignes directrices sur la gestion des risques liés aux modèles doivent couvrir la solidité conceptuelle, les vérifications de la qualité des données, la gouvernance et les contrôles, la surveillance des modèles et la validation des modèles. Le conseil d'administration et la haute direction doivent être au courant des cas d'utilisation et comprendre l'efficacité des contrôles utilisés dans le cycle de vie du modèle ML. Les rôles et les responsabilités doivent être clairement définis pour parvenir à l'appropriation et à la responsabilisation.

3) Implémentation de modèles ML dans un environnement robuste et contrôlé

La mise en œuvre de modèles ML est prédisposée aux risques. Par rapport aux modèles statistiques ou traditionnels, les spécifications complexes des algorithmes ML mettent l'accent sur l'efficacité des calculs et de la mémoire, ce qui accroît les inquiétudes concernant les risques de mise en œuvre.

La mise en œuvre de modèles ML à l'aide de différentes plates-formes nécessite une expertise et une infrastructure. L'accent doit être mis sur la création d'une infrastructure informatique robuste, le développement d'outils utilisant la programmation, l'amélioration de la surveillance des modèles et les configurations de validation au sein de ces outils. Cette complexité rend plus difficile la tâche de validation pour vérifier la bonne implémentation des modèles au sein du système informatique.

La documentation du processus de mise en œuvre permet à une partie indépendante de comprendre le déroulement du processus du système utilisé. La fonction de validation du modèle doit évaluer la pertinence de la mise en œuvre du modèle et évaluer les tests effectués et le cadre de contrôle global qui sous-tend le modèle.

4) Concevoir des processus efficaces de gouvernance des données

Étant donné que les données sont un aspect important des modèles ML, des processus de gouvernance adéquats autour d'elles sont essentiels. Le processus de gouvernance des données doit couvrir les sources, les contrôles de la qualité des données d'entrée, l'analyse des données (qui comprend l'analyse univariée et l'analyse des valeurs aberrantes), les contrôles sur les entrées manuelles et d'autres aspects.
Du point de vue de la validation des modèles, les tests de données nécessitent un cadre de gestion des données efficace qui établit un ensemble de règles sur la qualité, l'exhaustivité et l'actualité des données pour les modèles. En ce sens, les écarts par rapport à ces normes sont un sujet difficile, car les données utilisées dans les méthodes ML sont énormes par rapport à celles des modèles traditionnels. De plus, les modèles ML reposent sur de grands volumes de données hétérogènes et de grande dimension, ce qui rend important de documenter depuis l'approvisionnement, le traitement et la transformation, jusqu'à la dernière étape du déploiement complet du modèle, pour s'assurer que les données sont appropriées.

Par conséquent, l'équipe de validation du modèle doit confirmer que les données d'entrée sont disponibles et ont subi les contrôles de qualité appropriés avant d'être utilisées en production. Il est également nécessaire de tester la façon dont différentes techniques de ML traitent les données manquantes, les techniques de normalisation et les données anormales. En outre, les entreprises doivent assurer une bonne traçabilité des données jusqu'aux systèmes sources afin que les problèmes de données puissent être résolus à la source.

5) Contrôler le manque d'explicabilité des modèles ML

Le manque d'explicabilité des modèles ML est un défi majeur pour les techniques plus complexes, telles que ANN, où les réponses entrée-sortie ne sont pas claires et manquent de transparence. La complexité de certains modèles ML peut rendre difficile la fourniture d'un aperçu clair de la théorie, des hypothèses et de la base mathématique des estimations finales. Enfin, de tels modèles s'avèrent difficiles à valider efficacement.

La caractéristique de la boîte noire rend difficile l'évaluation de la solidité conceptuelle d'un modèle, ce qui réduit sa fiabilité. Par exemple, la validation des hyperparamètres peut nécessiter des connaissances statistiques supplémentaires et, par conséquent, les établissements doivent s'assurer que le personnel supervisant la validation est correctement formé.

Les validateurs de modèles peuvent envisager d'atténuer les contrôles pour remédier au manque de transparence. De tels contrôles peuvent faire partie d'une surveillance continue plus rigoureuse. Il est également recommandé d'utiliser des modèles de référence pour comparer les sorties et les écarts par rapport à des règles prédéfinies, ce qui pourrait conduire à une enquête plus approfondie ou à l'arrêt de l'utilisation de modèles dans la production.

6) Étalonnage des hyperparamètres des modèles ML

Les hypothèses clés pour les modèles ML sont généralement les hyperparamètres développés et réglés pour être appliqués dans le modèle. Si ces hypothèses sont opaques, il en va de même pour l'intuition ou la solidité de l'entreprise. De plus, dans les modèles ML, la valeur des hyperparamètres peut avoir un impact important sur les résultats du modèle.

Les changements dans les paramètres d'hyperparamètres doivent être évalués pour évaluer la pertinence du choix du modélisateur. Si d'autres modifications des hyperparamètres sont effectuées, l'équipe de validation doit confirmer que les résultats du modèle sont cohérents.

7) Analyse des résultats

L'analyse des résultats, nous l'avons vu, est cruciale pour compenser le manque d'explicabilité de certaines techniques d'apprentissage automatique. De plus, l'analyse des résultats joue un rôle important dans l'évaluation des performances du modèle. L'analyse est centrée sur la validation croisée et ses variantes. Les procédures de back-testing n'ont pas la même pertinence que dans les modèles traditionnels.

Le compromis variance / biais dans les modèles ML peut être difficile et préoccupant. Bien que cela n'ait pas été hors de portée des modèles statistiques et de régression, les modèles ML amplifient les alarmes.

De nombreuses métriques peuvent être utilisées à cette fin, selon la méthodologie du modèle. Par exemple, la MSE pourrait être décomposée en biais et variance. L'évaluation explicite des compromis doit être examinée et documentée.

Les tests hors échantillon sont également un élément important de l'analyse des résultats pour l'IA/ML. Les validateurs doivent examiner et évaluer si les procédures appropriées ont été suivies dans le processus de développement du modèle pour s'assurer que l'analyse des résultats est correctement effectuée, y compris la validation croisée et les ensembles de tests.