Siete desafíos que las instituciones financieras deben abordar para aprovechar el potencial del aprendizaje automático (Anshuman Prasad)

El aprendizaje automático (ML), el brazo más destacado de la inteligencia artificial (IA), funciona en ambos sentidos para la industria de servicios financieros, donde sus aplicaciones son cada vez más amplias.

Los beneficios son obvios. Los modelos ML están entrenados para aprender de los resultados tal como lo hace el cerebro humano y pueden ejecutar tareas complejas a una escala y velocidad que los humanos simplemente no pueden.

Pero los peligros abundan. La complejidad de los modelos es un riesgo. Muchos pueden ser opacos y oscuros, notorios por ser cajas negras. Y cuando los modelos no transparentes funcionan mal, las cosas pueden salirse de control.

En casos extremos, podría incluso conducir a la quiebra de instituciones financieras, con consecuencias sistémicas para toda la economía.

Para las instituciones financieras, hay una serie de desafíos para hacer que los modelos de ML se adhieran a los principios existentes y las mejores prácticas de gestión de riesgos de modelo. En nuestra experiencia trabajando con instituciones financieras, los siguientes son siete de los desafíos más comunes que vemos y qué pasos están tomando para abordarlos.

1) Poner en funcionamiento un marco de validación del modelo ML que cubra algoritmos, técnicas de validación, controles y documentación

Las instituciones financieras deben implementar un marco de validación de extremo a extremo específicamente para los modelos de ML.

La selección de algoritmos adecuados con respecto a los requisitos comerciales y la disponibilidad de datos es crucial. Esto requiere experiencia en modelado de ML, comprensión empresarial y programación.

Las técnicas de validación de los modelos de ML difieren de las que suelen utilizar las entidades financieras para otros modelos. También podrían diferir según el algoritmo ML utilizado y la disponibilidad y estructura de los datos.

Además, las revalidaciones y las validaciones específicas (cambios significativos aplicados a los modelos existentes) deben estar cubiertas por la segunda línea de defensa, para confirmar que el modelo es apto para el propósito. En los modelos ML, los cambios menores en los parámetros o el ajuste de la configuración pueden afectar significativamente el comportamiento del algoritmo y los resultados del modelo.

Luego, se debe establecer el marco de control, con énfasis en el diseño y la eficacia de los controles. La documentación completa es imprescindible para garantizar que la parte independiente comprenda el objetivo del modelado, los algoritmos y las técnicas de validación utilizadas, la propiedad del control y la cobertura.

También es importante que las funciones de validación de modelos cuenten con personas que posean los conocimientos y habilidades adecuados. Por lo tanto, los equipos de validación de modelos deben contratar personas con experiencia en ciencia de datos y una base sólida de diferentes técnicas de modelado de IA y ML.

2) Establecer políticas que cubran los requisitos regulatorios, la gobernanza y los controles, el seguimiento

Todavía existe una incertidumbre considerable en torno a los requisitos reglamentarios para la validación del modelo ML.

Los organismos reguladores han presentado expectativas regulatorias generales; sin embargo, no existe un marco regulatorio formal para los modelos de ML. Las instituciones financieras deben desarrollar una política que establezca los requisitos reglamentarios generales, que podrían incluir pautas de gestión de riesgo de modelo y pautas para modelos de LD.

Las pautas de gestión del riesgo de modelo deben cubrir la solidez conceptual, los controles de calidad de los datos, la gobernanza y los controles, el seguimiento del modelo y la validación del modelo. La Junta y la alta gerencia deben estar al tanto de los casos de uso y comprender la efectividad de los controles utilizados en el ciclo de vida del modelo ML. Las funciones y responsabilidades deben definirse claramente para lograr la apropiación y la rendición de cuentas.

3) Implementación de modelos ML dentro de un entorno robusto y controlado

La implementación de modelos ML está predispuesta a riesgos. En comparación con los modelos estadísticos o tradicionales, las especificaciones complejas de los algoritmos de ML ponen énfasis en la eficiencia computacional y de memoria, lo que aumenta las preocupaciones sobre los riesgos de implementación.

La implementación de modelos ML utilizando diferentes plataformas requiere experiencia e infraestructura. El énfasis debe estar en la creación de una infraestructura de TI robusta, el desarrollo de herramientas mediante la programación, la mejora de la supervisión de modelos y las configuraciones de validación dentro de estas herramientas. Esta complejidad hace más difícil la tarea de validación para verificar la correcta implementación de los modelos dentro del sistema de TI.

La documentación del proceso de implementación permite que una parte independiente comprenda el flujo del proceso del sistema utilizado. La función de validación del modelo debe evaluar la idoneidad de la implementación del modelo y evaluar las pruebas realizadas y el marco de control general que sustenta el modelo.

4) Diseñar procesos efectivos de gobierno de datos

Dado que los datos son un aspecto importante de los modelos de ML, los procesos de gobierno adecuados a su alrededor son fundamentales. El proceso de gobierno de datos debe cubrir las fuentes, los controles de calidad de los datos de entrada, el análisis de datos (que incluye el análisis univariado y el análisis de valores atípicos), los controles de las entradas manuales y otros aspectos.
Desde la perspectiva de la validación de modelos, las pruebas de datos requieren un marco de gestión de datos efectivo que establezca un conjunto de reglas sobre la calidad, integridad y puntualidad de los datos para los modelos. En tal sentido, las desviaciones de estos estándares son un tema desafiante, ya que los datos utilizados en los métodos de ML son enormes en comparación con los de los modelos tradicionales. Además, los modelos de ML se basan en grandes volúmenes de datos heterogéneos y de gran dimensión, por lo que es importante documentar desde el abastecimiento, el procesamiento y la transformación, hasta la última etapa de la implementación completa del modelo, para garantizar que los datos sean apropiados.

Por lo tanto, el equipo de validación del modelo debe confirmar que los datos de entrada están disponibles y se han sometido a los controles de calidad adecuados antes de utilizarlos en la producción. También es necesario probar cómo las diferentes técnicas de ML manejan los datos faltantes, las técnicas de normalización y los datos anómalos. Además, las empresas deben garantizar una buena trazabilidad de los datos hasta los sistemas de origen para que los desafíos de datos puedan solucionarse en la fuente.

5) Controlar la falta de explicabilidad de los modelos ML

La falta de explicabilidad de los modelos ML es un desafío importante para las técnicas más complejas, como ANN, donde las respuestas de entrada y salida no son claras y carecen de transparencia. La complejidad de algunos modelos de ML puede dificultar la tarea de proporcionar un esquema claro de la teoría, los supuestos y la base matemática de las estimaciones finales. Finalmente, tales modelos resultan ser difíciles de validar de manera eficiente.

La característica de caja negra dificulta la evaluación de la solidez conceptual de un modelo, lo que reduce su confiabilidad. Por ejemplo, la validación de los hiperparámetros puede requerir conocimientos estadísticos adicionales y, por lo tanto, las instituciones deben asegurarse de que el personal que supervisa la validación esté debidamente capacitado.

Los validadores de modelos pueden buscar controles de mitigación para abordar la falta de transparencia. Dichos controles pueden ser parte del monitoreo continuo que son más rigurosos. También se recomienda utilizar modelos de referencia para comparar los resultados y las variaciones con las reglas predefinidas, lo que podría conducir a una mayor investigación o interrupción del uso de modelos en la producción.

6) Calibración de hiperparámetros de modelos ML

Los supuestos clave para los modelos de ML suelen ser los hiperparámetros desarrollados y ajustados para ser aplicados en el modelo. Si estos supuestos son opacos, también lo sería la intuición o solidez empresarial. Además, en los modelos ML, el valor de los hiperparámetros puede afectar gravemente los resultados del modelo.

Los cambios en la configuración de los hiperparámetros deben evaluarse para evaluar la idoneidad de la elección del modelador. Si se realizan más cambios en los hiperparámetros, el equipo de validación debe confirmar que los resultados del modelo son consistentes.

7) Análisis de resultados

El análisis de resultados, como hemos visto, es crucial para compensar la falta de explicabilidad en algunas técnicas de ML. Además, el análisis de resultados tiene un papel importante en la evaluación del rendimiento del modelo. El análisis se centra en la validación cruzada y sus variantes. Los procedimientos de backtesting no tienen la misma relevancia que en los modelos tradicionales.

La compensación entre varianza y sesgo en los modelos de aprendizaje automático puede ser desafiante y preocupante. Si bien esto no ha estado fuera del alcance de los modelos estadísticos y de regresión, los modelos ML amplifican las alarmas.

Se pueden usar muchas métricas para este propósito, dependiendo de la metodología del modelo. Por ejemplo, MSE podría descomponerse en sesgo y varianza. Se debe revisar y documentar la evaluación explícita de las compensaciones.

Las pruebas fuera de muestra también son un componente importante para el análisis de resultados para AI/ML. Los validadores deben revisar y evaluar si se han seguido los procedimientos apropiados en el proceso de desarrollo del modelo para garantizar que el análisis de resultados se realice de manera adecuada, incluida la validación cruzada y los conjuntos de pruebas.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Fuente: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs