Sete desafios que as instituições financeiras devem enfrentar para aproveitar o potencial do aprendizado de máquina (Anshuman Prasad)

Sete desafios que as instituições financeiras devem enfrentar para aproveitar o potencial do aprendizado de máquina (Anshuman Prasad)

Carimbo de hora: 9 de março de 2023 11h20
Nó Fonte: 2001633

O aprendizado de máquina (ML), o braço mais proeminente da inteligência artificial (IA), funciona nos dois sentidos para o setor de serviços financeiros, onde seus aplicativos estão ficando mais amplos a cada dia.

Os benefícios são óbvios. Os modelos de ML são treinados para aprender com os resultados, assim como o cérebro humano, e podem executar tarefas complexas em uma escala e velocidade que os humanos simplesmente não conseguem.

Mas os perigos abundam. A complexidade dos modelos é um risco. Muitos podem ser opacos e obscuros, notórios por serem caixas pretas. E quando os modelos não transparentes funcionam mal, as coisas podem sair do controle.

Em casos extremos, pode mesmo levar à falência de instituições financeiras, com consequências sistémicas para toda a economia.

Para as instituições financeiras, há uma série de desafios em realmente fazer com que os modelos de ML adiram aos princípios existentes e às melhores práticas de gerenciamento de risco de modelo. Em nossa experiência de trabalho com instituições financeiras, a seguir estão sete dos desafios mais comuns que vemos e quais medidas estão sendo tomadas para enfrentá-los.

1) Operacionalizar uma estrutura de validação de modelo de ML que abrange algoritmos, técnicas de validação, controles e documentação

As instituições financeiras precisam implementar uma estrutura de validação de ponta a ponta especificamente para modelos de ML.

A seleção de algoritmos adequados com relação aos requisitos de negócios e disponibilidade de dados é crucial. Isso requer experiência em modelagem de ML, entendimento de negócios e programação.

As técnicas de validação dos modelos de ML diferem daquelas geralmente utilizadas pelas instituições financeiras para outros modelos. Eles também podem diferir de acordo com o algoritmo de ML usado e a disponibilidade e estrutura dos dados.

Além disso, revalidações e validações direcionadas (alterações significativas aplicadas a modelos existentes) devem ser cobertas pela segunda linha de defesa, para confirmar que o modelo é adequado para o propósito. Em modelos de ML, pequenas alterações nos parâmetros ou ajustes na configuração podem afetar significativamente o comportamento do algoritmo e os resultados do modelo.

Em seguida, a estrutura de controle precisa estar em vigor, com ênfase no design e na eficácia dos controles. A documentação completa é obrigatória para garantir que a parte independente entenda o objetivo da modelagem, os algoritmos e as técnicas de validação usadas, a propriedade do controle e a cobertura.

Também é importante que as funções de validação do modelo sejam compostas por pessoas que possuam os conhecimentos e habilidades corretos. Portanto, as equipes de validação de modelo devem contratar pessoas com experiência em ciência de dados e uma base sólida de diferentes técnicas de modelagem de IA e ML.

2) Estabelecimento de políticas que cobrem requisitos regulatórios, governança e controles, monitoramento

Ainda há uma incerteza considerável em relação aos requisitos regulamentares para a validação do modelo de ML.

Os órgãos reguladores apresentaram expectativas regulatórias gerais; no entanto, não há uma estrutura regulatória formal para modelos de ML. As instituições financeiras devem desenvolver uma política estabelecendo requisitos regulatórios gerais, que podem incluir diretrizes de gerenciamento de risco de modelo e diretrizes para modelos de ML.

As diretrizes de gerenciamento de risco de modelo devem cobrir solidez conceitual, verificações de qualidade de dados, governança e controles, monitoramento de modelo e validação de modelo. O Conselho e a alta administração devem estar cientes dos casos de uso e entender a eficácia dos controles usados ​​no ciclo de vida do modelo de ML. Papéis e responsabilidades precisam ser claramente definidos para alcançar propriedade e responsabilidade.

3) Implementação de modelos de ML dentro de um ambiente robusto e controlado

A implementação de modelos de ML está predisposta a riscos. Em comparação com modelos estatísticos ou tradicionais, as especificações complexas dos algoritmos de ML enfatizam a eficiência computacional e da memória, o que aumenta as preocupações com os riscos de implementação.

A implementação de modelos de ML usando diferentes plataformas requer expertise e infraestrutura. A ênfase deve estar na criação de uma infraestrutura de TI robusta, no desenvolvimento de ferramentas usando programação, na melhoria do monitoramento de modelos e nas configurações de validação dessas ferramentas. Essa complexidade dificulta a tarefa de validação para verificar a correta implementação dos modelos dentro do sistema de TI.

A documentação do processo de implementação permite que uma parte independente entenda o fluxo do processo do sistema usado. A função de validação do modelo precisa avaliar a adequação da implementação do modelo e avaliar os testes realizados e a estrutura de controle geral que sustenta o modelo.

4) Projetando processos eficazes de governança de dados

Como os dados são um aspecto importante dos modelos de ML, os processos de governança adequados em torno deles são críticos. O processo de governança de dados deve abranger fontes, verificações de qualidade de dados de entrada, análise de dados (que inclui análise univariada e análise de outliers), controles sobre entradas manuais e outros aspectos.
Do ponto de vista da validação do modelo, o teste de dados requer uma estrutura de gerenciamento de dados eficaz que estabeleça um conjunto de regras sobre qualidade, integridade e pontualidade dos dados para os modelos. Nesse sentido, os desvios desses padrões são um tópico desafiador, pois os dados usados ​​nos métodos de ML são enormes em comparação com os modelos tradicionais. Além disso, os modelos de ML dependem de grandes volumes de dados heterogêneos e de alta dimensão, tornando importante documentar desde a origem, processamento e transformação até o último estágio da implantação completa do modelo, para garantir que os dados sejam apropriados.

Portanto, a equipe de validação do modelo deve confirmar se os dados de entrada estão disponíveis e passaram por verificações de qualidade apropriadas antes de serem usados ​​na produção. Também é necessário testar como diferentes técnicas de ML lidam com dados perdidos, técnicas de normalização e dados anômalos. Além disso, as empresas devem garantir uma boa rastreabilidade dos dados de volta aos sistemas de origem, para que os desafios de dados possam ser corrigidos na fonte.

5) Controlar a falta de explicabilidade dos modelos de ML

A falta de explicabilidade dos modelos de ML é um grande desafio para as técnicas mais complexas, como a RNA, onde as respostas entrada-saída não são claras e carecem de transparência. A complexidade de alguns modelos de ML pode dificultar o fornecimento de um esboço claro da teoria, suposições e base matemática das estimativas finais. Finalmente, tais modelos provam ser difíceis de validar de forma eficiente.

A característica da caixa preta dificulta a avaliação da solidez conceitual de um modelo, reduzindo sua confiabilidade. Por exemplo, a validação dos hiperparâmetros pode exigir conhecimento estatístico adicional e, portanto, as instituições devem garantir que a equipe que supervisiona a validação seja adequadamente treinada.

Os validadores de modelo podem analisar os controles de mitigação para lidar com a falta de transparência. Tais controles podem fazer parte de monitoramentos contínuos mais rigorosos. Também é recomendável usar modelos de referência para comparar resultados e variações com regras predefinidas, o que pode levar a uma investigação mais aprofundada ou à descontinuação do uso de modelos na produção.

6) Calibração de hiperparâmetros de modelos de ML

As principais suposições para modelos de ML geralmente são os hiperparâmetros desenvolvidos e ajustados para serem aplicados no modelo. Se essas suposições forem opacas, a intuição ou solidez do negócio também o será. Além disso, em modelos de ML, o valor dos hiperparâmetros pode impactar severamente os resultados do modelo.

Alterações nas configurações de hiperparâmetros precisam ser avaliadas para avaliar a adequação da escolha do modelador. Se forem realizadas alterações adicionais nos hiperparâmetros, a equipe de validação deve confirmar se os resultados do modelo são consistentes.

7) Análise de resultados

A análise de resultados, como vimos, é crucial para compensar a falta de explicabilidade em algumas técnicas de ML. Além disso, a análise de resultados tem um papel importante na avaliação do desempenho do modelo. A análise é focada na validação cruzada e suas variantes. Os procedimentos de backtesting não têm a mesma relevância dos modelos tradicionais.

A compensação de variância x viés em modelos de ML pode ser desafiadora e preocupante. Embora isso não esteja fora do escopo dos modelos estatísticos e de regressão, os modelos de ML amplificam os alarmes.

Muitas métricas podem ser utilizadas para esse fim, dependendo da metodologia do modelo. Por exemplo, o MSE pode ser decomposto em viés e variância. A avaliação explícita dos trade-offs deve ser revisada e documentada.

O teste fora da amostra também é um componente importante para a análise de resultados para AI/ML. Os validadores devem revisar e avaliar se os procedimentos apropriados foram seguidos no processo de desenvolvimento do modelo para garantir que a análise de resultados seja conduzida adequadamente, incluindo validação cruzada e conjuntos de teste.

Carimbo de hora:

Mais de Fintextra