Sette sfide che le istituzioni finanziarie devono affrontare per sfruttare il potenziale del machine learning (Anshuman Prasad)

L'apprendimento automatico (ML), il braccio più importante dell'intelligenza artificiale (AI), è un vantaggio per il settore dei servizi finanziari, dove le sue applicazioni si stanno ampliando di giorno in giorno.

I vantaggi sono evidenti. I modelli ML sono addestrati per imparare dai risultati proprio come fa il cervello umano e possono eseguire compiti complessi su una scala e una velocità che gli esseri umani semplicemente non possono.

Ma i pericoli abbondano. La complessità dei modelli è un rischio. Molti possono essere opachi e oscuri, noti per essere scatole nere. E quando i modelli non trasparenti non funzionano correttamente, le cose potrebbero sfuggire di mano.

In casi estremi, potrebbe persino portare al fallimento delle istituzioni finanziarie, con conseguenze sistemiche per l'intera economia.

Per gli istituti finanziari, ci sono una serie di sfide nel far aderire effettivamente i modelli ML ai principi esistenti e alle migliori pratiche di gestione del rischio del modello. Nella nostra esperienza di lavoro con le istituzioni finanziarie, le seguenti sono sette delle sfide più comuni che vediamo e quali passi stanno intraprendendo per affrontarle.

1) Rendere operativo un framework di convalida del modello ML che copre algoritmi, tecniche di convalida, controlli e documentazione

Gli istituti finanziari devono mettere in atto un framework di convalida end-to-end specifico per i modelli ML.

La selezione di algoritmi adeguati rispetto ai requisiti aziendali e alla disponibilità dei dati è fondamentale. Ciò richiede esperienza nella modellazione ML, comprensione del business e programmazione.

Le tecniche di convalida per i modelli ML differiscono da quelle generalmente utilizzate dalle istituzioni finanziarie per altri modelli. Potrebbero anche differire in base all'algoritmo ML utilizzato e alla disponibilità e struttura dei dati.

Inoltre, le riconvalide e le convalide mirate (modifiche significative applicate ai modelli esistenti) dovrebbero essere coperte dalla seconda linea di difesa, per confermare che il modello è adatto allo scopo. Nei modelli ML, piccole modifiche ai parametri o l'ottimizzazione della configurazione possono influire in modo significativo sul comportamento dell'algoritmo e sui risultati del modello.

Quindi, deve essere predisposto il quadro di controllo, con particolare attenzione alla progettazione e all'efficacia dei controlli. La documentazione completa è un must per garantire che la parte indipendente comprenda l'obiettivo della modellazione, gli algoritmi e le tecniche di convalida utilizzate, la proprietà del controllo e la copertura.

È anche importante che le funzioni di validazione del modello siano gestite da persone che possiedono le giuste conoscenze e competenze. Pertanto, i team di convalida del modello devono assumere persone con un background di scienza dei dati e una solida base di diverse tecniche di modellazione di AI e ML.

2) Stabilire politiche che coprano i requisiti normativi, la governance e i controlli, il monitoraggio

C'è ancora una notevole incertezza sui requisiti normativi per la convalida del modello ML.

Gli organismi di regolamentazione hanno presentato aspettative normative generali; tuttavia, non esiste un quadro normativo formale per i modelli ML. Gli istituti finanziari dovrebbero sviluppare una politica che stabilisca i requisiti normativi generali, che potrebbero includere linee guida per la gestione del rischio di modello e linee guida per i modelli ML.

Le linee guida per la gestione del rischio di modello dovrebbero coprire solidità concettuale, controlli sulla qualità dei dati, governance e controlli, monitoraggio e convalida del modello. Il consiglio di amministrazione e l'alta dirigenza dovrebbero essere a conoscenza dei casi d'uso e comprendere l'efficacia dei controlli utilizzati nel ciclo di vita del modello ML. I ruoli e le responsabilità devono essere chiaramente definiti per ottenere titolarità e responsabilità.

3) Implementazione di modelli ML all'interno di un ambiente robusto e controllato

L'implementazione dei modelli ML è predisposta ai rischi. Rispetto ai modelli statistici o tradizionali, le complesse specifiche degli algoritmi ML mettono l'accento sull'efficienza computazionale e della memoria, il che aumenta le preoccupazioni sui rischi di implementazione.

L'implementazione di modelli ML utilizzando diverse piattaforme richiede esperienza e infrastruttura. L'accento dovrebbe essere posto sulla creazione di una solida infrastruttura IT, lo sviluppo di strumenti che utilizzano la programmazione, il miglioramento del monitoraggio dei modelli e le impostazioni di convalida all'interno di questi strumenti. Questa complessità rende più difficile l'attività di validazione per verificare la corretta implementazione dei modelli all'interno del sistema informatico.

La documentazione del processo di implementazione consente a una parte indipendente di comprendere il flusso di processo del sistema utilizzato. La funzione di convalida del modello deve valutare l'adeguatezza dell'implementazione del modello e valutare i test eseguiti e il quadro di controllo generale alla base del modello.

4) Progettare efficaci processi di data governance

Poiché i dati sono un aspetto importante dei modelli ML, i processi di governance adeguati attorno ad essi sono fondamentali. Il processo di governance dei dati dovrebbe coprire le fonti, i controlli di qualità dei dati di input, l'analisi dei dati (che include l'analisi univariata e l'analisi dei valori anomali), i controlli sugli input manuali e altri aspetti.
Dal punto di vista della convalida del modello, il test dei dati richiede un framework di gestione dei dati efficace che stabilisca una serie di regole sulla qualità, la completezza e la tempestività dei dati per i modelli. In tal senso, le deviazioni da questi standard sono un argomento impegnativo, poiché i dati utilizzati nei metodi ML sono enormi rispetto a quelli dei modelli tradizionali. Inoltre, i modelli ML si basano su grandi volumi di dati eterogenei e ad alta dimensione, rendendo importante documentare dall'approvvigionamento, elaborazione e trasformazione, fino all'ultima fase della distribuzione completa del modello, per garantire che i dati siano appropriati.

Pertanto, il team di convalida del modello deve confermare che i dati di input sono disponibili e sono stati sottoposti a controlli di qualità appropriati prima di essere utilizzati in produzione. È inoltre necessario testare come le diverse tecniche ML gestiscono i dati mancanti, le tecniche di normalizzazione e i dati anomali. Inoltre, le aziende dovrebbero garantire una buona tracciabilità dei dati fino ai sistemi di origine in modo che i problemi relativi ai dati possano essere risolti alla fonte.

5) Controllo per mancanza di spiegabilità dei modelli ML

La mancanza di spiegabilità dei modelli ML è una sfida importante per le tecniche più complesse, come ANN, dove le risposte input-output sono poco chiare e prive di trasparenza. La complessità di alcuni modelli ML può rendere difficile fornire un profilo chiaro della teoria, dei presupposti e delle basi matematiche delle stime finali. Infine, tali modelli si dimostrano difficili da convalidare in modo efficiente.

La caratteristica della scatola nera rende difficile valutare la solidità concettuale di un modello, riducendone l'affidabilità. Ad esempio, la convalida degli iperparametri può richiedere ulteriori conoscenze statistiche e, pertanto, le istituzioni dovrebbero garantire che il personale che supervisiona la convalida sia adeguatamente formato.

I validatori di modelli possono cercare di mitigare i controlli per affrontare la mancanza di trasparenza. Tali controlli possono essere parte del monitoraggio continuo che è più rigoroso. Si raccomanda inoltre di utilizzare modelli di benchmark per confrontare output e scostamenti rispetto a regole predefinite, il che potrebbe portare a ulteriori indagini o all'interruzione dell'uso dei modelli nella produzione.

6) Calibrazione iperparametrica dei modelli ML

I presupposti chiave per i modelli ML sono in genere gli iperparametri sviluppati e ottimizzati per essere applicati nel modello. Se questi presupposti sono opachi, lo sarebbe anche l'intuizione o la solidità aziendale. Inoltre, nei modelli ML, il valore degli iperparametri può avere un forte impatto sui risultati del modello.

Le modifiche nelle impostazioni dell'iperparametro devono essere valutate per valutare l'adeguatezza della scelta del modellatore. Se vengono apportate ulteriori modifiche agli iperparametri, il team di convalida deve confermare che i risultati del modello sono coerenti.

7) Analisi dei risultati

L'analisi dei risultati, abbiamo visto, è fondamentale per compensare la mancanza di spiegabilità in alcune tecniche di machine learning. Inoltre, l'analisi dei risultati ha un ruolo importante nella valutazione delle prestazioni del modello. L'analisi è incentrata sulla convalida incrociata e le sue varianti. Le procedure di backtesting non hanno la stessa rilevanza dei modelli tradizionali.

Il compromesso tra varianza e bias nei modelli ML può essere impegnativo e preoccupante. Anche se questo non è stato fuori dall'ambito dei modelli statistici e di regressione, i modelli ML amplificano gli allarmi.

Molte metriche possono essere utilizzate per questo scopo, a seconda della metodologia del modello. Ad esempio, MSE potrebbe essere scomposto in bias e varianza. La valutazione esplicita dei compromessi dovrebbe essere rivista e documentata.

Anche i test fuori campione sono una componente importante per l'analisi dei risultati per AI/ML. I validatori devono rivedere e valutare se sono state seguite procedure appropriate nel processo di sviluppo del modello per garantire che l'analisi dei risultati sia condotta in modo appropriato, inclusi la convalida incrociata e i set di test.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
• Fonte: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs