Șapte provocări pe care instituțiile financiare trebuie să le adreseze pentru a valorifica potențialul învățării automate (Anshuman Prasad)

Învățarea automată (ML), cea mai proeminentă componentă a inteligenței artificiale (AI), reduce ambele sensuri pentru industria serviciilor financiare, unde aplicațiile sale devin din ce în ce mai extinse pe zi ce trece.

Beneficiile sunt evidente. Modelele ML sunt antrenate să învețe din rezultate la fel cum face creierul uman și pot executa sarcini complexe la o scară și o viteză pe care oamenii pur și simplu nu le pot.

Dar pericolele abundă. Complexitatea modelelor este un risc. Multe pot fi opace și obscure, renumite pentru că sunt cutii negre. Și atunci când modelele netransparente funcționează defectuos, lucrurile ar putea scăpa de sub control.

În cazuri extreme, poate duce chiar la eșecul instituțiilor financiare, cu consecințe sistemice pentru întreaga economie.

Pentru instituțiile financiare, există o serie de provocări în a face ca modelele ML să adere la principiile și cele mai bune practici existente de management al riscului de model. În experiența noastră de lucru cu instituții financiare, următoarele sunt șapte dintre cele mai frecvente provocări pe care le vedem și ce pași iau pentru a le rezolva.

1) Operaționalizarea unui cadru de validare a modelului ML care acoperă algoritmi, tehnici de validare, controale și documentație

Instituțiile financiare trebuie să pună în aplicare un cadru de validare end-to-end special pentru modelele ML.

Selectarea algoritmilor potriviți în ceea ce privește cerințele de afaceri și disponibilitatea datelor este crucială. Acest lucru necesită experiență în modelarea ML, înțelegerea afacerii și programare.

Tehnicile de validare pentru modelele ML diferă de cele utilizate în general de instituțiile financiare pentru alte modele. Ele pot diferi, de asemenea, în funcție de algoritmul ML utilizat și de disponibilitatea și structura datelor.

În plus, revalidările și validările direcționate (modificări semnificative aplicate modelelor existente) ar trebui să fie acoperite de a doua linie de apărare, pentru a confirma că modelul este potrivit scopului. În modelele ML, modificările minore ale parametrilor sau reglarea setării pot afecta în mod semnificativ comportamentul algoritmului și rezultatele modelului.

Apoi, cadrul de control trebuie să fie în vigoare, cu accent pe proiectarea și eficacitatea controalelor. Documentația completă este o necesitate pentru a se asigura că partea independentă înțelege obiectivul modelării, algoritmii și tehnicile de validare utilizate, proprietatea controlului și acoperirea.

De asemenea, este important ca funcțiile de validare a modelului să fie încadrate cu oameni care posedă cunoștințele și abilitățile potrivite. Prin urmare, echipele de validare a modelelor trebuie să angajeze oameni cu experiență în știința datelor și cu o bază solidă a diferitelor tehnici de modelare AI și ML.

2) Stabilirea politicilor care să acopere cerințele de reglementare, guvernanță și controale, monitorizare

Există încă o incertitudine considerabilă în ceea ce privește cerințele de reglementare pentru validarea modelului ML.

Organismele de reglementare au prezentat așteptări generale de reglementare; cu toate acestea, nu există un cadru formal de reglementare pentru modelele ML. Instituțiile financiare ar trebui să elaboreze o politică care să stabilească cerințele generale de reglementare, care ar putea include modele de ghiduri de gestionare a riscurilor și linii directoare pentru modelele ML.

Orientările modelului de management al riscului ar trebui să acopere soliditatea conceptuală, verificările calității datelor, guvernanța și controalele, monitorizarea modelului și validarea modelului. Consiliul și conducerea superioară ar trebui să cunoască cazurile de utilizare și să înțeleagă eficacitatea controalelor utilizate în ciclul de viață al modelului ML. Rolurile și responsabilitățile trebuie să fie clar definite pentru a obține responsabilitatea și responsabilitatea.

3) Implementarea modelelor ML într-un mediu robust și controlat

Implementarea modelelor ML este predispusă la riscuri. În comparație cu modelele statistice sau tradiționale, specificațiile complexe ale algoritmilor ML pun accent pe eficiența computațională și a memoriei, ceea ce sporește îngrijorările cu privire la riscurile de implementare.

Implementarea modelelor ML folosind diferite platforme necesită expertiză și infrastructură. Accentul ar trebui să fie pus pe crearea unei infrastructuri IT robuste, dezvoltarea instrumentelor folosind programare, îmbunătățirea monitorizării modelelor și setărilor de validare în cadrul acestor instrumente. Această complexitate face ca sarcina de validare să fie mai dificilă de a verifica implementarea corectă a modelelor în cadrul sistemului informatic.

Documentarea procesului de implementare permite unei părți independente să înțeleagă fluxul de proces al sistemului utilizat. Funcția de validare a modelului trebuie să evalueze caracterul adecvat al implementării modelului și să evalueze testarea efectuată și cadrul general de control care stă la baza modelului.

4) Proiectarea proceselor eficiente de guvernare a datelor

Deoarece datele sunt un aspect important al modelelor ML, procesele adecvate de guvernare în jurul lor sunt critice. Procesul de guvernare a datelor ar trebui să acopere sursele, verificările calității datelor de intrare, analiza datelor (care include analiza univariată și analiza valorii aberante), controalele asupra intrărilor manuale și alte aspecte.
Din perspectiva validării modelelor, testarea datelor necesită un cadru eficient de gestionare a datelor care să stabilească un set de reguli privind calitatea datelor, caracterul complet și oportunitatea modelelor. Într-un astfel de sens, abaterile de la aceste standarde reprezintă un subiect provocator, deoarece datele utilizate în metodele ML sunt uriașe în comparație cu cele din modelele tradiționale. De asemenea, modelele ML se bazează pe volume mari de date eterogene și cu dimensiuni mari, ceea ce face importantă documentarea de la aprovizionare, procesare și transformare, până la ultima etapă a implementării complete a modelului, pentru a se asigura că datele sunt adecvate.

Prin urmare, echipa de validare a modelului trebuie să confirme că datele de intrare sunt disponibile și a fost supusă verificărilor de calitate adecvate înainte de a fi utilizate în producție. De asemenea, este necesar să se testeze modul în care diferitele tehnici ML gestionează datele lipsă, tehnicile de normalizare și datele anormale. De asemenea, firmele ar trebui să asigure o bună trasabilitate a datelor înapoi la sistemele sursă, astfel încât provocările legate de date să poată fi rezolvate la sursă.

5) Controlul pentru lipsa de explicabilitate a modelelor ML

Lipsa de explicabilitate a modelelor ML este o provocare majoră pentru tehnicile mai complexe, cum ar fi ANN, unde răspunsurile de intrare-ieșire sunt neclare și lipsite de transparență. Complexitatea unor modele ML poate face dificilă furnizarea unei schițe clare a teoriei, a ipotezelor și a bazei matematice a estimărilor finale. În cele din urmă, astfel de modele se dovedesc a fi greu de validat eficient.

Caracteristica cutiei negre face dificilă evaluarea solidității conceptuale a unui model, reducând fiabilitatea acestuia. De exemplu, validarea hiperparametrilor poate necesita cunoștințe statistice suplimentare și, prin urmare, instituțiile ar trebui să se asigure că personalul care supraveghează validarea este instruit corespunzător.

Validatorii de modele pot analiza controale de atenuare pentru a aborda lipsa de transparență. Astfel de controale pot face parte din monitorizarea continuă, care este mai riguroasă. De asemenea, se recomandă utilizarea modelelor de referință pentru a compara rezultatele și variațiile cu regulile predefinite, ceea ce ar putea duce la investigații suplimentare sau la întreruperea utilizării modelelor în producție.

6) Calibrarea hiperparametrică a modelelor ML

Ipotezele cheie pentru modelele ML sunt de obicei hiperparametrii dezvoltați și reglați pentru a fi aplicați în model. Dacă aceste ipoteze sunt opace, la fel ar fi intuiția sau soliditatea afacerii. Mai mult, în modelele ML, valoarea hiperparametrilor poate afecta grav rezultatele modelului.

Modificările în setările hiperparametrului trebuie evaluate pentru a evalua caracterul adecvat al alegerii modelatorului. Dacă sunt efectuate modificări suplimentare ale hiperparametrilor, echipa de validare trebuie să confirme că rezultatele modelului sunt consecvente.

7) Analiza rezultatelor

Analiza rezultatelor, am văzut, este crucială pentru a compensa lipsa de explicabilitate în unele tehnici ML. În plus, analiza rezultatelor are un rol important în evaluarea performanței modelului. Analiza se concentrează pe validarea încrucișată și variantele acesteia. Procedurile de back-testing nu au aceeași relevanță ca în modelele tradiționale.

Schimbul de variație față de părtinire în modelele ML poate fi provocator și îngrijorător. Deși acest lucru nu a fost în afara domeniului de aplicare al modelelor statistice și de regresie, modelele ML amplifică alarmele.

Multe metrici pot fi utilizate în acest scop, în funcție de metodologia modelului. De exemplu, MSE ar putea fi descompusă în părtinire și varianță. Evaluarea explicită a compromisurilor ar trebui revizuită și documentată.

Testarea în afara eșantionului este, de asemenea, o componentă importantă pentru analiza rezultatelor pentru AI/ML. Validatorii trebuie să examineze și să evalueze dacă procedurile adecvate au fost urmate în procesul de dezvoltare a modelului pentru a se asigura că analiza rezultatelor este efectuată în mod corespunzător, inclusiv seturile de validare încrucișată și de testare.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
• Sursa: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs