Sedem izzivov, s katerimi se morajo soočiti finančne institucije, da bi izkoristile potencial strojnega učenja (Anshuman Prasad)

Sedem izzivov, s katerimi se morajo soočiti finančne institucije, da bi izkoristile potencial strojnega učenja (Anshuman Prasad)

Časovni žig: 9. marec 2023 11
Izvorno vozlišče: 2001633

Strojno učenje (ML), najvidnejša veja umetne inteligence (AI), je v obeh smereh za industrijo finančnih storitev, kjer je njegova uporaba iz dneva v dan širša.

Prednosti so očitne. Modeli ML so usposobljeni za učenje iz rezultatov tako kot to počnejo človeški možgani in lahko izvajajo zapletene naloge v obsegu in hitrosti, ki jih ljudje preprosto ne morejo.

Toda nevarnosti je veliko. Kompleksnost modelov je tveganje. Mnogi so lahko neprozorni in nejasni, razvpiti kot črne skrinjice. In ko nepregledni modeli ne delujejo pravilno, lahko stvari uidejo izpod nadzora.

V skrajnih primerih lahko povzroči celo propad finančnih institucij s sistemskimi posledicami za celotno gospodarstvo.

Finančne institucije se soočajo s številnimi izzivi pri tem, da bodo modeli ML dejansko upoštevali obstoječa načela in najboljše prakse obvladovanja tveganja v modelih. Po naših izkušnjah pri delu s finančnimi institucijami je naslednjih sedem najpogostejših izzivov, s katerimi se srečujemo, in korakov, ki jih sprejemajo, da bi jih rešili.

1) Operacionalizacija okvira validacije modela ML, ki zajema algoritme, tehnike validacije, kontrole in dokumentacijo

Finančne institucije morajo vzpostaviti ogrodje validacije od konca do konca posebej za modele ML.

Izbira ustreznih algoritmov glede na poslovne zahteve in razpoložljivost podatkov je ključna. To zahteva strokovno znanje o modeliranju ML, poslovnem razumevanju in programiranju.

Tehnike potrjevanja za modele ML se razlikujejo od tistih, ki jih finančne institucije običajno uporabljajo za druge modele. Lahko se razlikujejo tudi glede na uporabljeni algoritem ML ter razpoložljivost in strukturo podatkov.

Poleg tega bi morala druga obrambna linija zajemati ponovne validacije in ciljne validacije (pomembne spremembe obstoječih modelov), da se potrdi, da model ustreza namenu. V modelih ML lahko manjše spremembe parametrov ali prilagajanje nastavitev znatno vplivajo na obnašanje algoritma in rezultate modela.

Nato mora biti vzpostavljen nadzorni okvir s poudarkom na oblikovanju in učinkovitosti nadzora. Popolna dokumentacija je obvezna, da se zagotovi, da neodvisna stranka razume cilj modeliranja, uporabljene algoritme in tehnike potrjevanja, lastništvo nadzora in pokritost.

Prav tako je pomembno, da so v funkcijah validacije modela zaposleni ljudje, ki imajo pravo znanje in veščine. Zato morajo ekipe za validacijo modelov zaposliti ljudi z znanjem o podatkih in trdno osnovo različnih tehnik modeliranja AI in ML.

2) Vzpostavitev politik, ki zajemajo regulativne zahteve, upravljanje in nadzor, spremljanje

Še vedno obstaja precejšnja negotovost glede regulativnih zahtev za validacijo modela ML.

Regulatorni organi so predstavili splošna regulativna pričakovanja; vendar pa ni uradnega regulativnega okvira za modele ML. Finančne institucije bi morale razviti politiko, v kateri bi bile navedene splošne regulativne zahteve, ki bi lahko vključevale smernice za modeliranje tveganja in smernice za modele ML.

Smernice za obvladovanje tveganja modela bi morale zajemati konceptualno trdnost, preverjanja kakovosti podatkov, upravljanje in kontrole, spremljanje modela in validacijo modela. Upravni odbor in višje vodstvo se morata zavedati primerov uporabe in razumeti učinkovitost kontrol, uporabljenih v življenjskem ciklu modela ML. Vloge in odgovornosti morajo biti jasno opredeljene, da se doseže lastništvo in odgovornost.

3) Implementacija modelov ML v robustnem in nadzorovanem okolju

Implementacija modelov ML je nagnjena k tveganjem. V primerjavi s statističnimi ali tradicionalnimi modeli zapletene specifikacije algoritmov ML poudarjajo računalniško in pomnilniško učinkovitost, kar povečuje zaskrbljenost glede tveganj pri implementaciji.

Implementacija modelov ML z uporabo različnih platform zahteva strokovno znanje in infrastrukturo. Poudarek bi moral biti na ustvarjanju robustne infrastrukture IT, razvijanju orodij z uporabo programiranja, izboljšanju spremljanja modela in nastavitev validacije znotraj teh orodij. Zaradi te zapletenosti je naloga validacije težja pri preverjanju pravilne implementacije modelov v sistemu IT.

Dokumentacija procesa implementacije omogoča neodvisni strani razumevanje poteka procesa uporabljenega sistema. Funkcija validacije modela mora oceniti ustreznost implementacije modela ter ovrednotiti izvedeno testiranje in splošni nadzorni okvir, ki podpira model.

4) Oblikovanje učinkovitih procesov upravljanja podatkov

Ker so podatki pomemben vidik modelov ML, so ustrezni procesi upravljanja okoli njih kritični. Postopek upravljanja podatkov bi moral zajemati vire, preverjanja kakovosti vhodnih podatkov, analiziranje podatkov (ki vključuje univariatno analizo in analizo izstopajočih vrednosti), kontrole ročnih vnosov in druge vidike.
Z vidika validacije modela testiranje podatkov zahteva učinkovit okvir za upravljanje podatkov, ki vzpostavlja nabor pravil o kakovosti, popolnosti in pravočasnosti podatkov za modele. V tem smislu so odstopanja od teh standardov zahtevna tema, saj je podatkov, uporabljenih v metodah ML, ogromno v primerjavi s tistimi v tradicionalnih modelih. Poleg tega se modeli ML opirajo na velike količine heterogenih in visokodimenzionalnih podatkov, zaradi česar je pomembno dokumentirati od pridobivanja, obdelave in preoblikovanja do zadnje stopnje popolne uvedbe modela, da zagotovimo ustreznost podatkov.

Zato mora skupina za validacijo modela potrditi, da so vhodni podatki na voljo in so bili ustrezno preverjeni, preden se uporabijo v proizvodnji. Prav tako je treba preizkusiti, kako različne tehnike ML obravnavajo manjkajoče podatke, tehnike normalizacije in nepravilne podatke. Prav tako morajo podjetja zagotoviti dobro sledljivost podatkov nazaj do izvornih sistemov, tako da se lahko podatkovni izzivi odpravijo pri viru.

5) Nadzor nad pomanjkanjem razložljivosti modelov ML

Pomanjkanje razložljivosti modelov ML je velik izziv za kompleksnejše tehnike, kot je ANN, kjer so vhodno-izhodni odzivi nejasni in premalo pregledni. Zapletenost nekaterih modelov ML lahko oteži zagotavljanje jasnega orisa teorije, predpostavk in matematične osnove končnih ocen. Nazadnje se izkaže, da je takšne modele težko učinkovito validirati.

Značilnost črne skrinjice otežuje oceno konceptualne trdnosti modela, kar zmanjšuje njegovo zanesljivost. Validacija hiperparametrov lahko na primer zahteva dodatno statistično znanje, zato bi morale institucije zagotoviti, da je osebje, ki nadzoruje validacijo, ustrezno usposobljeno.

Preverjevalci modelov si lahko ogledajo ublažitvene kontrole, da odpravijo pomanjkanje preglednosti. Takšen nadzor je lahko del stalnega spremljanja, ki je strožje. Priporočljiva je tudi uporaba primerjalnih modelov za primerjavo rezultatov in varianc z vnaprej določenimi pravili, kar bi lahko privedlo do nadaljnje preiskave ali opustitve uporabe modelov v proizvodnji.

6) Hiperparametrska kalibracija modelov ML

Ključne predpostavke za modele ML so običajno hiperparametri, razviti in prilagojeni za uporabo v modelu. Če so te predpostavke nepregledne, bi bila tudi poslovna intuicija ali trdnost. Poleg tega lahko v modelih ML vrednost hiperparametrov resno vpliva na rezultate modela.

Spremembe v nastavitvah hiperparametrov je treba ovrednotiti, da ocenimo ustreznost izbire oblikovalca modela. Če se izvajajo nadaljnje spremembe hiperparametrov, mora skupina za validacijo potrditi, da so rezultati modela skladni.

7) Analiza rezultatov

Videli smo, da je analiza rezultatov ključna za kompenzacijo pomanjkanja razložljivosti v nekaterih tehnikah ML. Poleg tega ima analiza rezultatov pomembno vlogo pri ocenjevanju uspešnosti modela. Analiza je osredotočena na navzkrižno validacijo in njene različice. Postopki testiranja za nazaj nimajo enakega pomena kot pri tradicionalnih modelih.

Kompromis med varianco in pristranskostjo v modelih ML je lahko zahteven in zaskrbljujoč. Čeprav to ni bilo izven obsega statističnih in regresijskih modelov, modeli ML povečajo alarme.

V ta namen je mogoče uporabiti številne metrike, odvisno od metodologije modela. Na primer, MSE je mogoče razstaviti na pristranskost in varianco. Eksplicitno vrednotenje kompromisov je treba pregledati in dokumentirati.

Testiranje zunaj vzorca je prav tako pomembna komponenta za analizo rezultatov za AI/ML. Validatorji morajo pregledati in oceniti, ali so bili v procesu razvoja modela upoštevani ustrezni postopki, da se zagotovi ustrezna izvedba analize rezultatov, vključno z navzkrižno validacijo in nizi testiranj.

Časovni žig:

Več od Fintextra