Hét kihívás, amellyel a pénzintézeteknek szembe kell nézniük a gépi tanulásban rejlő lehetőségek kiaknázásához (Anshuman Prasad)

Hét kihívás, amellyel a pénzintézeteknek szembe kell nézniük a gépi tanulásban rejlő lehetőségek kiaknázásához (Anshuman Prasad)

Időbélyeg: 9. március 2023. 11:20
Forrás csomópont: 2001633

A gépi tanulás (ML), a mesterséges intelligencia (AI) legjelentősebb ága, mindkét irányba csökkenti a pénzügyi szolgáltatási ágazatot, ahol alkalmazásai napról napra szélesebbek.

Az előnyök nyilvánvalóak. Az ML modelleket úgy képezték ki, hogy tanuljanak az eredményekből, ahogy az emberi agy teszi, és olyan léptékű és gyorsasággal tud összetett feladatokat végrehajtani, mint az emberek.

De veszélyek bővelkednek. A modellek összetettsége kockázatot jelent. Sokan átlátszatlanok és homályosak lehetnek, és arról híresek, hogy fekete dobozok. És ha a nem átlátszó modellek meghibásodnak, a dolgok kicsúszhatnak a kezükből.

Szélsőséges esetekben akár a pénzintézetek csődjéhez is vezethet, ami az egész gazdaságra nézve rendszerszintű következményekkel jár.

A pénzintézetek számára számos kihívást jelent, hogy az ML-modelleket ténylegesen a modellkockázat-kezelés meglévő alapelveinek és legjobb gyakorlatainak megfelelően alakítsák ki. Pénzintézetekkel való együttműködésünk során szerzett tapasztalataink alapján az alábbiakban felsoroljuk a hét leggyakoribb kihívást, amellyel szembesülünk, és hogy milyen lépéseket tesznek ezek megoldására.

1) Egy ML modell érvényesítési keretrendszer operacionalizálása, amely magában foglalja az algoritmusokat, érvényesítési technikákat, vezérlőket és dokumentációt

A pénzügyi intézményeknek egy végponttól végpontig érvényes validációs keretrendszert kell bevezetniük, kifejezetten az ML modellekhez.

A megfelelő algoritmusok kiválasztása az üzleti követelmények és az adatok elérhetősége szempontjából kulcsfontosságú. Ehhez jártasságra van szükség az ML modellezésben, az üzleti megértésben és a programozásban.

Az ML-modellek érvényesítési technikái eltérnek azoktól, amelyeket a pénzintézetek általában más modellekhez használnak. Eltérhetnek a használt ML algoritmustól, valamint az adatok elérhetőségétől és szerkezetétől függően is.

Ezenkívül az újraellenőrzéseket és a célzott érvényesítéseket (a meglévő modelleken alkalmazott jelentős változások) a második védelmi vonalnak kell fedeznie, hogy megbizonyosodjon arról, hogy a modell megfelel a célnak. Az ML modellekben a paraméterek kisebb változtatása vagy a beállítás hangolása jelentősen befolyásolhatja az algoritmus viselkedését és a modell eredményeit.

Ezután létre kell hozni az ellenőrzési keretrendszert, hangsúlyt fektetve az ellenőrzések kialakítására és hatékonyságára. A teljes dokumentáció elengedhetetlen annak biztosításához, hogy a független fél megértse a modellezés célját, az alkalmazott algoritmusokat és érvényesítési technikákat, a tulajdonjogot és a lefedettséget.

Az is fontos, hogy a modellérvényesítési funkciók olyan emberekkel dolgozzanak, akik rendelkeznek a megfelelő tudással és készségekkel. Ezért a modellellenőrző csapatoknak adattudományi háttérrel és különböző AI és ML modellezési technikák szilárd alapjaival rendelkező embereket kell felvenniük.

2) Szabályozási követelményekre, irányításra és ellenőrzésekre, monitoringra vonatkozó politikák felállítása

Még mindig jelentős a bizonytalanság az ML-modell validálására vonatkozó szabályozási követelmények körül.

A szabályozó szervek általános szabályozási elvárásokat fogalmaztak meg; az ML modellekre azonban nincs formális szabályozási keret. A pénzügyi intézményeknek ki kell dolgozniuk egy általános szabályozási követelményeket megfogalmazó politikát, amely magában foglalhat kockázatkezelési irányelveket és iránymutatásokat az ML modellekhez.

A modellkockázatkezelési iránymutatásoknak ki kell terjedniük a fogalmi megalapozottságra, az adatminőség-ellenőrzésekre, az irányításra és ellenőrzésekre, a modellfigyelésre és a modell validálására. Az Igazgatóságnak és a felső vezetésnek tisztában kell lennie a használati esetekkel, és meg kell értenie az ML modell életciklusában használt kontrollok hatékonyságát. A szerepeket és a felelősségeket egyértelműen meg kell határozni a felelősségvállalás és az elszámoltathatóság eléréséhez.

3) ML modellek megvalósítása robusztus és ellenőrzött környezetben

Az ML modellek megvalósítása kockázatokra hajlamos. A statisztikai vagy hagyományos modellekhez képest az ML algoritmusok összetett specifikációi hangsúlyozzák a számítási és memóriahatékonyságot, ami fokozza az implementációs kockázatokkal kapcsolatos aggodalmakat.

Az ML modellek különböző platformokon történő megvalósítása szakértelmet és infrastruktúrát igényel. A hangsúlyt egy robusztus IT-infrastruktúra létrehozására, a programozást használó eszközök fejlesztésére, a modellfigyelés javítására és az ezen eszközökön belüli érvényesítési beállításokra kell helyezni. Ez az összetettség megnehezíti az érvényesítési feladatot a modellek informatikai rendszeren belüli helyes megvalósításának ellenőrzésében.

A megvalósítási folyamat dokumentálása lehetővé teszi egy független fél számára, hogy megértse a használt rendszer folyamatát. A modellellenőrzési funkciónak fel kell mérnie a modell implementációjának megfelelőségét, valamint értékelnie kell az elvégzett tesztelést és a modellt alátámasztó átfogó ellenőrzési keretet.

4) Hatékony adatkezelési folyamatok tervezése

Mivel az adatok az ML-modellek fontos szempontjai, a körülöttük lévő megfelelő irányítási folyamatok kritikusak. Az adatkezelési folyamatnak ki kell terjednie a forrásokra, a bemeneti adatok minőségének ellenőrzésére, az adatok elemzésére (amely magában foglalja az egyváltozós elemzést és a kiugró értékek elemzését), a kézi bevitelek ellenőrzését és egyéb szempontokat.
A modellellenőrzés szempontjából az adattesztelés hatékony adatkezelési keretrendszert igényel, amely szabályokat határoz meg a modellek adatminőségére, teljességére és időszerűségére vonatkozóan. Ilyen értelemben az ezektől a szabványoktól való eltérések kihívást jelentenek, mivel az ML módszerekben felhasznált adatok hatalmasak a hagyományos modellekhez képest. Ezenkívül az ML-modellek nagy mennyiségű heterogén és nagy dimenziójú adatra támaszkodnak, ezért fontos a dokumentálás a beszerzéstől, a feldolgozástól és az átalakítástól kezdve egészen a modell teljes üzembe helyezésének utolsó szakaszáig az adatok megfelelőségének biztosítása érdekében.

Ezért a modellellenőrző csoportnak meg kell erősítenie, hogy a bemeneti adatok rendelkezésre állnak, és a gyártásban történő felhasználás előtt megfelelő minőségi ellenőrzéseken estek át. Azt is meg kell vizsgálni, hogy a különböző ML technikák hogyan kezelik a hiányzó adatokat, a normalizálási technikákat és a rendellenes adatokat. Ezenkívül a cégeknek biztosítaniuk kell az adatok jó nyomon követhetőségét a forrásrendszerekig, hogy az adatokkal kapcsolatos kihívásokat a forrásnál lehessen orvosolni.

5) Controlling az ML modellek magyarázhatóságának hiánya miatt

Az ML modellek magyarázhatóságának hiánya nagy kihívást jelent az összetettebb technikák, például az ANN számára, ahol a bemeneti-kimeneti válaszok nem egyértelműek és nem átláthatóak. Néhány ML-modell összetettsége megnehezítheti az elmélet, a feltételezések és a végső becslések matematikai alapjainak egyértelmű felvázolását. Végül az ilyen modelleket nehéz hatékonyan érvényesíteni.

A fekete doboz karakterisztikája megnehezíti a modell koncepcionális megalapozottságának felmérését, csökkentve a megbízhatóságát. Például a hiperparaméterek validálása további statisztikai ismereteket igényelhet, ezért az intézményeknek gondoskodniuk kell arról, hogy az érvényesítést felügyelő személyzet megfelelő képzésben részesüljön.

A modellellenőrzők megvizsgálhatnak enyhítő vezérlőket az átláthatóság hiányának kezelésére. Az ilyen ellenőrzések a folyamatos ellenőrzés részét képezhetik, amelyek szigorúbbak. Javasoljuk továbbá a benchmark modellek használatát a kimenetek és eltérések előre meghatározott szabályokkal való összehasonlítására, ami további vizsgálathoz vagy a modellek termelésben való használatának abbahagyásához vezethet.

6) ML modellek hiperparaméteres kalibrálása

Az ML modellek fő feltételezései általában a modellben történő alkalmazásra kifejlesztett és hangolt hiperparaméterek. Ha ezek a feltételezések átláthatatlanok, akkor az üzleti intuíció vagy a megalapozottság is az lenne. Ezenkívül az ML modellekben a hiperparaméterek értéke súlyosan befolyásolhatja a modell eredményeit.

A hiperparaméter-beállítások változásait értékelni kell, hogy felmérjük a modellező választásának megfelelőségét. Ha a hiperparaméterekben további változtatásokat hajtanak végre, az érvényesítő csoportnak meg kell erősítenie, hogy a modell eredményei konzisztensek.

7) Eredmények elemzése

Láttuk, hogy az eredményelemzés döntő fontosságú az egyes ML-technikák magyarázhatóságának hiányának kompenzálásához. Ezenkívül az eredményelemzés fontos szerepet játszik a modell teljesítményének értékelésében. Az elemzés a keresztellenőrzésre és annak változataira összpontosít. Az utólagos tesztelési eljárások nem olyan fontosak, mint a hagyományos modelleknél.

A szórás és az elfogultság közötti kompromisszum az ML modellekben kihívást és aggályos lehet. Bár ez nem került ki a statisztikai és regressziós modellek hatóköréből, az ML modellek felerősítik a riasztásokat.

A modell módszertanától függően számos mérőszám használható erre a célra. Például az MSE felbontható torzításra és varianciára. A kompromisszumok kifejezett értékelését felül kell vizsgálni és dokumentálni kell.

A mintán kívüli tesztelés szintén fontos eleme az AI/ML kimenetelének elemzésének. A validátoroknak át kell tekinteniük és értékelniük kell, hogy a megfelelő eljárásokat követték-e a modellfejlesztési folyamat során, hogy biztosítsák az eredményelemzés megfelelő végrehajtását, beleértve a keresztellenőrzést és a tesztelési sorozatokat is.

Időbélyeg:

Még több Fintextra