Siedem wyzwań, którym muszą sprostać instytucje finansowe, aby wykorzystać potencjał uczenia maszynowego (Anshuman Prasad)

Uczenie maszynowe (ML), najbardziej znana gałąź sztucznej inteligencji (AI), działa w obie strony w branży usług finansowych, gdzie jej zastosowania stają się coraz szersze z dnia na dzień.

Korzyści są oczywiste. Modele ML są szkolone, aby uczyć się na podstawie wyników, tak jak robi to ludzki mózg, i mogą wykonywać złożone zadania na skalę i z szybkością, których ludzie po prostu nie są w stanie osiągnąć.

Ale niebezpieczeństw jest mnóstwo. Złożoność modeli stanowi ryzyko. Wiele z nich może być nieprzejrzystych i niejasnych, znanych jako czarne skrzynki. A kiedy nieprzezroczyste modele działają nieprawidłowo, sprawy mogą wymknąć się spod kontroli.

W skrajnych przypadkach może to nawet doprowadzić do upadku instytucji finansowych z systemowymi konsekwencjami dla całej gospodarki.

Przed instytucjami finansowymi istnieje szereg wyzwań związanych z faktyczną zgodnością modeli ML z istniejącymi zasadami i najlepszymi praktykami zarządzania ryzykiem modeli. Z naszego doświadczenia w pracy z instytucjami finansowymi przedstawiamy siedem najczęstszych wyzwań, z którymi się spotykamy, oraz kroki, jakie podejmują, aby im sprostać.

1) Operacjonalizacja struktury walidacji modelu ML, która obejmuje algorytmy, techniki walidacji, kontrole i dokumentację

Instytucje finansowe muszą wdrożyć kompleksowe ramy walidacji specjalnie dla modeli ML.

Dobór odpowiednich algorytmów pod kątem wymagań biznesowych i dostępności danych jest kluczowy. Wymaga to wiedzy z zakresu modelowania ML, zrozumienia biznesu i programowania.

Techniki walidacji modeli ML różnią się od technik powszechnie stosowanych przez instytucje finansowe w przypadku innych modeli. Mogą się również różnić w zależności od zastosowanego algorytmu ML oraz dostępności i struktury danych.

Dodatkowo, rewalidacje i walidacje ukierunkowane (istotne zmiany wprowadzone do istniejących modeli) powinny być objęte drugą linią obrony, aby potwierdzić, że model nadaje się do tego celu. W modelach ML niewielkie zmiany parametrów lub dostrojenie konfiguracji mogą znacząco wpłynąć na zachowanie algorytmu i wyniki modelu.

Następnie należy wprowadzić ramy kontroli, z naciskiem na zaprojektowanie i skuteczność kontroli. Kompletna dokumentacja jest niezbędna, aby upewnić się, że niezależna strona rozumie cel modelowania, stosowane algorytmy i techniki walidacji, własność kontroli i zakres.

Istotne jest również, aby funkcje walidacji modeli były obsadzone osobami posiadającymi odpowiednią wiedzę i umiejętności. W związku z tym zespoły ds. walidacji modeli muszą zatrudniać osoby z doświadczeniem w analizie danych i solidną znajomością różnych technik modelowania AI i ML.

2) Ustanawianie polityk obejmujących wymogi regulacyjne, zarządzanie i kontrole, monitorowanie

Nadal istnieje znaczna niepewność co do wymogów regulacyjnych dotyczących walidacji modelu ML.

Organy regulacyjne przedstawiły ogólne oczekiwania regulacyjne; nie ma jednak formalnych ram regulacyjnych dla modeli ML. Instytucje finansowe powinny opracować politykę określającą ogólne wymogi regulacyjne, które mogą obejmować wytyczne dotyczące zarządzania ryzykiem modeli oraz wytyczne dotyczące modeli ML.

Wytyczne dotyczące zarządzania ryzykiem modeli powinny obejmować solidność koncepcyjną, kontrole jakości danych, zarządzanie i kontrole, monitorowanie modeli i walidację modeli. Zarząd i kierownictwo wyższego szczebla powinni być świadomi przypadków użycia i rozumieć skuteczność kontroli stosowanych w cyklu życia modelu ML. Role i obowiązki muszą być jasno określone, aby osiągnąć poczucie własności i odpowiedzialności.

3) Implementacja modeli ML w solidnym i kontrolowanym środowisku

Implementacja modeli ML jest obarczona ryzykiem. W porównaniu z modelami statystycznymi lub tradycyjnymi, złożone specyfikacje algorytmów ML kładą nacisk na wydajność obliczeniową i pamięć, co zwiększa obawy dotyczące ryzyka implementacji.

Implementacja modeli ML przy użyciu różnych platform wymaga specjalistycznej wiedzy i infrastruktury. Należy położyć nacisk na stworzenie solidnej infrastruktury IT, opracowanie narzędzi z wykorzystaniem programowania, poprawę monitorowania modeli i ustawień walidacji w ramach tych narzędzi. Ta złożoność utrudnia zadanie walidacyjne polegające na weryfikacji poprawności implementacji modeli w systemie informatycznym.

Dokumentacja procesu wdrożenia umożliwia niezależnej stronie zrozumienie przebiegu procesu wykorzystywanego systemu. Funkcja walidacji modelu musi ocenić stosowność wdrożenia modelu oraz ocenić przeprowadzone testy i ogólne ramy kontroli leżące u podstaw modelu.

4) Projektowanie efektywnych procesów zarządzania danymi

Ponieważ dane są ważnym aspektem modeli uczenia maszynowego, krytyczne są odpowiednie procesy zarządzania wokół nich. Proces zarządzania danymi powinien obejmować źródła, kontrole jakości danych wejściowych, analizę danych (w tym analizę jednowymiarową i analizę wartości odstających), kontrole ręcznego wprowadzania danych i inne aspekty.
Z punktu widzenia walidacji modelu testowanie danych wymaga efektywnej struktury zarządzania danymi, która ustanawia zestaw reguł dotyczących jakości, kompletności i terminowości danych dla modeli. W tym sensie odstępstwa od tych standardów są trudnym tematem, ponieważ dane wykorzystywane w metodach ML są ogromne w porównaniu z tradycyjnymi modelami. Ponadto modele ML opierają się na dużych ilościach heterogenicznych i wielowymiarowych danych, co sprawia, że ​​ważne jest dokumentowanie od pozyskiwania, przetwarzania i transformacji, aż do ostatniego etapu pełnego wdrożenia modelu, aby upewnić się, że dane są odpowiednie.

Dlatego zespół walidacji modelu musi potwierdzić, że dane wejściowe są dostępne i przeszły odpowiednie kontrole jakości przed ich wykorzystaniem w produkcji. Konieczne jest również przetestowanie, w jaki sposób różne techniki ML radzą sobie z brakującymi danymi, technikami normalizacji i nieprawidłowymi danymi. Ponadto firmy powinny zapewnić dobrą identyfikowalność danych z powrotem do systemów źródłowych, aby problemy z danymi można było rozwiązywać u źródła.

5) Kontrola pod kątem niewyjaśnialności modeli ML

Brak wytłumaczalności modeli ML jest głównym wyzwaniem dla bardziej złożonych technik, takich jak SSN, w których reakcje input-output są niejasne i brakuje im przejrzystości. Złożoność niektórych modeli ML może utrudniać przedstawienie jasnego zarysu teorii, założeń i matematycznych podstaw ostatecznych szacunków. Wreszcie, takie modele okazują się trudne do skutecznej walidacji.

Charakterystyka czarnej skrzynki utrudnia ocenę poprawności koncepcyjnej modelu, zmniejszając jego niezawodność. Na przykład walidacja hiperparametrów może wymagać dodatkowej wiedzy statystycznej, dlatego instytucje powinny zapewnić odpowiednie przeszkolenie personelu nadzorującego walidację.

Walidatorzy modeli mogą przyjrzeć się kontrolom łagodzącym, aby zaradzić brakowi przejrzystości. Takie kontrole mogą stanowić część bieżącego monitorowania, które jest bardziej rygorystyczne. Zaleca się również stosowanie modeli wzorcowych do porównywania wyników i wariancji z wcześniej określonymi regułami, co może prowadzić do dalszych badań lub zaprzestania stosowania modeli w produkcji.

6) Kalibracja hiperparametryczna modeli ML

Kluczowymi założeniami dla modeli ML są zwykle hiperparametry opracowane i dostrojone do zastosowania w modelu. Jeśli te założenia są nieprzejrzyste, taka jest też intuicja biznesowa lub solidność. Ponadto w modelach ML wartość hiperparametrów może poważnie wpłynąć na wyniki modelu.

Należy ocenić zmiany w ustawieniach hiperparametrów, aby ocenić trafność wyboru modelarza. W przypadku dalszych zmian hiperparametrów zespół walidacyjny musi potwierdzić zgodność wyników modelu.

7) Analiza wyników

Jak widzieliśmy, analiza wyników ma kluczowe znaczenie dla zrekompensowania braku możliwości wyjaśnienia niektórych technik uczenia maszynowego. Ponadto analiza wyników odgrywa ważną rolę w ocenie wydajności modelu. Analiza koncentruje się na walidacji krzyżowej i jej wariantach. Procedury weryfikacji historycznej nie mają takiego samego znaczenia jak w tradycyjnych modelach.

Kompromis między wariancją a odchyleniem w modelach ML może być trudny i niepokojący. Chociaż nie było to poza zakresem modeli statystycznych i modeli regresji, modele ML wzmacniają alarmy.

W tym celu można wykorzystać wiele metryk, w zależności od metodologii modelu. Na przykład MSE można rozłożyć na błąd systematyczny i wariancję. Wyraźna ocena kompromisów powinna zostać poddana przeglądowi i udokumentowana.

Testy poza próbą są również ważnym elementem analizy wyników dla AI/ML. Walidatorzy muszą dokonać przeglądu i ocenić, czy w procesie opracowywania modelu przestrzegano odpowiednich procedur, aby zapewnić właściwe przeprowadzenie analizy wyników, w tym walidacji krzyżowej i zestawów testowych.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs