Сім проблем, які фінансові установи повинні вирішити, щоб використовувати потенціал машинного навчання (Аншуман Прасад)

Машинне навчання (ML), найвидатніший напрямок штучного інтелекту (ШІ), не підходить для індустрії фінансових послуг, де з кожним днем ​​його застосування стає все ширшим.

Переваги очевидні. Моделі ML навчені вчитися на результатах так само, як це робить людський мозок, і можуть виконувати складні завдання в такому масштабі та швидкості, які люди просто не можуть.

Але небезпек багато. Складність моделей – це ризик. Багато з них можуть бути непрозорими та незрозумілими, відомими тим, що вони чорні ящики. І коли непрозорі моделі виходять з ладу, все може вийти з-під контролю.

У крайніх випадках це може навіть призвести до банкрутства фінансових установ із системними наслідками для всієї економіки.

Для фінансових установ існує низка проблем, пов’язаних із фактичним дотриманням моделей ML відповідно до існуючих принципів і найкращих практик управління ризиками моделі. З нашого досвіду роботи з фінансовими установами нижче наведено сім найпоширеніших проблем, які ми бачимо, і кроки, які вони вживають для їх вирішення.

1) Операціоналізація структури перевірки моделі ML, яка охоплює алгоритми, методи перевірки, елементи керування та документацію

Фінансовим установам необхідно запровадити систему наскрізної перевірки спеціально для моделей ML.

Вибір відповідних алгоритмів з урахуванням бізнес-вимог і доступності даних має вирішальне значення. Для цього потрібен досвід моделювання ML, розуміння бізнесу та програмування.

Методи перевірки для моделей ML відрізняються від тих, які зазвичай використовуються фінансовими установами для інших моделей. Вони також можуть відрізнятися залежно від використовуваного алгоритму машинного навчання та доступності та структури даних.

Крім того, повторна перевірка та цільова перевірка (значні зміни, застосовані до існуючих моделей) мають охоплюватися другою лінією захисту, щоб підтвердити, що модель підходить для цілей. У моделях ML незначні зміни в параметрах або налаштування можуть суттєво вплинути на поведінку алгоритму та результати моделі.

Потім необхідно створити структуру контролю з наголосом на дизайні та ефективності засобів контролю. Повна документація є обов’язковою, щоб гарантувати, що незалежна сторона розуміє мету моделювання, використовувані алгоритми та методи перевірки, контроль над правом власності та покриття.

Також важливо, щоб у функціях перевірки моделі були люди, які володіють необхідними знаннями та навичками. Отже, команди з перевірки моделей повинні наймати людей, які мають досвід роботи з даними та добре володіють різними методами моделювання штучного інтелекту та машинного навчання.

2) Встановлення політики, що охоплює нормативні вимоги, управління та контроль, моніторинг

Досі існує значна невизначеність щодо нормативних вимог щодо валідації моделі ML.

Регуляторні органи представили загальні регулятивні очікування; однак формальної нормативної бази для моделей ML не існує. Фінансові установи повинні розробити політику із зазначенням загальних нормативних вимог, яка може включати вказівки щодо модельного управління ризиками та вказівки щодо моделей ML.

Інструкції з управління ризиками моделі повинні охоплювати концептуальну обґрунтованість, перевірку якості даних, управління та контроль, моніторинг моделі та перевірку моделі. Правління та вище керівництво повинні знати про випадки використання та розуміти ефективність засобів контролю, які використовуються в життєвому циклі моделі ML. Ролі та обов’язки мають бути чітко визначені для досягнення відповідальності та відповідальності.

3) Реалізація моделей машинного навчання в надійному та контрольованому середовищі

Впровадження моделей ML схильне до ризиків. Порівняно зі статистичними або традиційними моделями, складні специфікації алгоритмів машинного навчання підвищують ефективність обчислень і пам’яті, що посилює занепокоєння щодо ризиків впровадження.

Реалізація моделей машинного навчання з використанням різних платформ потребує досвіду та інфраструктури. Наголос повинен бути зроблений на створенні надійної ІТ-інфраструктури, розробці інструментів із використанням програмування, покращенні моніторингу моделі та налаштувань перевірки в цих інструментах. Ця складність ускладнює перевірку правильності реалізації моделей в ІТ-системі.

Документування процесу впровадження дозволяє незалежній стороні зрозуміти перебіг процесу використовуваної системи. Функція валідації моделі повинна оцінити відповідність реалізації моделі та оцінити проведене тестування та загальну структуру контролю, що лежить в основі моделі.

4) Розробка ефективних процесів управління даними

Оскільки дані є важливим аспектом моделей ML, адекватні процеси управління навколо них мають вирішальне значення. Процес керування даними має охоплювати джерела, перевірку якості вхідних даних, аналіз даних (що включає однофакторний аналіз і аналіз викидів), контроль над введенням вручну та інші аспекти.
З точки зору перевірки моделі, для тестування даних потрібна ефективна структура управління даними, яка встановлює набір правил щодо якості, повноти та своєчасності даних для моделей. У такому сенсі відхилення від цих стандартів є складною темою, оскільки дані, які використовуються в методах ML, є величезними порівняно з даними в традиційних моделях. Крім того, моделі ML покладаються на великі обсяги різнорідних і багатовимірних даних, тому важливо документувати від джерела, обробки та трансформації до останнього етапу повного розгортання моделі, щоб гарантувати відповідність даних.

Тому команда перевірки моделі повинна підтвердити, що вхідні дані доступні та пройшли відповідну перевірку якості перед використанням у виробництві. Також необхідно перевірити, як різні методи ML обробляють відсутні дані, методи нормалізації та аномальні дані. Крім того, фірми повинні забезпечити хорошу відстежуваність даних до вихідних систем, щоб проблеми з даними можна було виправити в джерелі.

5) Контроль відсутності пояснюваності моделей ML

Відсутність пояснюваності моделей ML є серйозною проблемою для більш складних методів, таких як ШНМ, де відповіді введення-виведення нечіткі та непрозорі. Складність деяких моделей машинного навчання може ускладнити чітке окреслення теорії, припущень і математичної основи остаточних оцінок. Нарешті, такі моделі важко перевірити ефективно.

Характеристика чорного ящика ускладнює оцінку концептуальної надійності моделі, знижуючи її надійність. Наприклад, валідація гіперпараметрів може вимагати додаткових статистичних знань, і, отже, установи повинні забезпечити відповідну підготовку персоналу, який контролює валідацію.

Валідатори моделі можуть розглядати пом’якшувальні засоби контролю, щоб усунути відсутність прозорості. Такий контроль може бути частиною постійного моніторингу, який є більш суворим. Також рекомендується використовувати еталонні моделі для порівняння результатів і відхилень із заздалегідь визначеними правилами, що може призвести до подальшого дослідження або припинення використання моделей у виробництві.

6) Гіперпараметричне калібрування моделей ML

Ключовими припущеннями для моделей ML зазвичай є гіперпараметри, розроблені та налаштовані для застосування в моделі. Якщо ці припущення непрозорі, то такими ж будуть і бізнес-інтуїція чи надійність. Крім того, у моделях ML значення гіперпараметрів може серйозно вплинути на результати моделі.

Зміни в налаштуваннях гіперпараметрів необхідно оцінити, щоб оцінити відповідність вибору модельєра. У разі подальших змін у гіперпараметрах команда перевірки повинна підтвердити узгодженість результатів моделі.

7) Аналіз результатів

Аналіз результатів, як ми бачили, має вирішальне значення для компенсації відсутності пояснень у деяких методах ML. Крім того, аналіз результатів відіграє важливу роль в оцінці продуктивності моделі. Аналіз зосереджений на перехресній перевірці та її варіантах. Процедури бек-тестування не мають такої актуальності, як у традиційних моделях.

Компроміс дисперсії проти зміщення в моделях ML може бути складним і тривожним. Хоча це не виходить за рамки статистичних і регресійних моделей, моделі ML підсилюють сигнали тривоги.

Залежно від методології моделі для цієї мети можна використовувати багато показників. Наприклад, MSE можна розкласти на зміщення та дисперсію. Слід переглянути та задокументувати чітку оцінку компромісів.

Тестування поза вибіркою також є важливим компонентом для аналізу результатів для AI/ML. Валідатори повинні переглянути та оцінити, чи було дотримано відповідних процедур у процесі розробки моделі, щоб забезпечити належне проведення аналізу результатів, включаючи перехресну перевірку та набори тестів.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
• джерело: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs