Семь проблем, которые финансовые учреждения должны решить, чтобы использовать потенциал машинного обучения (Аншуман Прасад)

Машинное обучение (МО), наиболее заметное направление искусственного интеллекта (ИИ), работает в сфере финансовых услуг в обоих направлениях, где его применение с каждым днем ​​становится все шире.

Преимущества очевидны. Модели ML обучены учиться на результатах так же, как это делает человеческий мозг, и могут выполнять сложные задачи в масштабе и скорости, которые люди просто не могут.

Но опасностей предостаточно. Сложность моделей — это риск. Многие могут быть непрозрачными и неясными, печально известными как черные ящики. А когда непрозрачные модели выходят из строя, все может выйти из-под контроля.

В крайних случаях это может даже привести к краху финансовых учреждений с системными последствиями для всей экономики.

Для финансовых учреждений существует ряд проблем, связанных с фактическим соответствием моделей ML существующим принципам и передовым методам управления рисками моделей. Исходя из нашего опыта работы с финансовыми учреждениями, ниже приведены семь наиболее распространенных проблем, с которыми мы сталкиваемся, и шаги, которые они предпринимают для их решения.

1) Внедрение среды проверки модели ML, которая охватывает алгоритмы, методы проверки, элементы управления и документацию.

Финансовым учреждениям необходимо внедрить комплексную систему проверки специально для моделей ML.

Выбор подходящих алгоритмов с учетом бизнес-требований и доступности данных имеет решающее значение. Для этого требуется опыт моделирования машинного обучения, понимания бизнеса и программирования.

Методы проверки моделей машинного обучения отличаются от тех, которые обычно используются финансовыми учреждениями для других моделей. Они также могут различаться в зависимости от используемого алгоритма ML, доступности и структуры данных.

Кроме того, повторные проверки и целевые проверки (значительные изменения, применяемые к существующим моделям) должны быть охвачены второй линией защиты, чтобы подтвердить, что модель подходит для этой цели. В моделях машинного обучения незначительные изменения параметров или настройка параметров могут существенно повлиять на поведение алгоритма и результаты модели.

Затем должна быть создана система контроля с упором на структуру и эффективность средств контроля. Полная документация необходима для обеспечения того, чтобы независимая сторона понимала цель моделирования, используемые алгоритмы и методы проверки, владение контролем и охват.

Также важно, чтобы функции проверки моделей были укомплектованы людьми, обладающими необходимыми знаниями и навыками. Следовательно, команды проверки моделей должны нанимать людей с опытом работы с данными и прочными знаниями различных методов моделирования AI и ML.

2) Создание политик, охватывающих нормативные требования, управление и контроль, мониторинг

По-прежнему существует значительная неопределенность в отношении нормативных требований к проверке модели машинного обучения.

Регулирующие органы представили общие регулирующие ожидания; однако формальной нормативно-правовой базы для моделей ML не существует. Финансовым учреждениям следует разработать политику, устанавливающую общие нормативные требования, которые могут включать рекомендации по моделированию управления рисками и рекомендации по моделям ОД.

Руководящие принципы управления модельными рисками должны охватывать концептуальную обоснованность, проверку качества данных, управление и контроль, мониторинг и проверку модели. Правление и высшее руководство должны знать варианты использования и понимать эффективность средств контроля, используемых в жизненном цикле модели машинного обучения. Роли и обязанности должны быть четко определены для обеспечения ответственности и подотчетности.

3) Внедрение моделей машинного обучения в надежной и контролируемой среде.

Реализация моделей машинного обучения предрасположена к рискам. По сравнению со статистическими или традиционными моделями сложные спецификации алгоритмов машинного обучения делают упор на эффективность вычислений и памяти, что усиливает опасения по поводу рисков реализации.

Реализация моделей машинного обучения с использованием разных платформ требует опыта и инфраструктуры. Акцент должен быть сделан на создании надежной ИТ-инфраструктуры, разработке инструментов с использованием программирования, улучшении мониторинга моделей и настроек проверки в рамках этих инструментов. Эта сложность усложняет задачу проверки правильности реализации моделей в ИТ-системе.

Документирование процесса внедрения позволяет независимой стороне понять ход процесса используемой системы. Функция проверки модели должна оценить уместность реализации модели, а также оценить выполненное тестирование и общую структуру контроля, лежащую в основе модели.

4) Разработка эффективных процессов управления данными

Поскольку данные являются важным аспектом моделей ML, адекватные процессы управления ими имеют решающее значение. Процесс управления данными должен охватывать источники, проверку качества входных данных, анализ данных (который включает одномерный анализ и анализ выбросов), контроль ручного ввода и другие аспекты.
С точки зрения проверки модели для тестирования данных требуется эффективная структура управления данными, которая устанавливает набор правил в отношении качества, полноты и своевременности данных для моделей. В этом смысле отклонения от этих стандартов являются сложной темой, поскольку данные, используемые в методах ML, огромны по сравнению с данными в традиционных моделях. Кроме того, модели машинного обучения основаны на больших объемах разнородных и многомерных данных, что делает важным документирование от поиска, обработки и преобразования до последнего этапа полного развертывания модели, чтобы обеспечить соответствие данных.

Поэтому группа проверки модели должна подтвердить, что входные данные доступны и прошли соответствующую проверку качества перед использованием в производстве. Также необходимо проверить, как различные методы машинного обучения обрабатывают отсутствующие данные, методы нормализации и аномальные данные. Кроме того, фирмы должны обеспечить хорошую прослеживаемость данных до исходных систем, чтобы можно было устранить проблемы с данными в источнике.

5) Контроль необъяснимости моделей ML

Отсутствие объяснимости моделей ML является серьезной проблемой для более сложных методов, таких как ANN, где ответы ввода-вывода неясны и непрозрачны. Сложность некоторых моделей машинного обучения может затруднить предоставление четкого описания теории, предположений и математической основы окончательных оценок. Наконец, такие модели трудно эффективно проверить.

Характеристика черного ящика затрудняет оценку концептуальной обоснованности модели, снижая ее надежность. Например, для проверки гиперпараметров могут потребоваться дополнительные статистические знания, поэтому учреждения должны обеспечить надлежащую подготовку персонала, контролирующего проверку.

Валидаторы модели могут посмотреть на смягчающие средства контроля, чтобы решить проблему отсутствия прозрачности. Такой контроль может быть частью постоянного мониторинга, который является более строгим. Также рекомендуется использовать эталонные модели для сравнения результатов и отклонений с предопределенными правилами, что может привести к дальнейшему исследованию или прекращению использования моделей в производстве.

6) Гиперпараметрическая калибровка моделей ML

Ключевыми предположениями для моделей ML обычно являются гиперпараметры, разработанные и настроенные для применения в модели. Если эти предположения непрозрачны, то же самое можно сказать и о деловой интуиции или обоснованности. Более того, в моделях ML значение гиперпараметров может сильно повлиять на результаты модели.

Изменения в настройках гиперпараметров необходимо оценивать, чтобы оценить уместность выбора разработчика модели. Если в гиперпараметры вносятся дальнейшие изменения, группа проверки должна подтвердить, что результаты модели непротиворечивы.

7) Анализ результатов

Как мы видели, анализ результатов имеет решающее значение для компенсации отсутствия объяснимости некоторых методов ML. Кроме того, анализ результатов играет важную роль в оценке эффективности модели. Анализ сосредоточен на перекрестной проверке и ее вариантах. Процедуры обратного тестирования не имеют такого же значения, как в традиционных моделях.

Компромисс между дисперсией и погрешностью в моделях машинного обучения может быть сложным и тревожным. Хотя это не выходит за рамки статистических и регрессионных моделей, модели машинного обучения усиливают сигналы тревоги.

Для этой цели можно использовать множество показателей, в зависимости от методологии модели. Например, MSE можно разложить на смещение и дисперсию. Явная оценка компромиссов должна быть рассмотрена и задокументирована.

Вневыборочное тестирование также является важным компонентом анализа результатов ИИ/МО. Валидаторы должны проверить и оценить, были ли соблюдены соответствующие процедуры в процессе разработки модели, чтобы обеспечить надлежащее проведение анализа результатов, включая перекрестную проверку и наборы тестов.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs