金融機関が機械学習の可能性を活用するために取り組まなければならない XNUMX つの課題 (Anshuman Prasad)

金融機関が機械学習の可能性を活用するために取り組まなければならない XNUMX つの課題 (Anshuman Prasad)

タイムスタンプ：9年2023月11日20:XNUMX AM
ソースノード： 2001633

人工知能 (AI) の最も重要な分野である機械学習 (ML) は、そのアプリケーションが日々拡大している金融サービス業界の両方の方法を切り開いています。

利点は明らかです。 ML モデルは、人間の脳と同じように結果から学習するようにトレーニングされており、複雑なタスクを大規模に実行し、人間には不可能な速度で実行できます。

しかし、危険はたくさんあります。 モデルの複雑さはリスクです。 多くは不透明であいまいで、ブラック ボックスであることで有名です。 また、不透明なモデルが故障すると、手に負えなくなる可能性があります。

極端な場合には、金融機関が破綻し、経済全体に体系的な影響を与える可能性さえあります。

金融機関にとって、ML モデルをモデル リスク管理の既存の原則とベスト プラクティスに実際に準拠させるには、多くの課題があります。 私たちが金融機関と協力してきた経験から、私たちが目にする最も一般的なXNUMXつの課題と、それらに対処するために彼らが取っているステップは次のとおりです.

1) アルゴリズム、検証手法、コントロール、およびドキュメントをカバーする ML モデル検証フレームワークの運用化

金融機関は、ML モデル専用のエンドツーエンドの検証フレームワークを導入する必要があります。

ビジネス要件とデータの可用性に関して適切なアルゴリズムを選択することが重要です。 これには、ML モデリング、ビジネスの理解、およびプログラミングの専門知識が必要です。

ML モデルの検証手法は、金融機関が他のモデルに一般的に使用する手法とは異なります。 また、使用される ML アルゴリズムや、データの可用性と構造によっても異なる場合があります。

さらに、モデルが目的に適合していることを確認するために、再検証と対象を絞った検証 (既存のモデルに適用される大幅な変更) を第 XNUMX の防御線でカバーする必要があります。 ML モデルでは、パラメーターの小さな変更またはセットアップの調整が、アルゴリズムの動作とモデルの結果に大きな影響を与える可能性があります。

次に、統制の設計と有効性に重点を置いて、統制フレームワークを整備する必要があります。 完全な文書化は、独立した当事者がモデリングの目的、使用されるアルゴリズムと検証手法、コントロールの所有権、およびカバレッジを確実に理解するために必要です。

また、モデルの検証機能には、適切な知識とスキルを備えたスタッフが配置されていることも重要です。 そのため、モデル検証チームは、データ サイエンスのバックグラウンドを持ち、さまざまな AI および ML モデリング手法の確かな基礎を備えた人材を採用する必要があります。

2) 規制要件、ガバナンスと管理、モニタリングをカバーするポリシーの設定

ML モデルの検証に関する規制要件については、依然としてかなりの不確実性があります。

規制機関は、一般的な規制上の期待を提示しています。 ただし、ML モデルに対する正式な規制の枠組みはありません。 金融機関は、一般的な規制要件を示すポリシーを作成する必要があります。これには、モデル リスク管理のガイドラインや ML モデルのガイドラインが含まれる場合があります。

モデル リスク管理ガイドラインは、概念の健全性、データ品質チェック、ガバナンスとコントロール、モデルの監視、およびモデルの検証をカバーする必要があります。 取締役会と上級管理職は、ユースケースを認識し、ML モデルのライフサイクルで使用されるコントロールの有効性を理解する必要があります。 所有権と説明責任を達成するには、役割と責任を明確に定義する必要があります。

3) 堅牢で制御された環境内での ML モデルの実装

ML モデルの実装にはリスクが伴います。 統計モデルや従来のモデルと比較すると、ML アルゴリズムの複雑な仕様により、計算効率とメモリ効率が重視され、実装リスクに関する懸念が高まります。

さまざまなプラットフォームを使用した ML モデルの実装には、専門知識とインフラストラクチャが必要です。 堅牢な IT インフラストラクチャの作成、プログラミングを使用したツールの開発、モデル監視の改善、およびこれらのツール内での検証セットアップに重点を置く必要があります。 この複雑さにより、IT システム内でのモデルの正しい実装を検証するための検証タスクがより困難になります。

実装プロセスの文書化により、独立した関係者は、使用されているシステムのプロセス フローを理解できます。 モデル検証機能は、モデル実装の適切性を評価し、実行されたテストとモデルを支える全体的な制御フレームワークを評価する必要があります。

4) 効果的なデータ ガバナンス プロセスの設計

データは ML モデルの重要な側面であるため、データに関する適切なガバナンス プロセスが重要です。 データ ガバナンス プロセスは、ソース、入力データの品質チェック、データの分析 (単変量解析と外れ値の解析を含む)、手動入力の制御、およびその他の側面をカバーする必要があります。
モデル検証の観点から、データ テストには、モデルのデータ品質、完全性、適時性に関する一連のルールを確立する効果的なデータ管理フレームワークが必要です。 そういう意味で、従来のモデルに比べて ML 手法で使用されるデータは膨大であるため、これらの標準からの逸脱は難しいトピックです。 また、ML モデルは大量の異種の高次元データに依存しているため、データが適切であることを確認するために、モデルの完全な展開の最終段階まで、ソーシング、処理、および変換から文書化することが重要になります。

したがって、モデル検証チームは、入力データが利用可能であり、本番環境で使用する前に適切な品質チェックを受けていることを確認する必要があります。 また、さまざまな ML 手法が欠損データ、正規化手法、異常データをどのように処理するかをテストする必要があります。 また、企業は、データの問題をソースで修正できるように、ソース システムまでのデータのトレーサビリティを確保する必要があります。

5) ML モデルの説明可能性の欠如を制御する

ML モデルの説明可能性の欠如は、入出力応答が不明確で透明性に欠ける ANN などのより複雑な手法にとって大きな課題です。 一部の ML モデルは複雑であるため、最終的な見積もりの​​理論、仮定、および数学的根拠の明確な概要を提供することが困難になる場合があります。 最後に、そのようなモデルは効率的に検証するのが難しいことがわかっています。

ブラック ボックスの特性により、モデルの概念の健全性を評価することが難しくなり、モデルの信頼性が低下します。 たとえば、ハイパーパラメータの検証には追加の統計知識が必要になる場合があるため、機関は検証を監督するスタッフが適切に訓練されていることを確認する必要があります。

モデル バリデーターは、透明性の欠如に対処するための軽減策を検討できます。 このような管理は、より厳格な継続的な監視の一部となる可能性があります。 また、ベンチマーク モデルを使用して、アウトプットと差異を事前定義されたルールと比較することをお勧めします。これにより、本番環境でのモデルの使用がさらに調査または中止される可能性があります。

6) ML モデルのハイパーパラメータ キャリブレーション

通常、ML モデルの主要な前提条件は、モデルに適用するために開発および調整されたハイパーパラメーターです。 これらの仮定が不透明である場合、ビジネスの直感や健全性も不透明です。 さらに、ML モデルでは、ハイパーパラメーターの値がモデルの結果に深刻な影響を与える可能性があります。

ハイパーパラメータ設定の変更を評価して、モデラーの選択の妥当性を評価する必要があります。 ハイパーパラメータをさらに変更する場合、検証チームはモデルの結果が一貫していることを確認する必要があります。

7) アウトカム分析

これまで見てきたように、結果分析は、一部の ML 手法における説明可能性の欠如を補うために不可欠です。 さらに、結果分析は、モデルのパフォーマンスを評価する上で重要な役割を果たします。 分析は、交差検証とそのバリアントに焦点を当てています。 バックテスト手順には、従来のモデルと同じ関連性はありません。

ML モデルにおける分散とバイアスのトレードオフは、困難で懸念される場合があります。 これは統計モデルと回帰モデルの範囲外ではありませんが、ML モデルはアラームを増幅します。

モデルの方法論に応じて、この目的のために多くのメトリックを使用できます。 たとえば、MSE はバイアスと分散に分解できます。 トレードオフの明示的な評価をレビューし、文書化する必要があります。

アウトオブサンプル テストは、AI/ML の結果分析の重要なコンポーネントでもあります。 バリデーターは、クロスバリデーションやテストセットを含む結果分析が適切に実施されるように、モデル開発プロセスで適切な手順が守られているかどうかを確認および評価する必要があります。

タイムスタンプ：

より多くの フィンテクトラ