金融机构必须应对七大挑战以利用机器学习的潜力（Anshuman Prasad）

金融机构必须应对七大挑战以利用机器学习的潜力（Anshuman Prasad）

时间戳记：9年2023月11日上午20:XNUMX
源节点： 2001633

机器学习 (ML) 是人工智能 (AI) 最突出的分支，它为金融服务行业提供了两种方式，其应用日益广泛。

好处是显而易见的。 ML 模型经过训练，可以像人脑一样从结果中学习，并且可以以人类无法做到的规模和速度执行复杂任务。

但危险比比皆是。 模型的复杂性是一种风险。 许多可能是不透明和晦涩的，因为是黑盒子而臭名昭著。 当非透明模型出现故障时，事情可能会失控。

在极端情况下，它甚至可能导致金融机构倒闭，对整个经济造成系统性后果。

对于金融机构而言，实际使 ML 模型遵守模型风险管理的现有原则和最佳实践存在许多挑战。 根据我们与金融机构合作的经验，以下是我们看到的七个最常见的挑战，以及他们正在采取哪些措施来应对这些挑战。

1) 实施涵盖算法、验证技术、控制和文档的 ML 模型验证框架

金融机构需要专门为 ML 模型建立端到端的验证框架。

根据业务需求和数据可用性选择合适的算法至关重要。 这需要 ML 建模、业务理解和编程方面的专业知识。

ML 模型的验证技术与金融机构通常用于其他模型的验证技术不同。 它们还可能根据所使用的 ML 算法以及数据的可用性和结构而有所不同。

此外，第二道防线应涵盖重新验证和有针对性的验证（对现有模型进行重大更改），以确认模型符合目的。 在 ML 模型中，参数的微小变化或调整设置会显着影响算法的行为和模型的结果。

然后，控制框架需要到位，重点放在控制的设计和有效性上。 必须提供完整的文档，以确保独立方了解建模的目标、所使用的算法和验证技术、控制所有权和覆盖范围。

同样重要的是，模型验证职能部门配备了拥有正确知识和技能的人员。 因此，模型验证团队必须聘请具有数据科学背景和不同 AI 和 ML 建模技术扎实基础的人员。

2) 制定涵盖监管要求、治理和控制、监控的政策

ML 模型验证的监管要求仍然存在相当大的不确定性。

监管机构提出了一般监管预期； 但是，ML 模型没有正式的监管框架。 金融机构应制定一项政策，说明一般监管要求，其中可能包括模型风险管理指南和 ML 模型指南。

模型风险管理指南应涵盖概念合理性、数据质量检查、治理和控制、模型监控和模型验证。 董事会和高级管理层应了解用例并了解 ML 模型生命周期中使用的控制的有效性。 需要明确定义角色和责任，以实现所有权和问责制。

3) 在稳健且受控的环境中实施 ML 模型

ML 模型的实施容易受到风险的影响。 与统计模型或传统模型相比，ML 算法的复杂规范对计算和内存效率施加了压力，这加剧了人们对实施风险的担忧。

使用不同平台实施 ML 模型需要专业知识和基础设施。 重点应该放在创建强大的 IT 基础架构、使用编程开发工具、改进模型监控以及这些工具中的验证设置。 这种复杂性使得验证任务更加难以验证 IT 系统中模型的正确实施。

实施过程的文档使独立方能够理解所用系统的过程流。 模型验证功能需要评估模型实施的适当性，并评估执行的测试和支撑模型的整体控制框架。

4) 设计有效的数据治理流程

由于数据是 ML 模型的一个重要方面，因此围绕它进行适当的治理流程至关重要。 数据治理流程应涵盖来源、输入数据质量检查、数据分析（包括单变量分析和异常值分析）、人工输入控制等方面。
从模型验证的角度来看，数据测试需要一个有效的数据管理框架，为模型建立一套关于数据质量、完整性和及时性的规则。 从这个意义上说，与这些标准的偏差是一个具有挑战性的话题，因为与传统模型相比，ML 方法中使用的数据是巨大的。 此外，ML 模型依赖于大量异构和高维数据，因此从采购、处理和转换到模型全面部署的最后阶段进行记录非常重要，以确保数据是适当的。

因此，模型验证团队必须确认输入数据可用，并且在用于生产之前已经过适当的质量检查。 还需要测试不同的 ML 技术如何处理缺失数据、规范化技术和异常数据。 此外，公司应确保数据可追溯至源系统，以便在源头解决数据挑战。

5）控制机器学习模型缺乏可解释性

ML 模型缺乏可解释性是对更复杂的技术（例如 ANN）的主要挑战，其中输入输出响应不明确且缺乏透明度。 一些 ML 模型的复杂性使得提供最终估计的理论、假设和数学基础的清晰轮廓变得具有挑战性。 最后，事实证明此类模型难以有效验证。

黑盒特性使得评估模型的概念合理性变得困难，降低了其可靠性。 例如，超参数的验证可能需要额外的统计知识，因此，机构应确保监督验证的人员接受过适当的培训。

模型验证者可以考虑缓解控制以解决缺乏透明度的问题。 此类控制可以成为更严格的持续监控的一部分。 还建议使用基准模型将输出和方差与预定义规则进行比较，这可能导致进一步调查或停止在生产中使用模型。

6）ML模型的超参数标定

ML 模型的关键假设通常是为在模型中应用而开发和调整的超参数。 如果这些假设是不透明的，那么商业直觉或稳健性也是如此。 此外，在 ML 模型中，超参数的值会严重影响模型的结果。

需要评估超参数设置的变化，以评估建模者选择的适当性。 如果对超参数进行进一步更改，验证团队必须确认模型结果是一致的。

7) 结果分析

我们已经看到，结果分析对于弥补某些 ML 技术中缺乏可解释性至关重要。 此外，结果分析在评估模型性能方面具有重要作用。 分析的重点是交叉验证及其变体。 回测程序与传统模型的相关性不同。

ML 模型中的方差与偏差权衡可能具有挑战性和令人担忧。 虽然这并未超出统计和回归模型的范围，但 ML 模型会放大警报。

许多指标可用于此目的，具体取决于模型的方法。 例如，MSE 可以分解为偏差和方差。 应对权衡的明确评估进行审查和记录。

样本外测试也是 AI/ML 结果分析的重要组成部分。 验证者必须审查和评估模型开发过程中是否遵循了适当的程序，以确保适当地进行结果分析，包括交叉验证和测试集。

时间戳记：

更多来自 芬泰达