기계 학습의 잠재력을 활용하기 위해 금융 기관이 해결해야 하는 XNUMX가지 과제(Anshuman Prasad)

인공 지능(AI)의 가장 두드러진 부문인 머신 러닝(ML)은 날이 갈수록 적용 범위가 넓어지고 있는 금융 서비스 산업의 두 가지 방법을 모두 제공합니다.

이점은 분명합니다. ML 모델은 인간의 두뇌처럼 결과로부터 학습하도록 훈련되며 인간이 할 수 없는 규모와 속도로 복잡한 작업을 실행할 수 있습니다.

그러나 위험이 도사리고 있습니다. 모델의 복잡성은 위험합니다. 많은 것이 불투명하고 모호할 수 있으며 블랙 박스로 악명이 높습니다. 그리고 불투명 모델이 오작동하는 경우 문제가 발생할 수 있습니다.

극단적인 경우에는 금융 기관의 도산으로 이어져 전체 경제에 시스템적인 영향을 미칠 수 있습니다.

금융 기관의 경우 실제로 ML 모델이 모델 위험 관리의 기존 원칙과 모범 사례를 준수하도록 만드는 데 여러 가지 문제가 있습니다. 금융 기관과 함께 일한 경험에 비추어 볼 때 다음은 우리가 발견한 가장 일반적인 XNUMX가지 문제와 이를 해결하기 위해 어떤 조치를 취하고 있는지입니다.

1) 알고리즘, 유효성 검사 기술, 제어 및 문서화를 다루는 ML 모델 유효성 검사 프레임워크 운영

금융 기관은 특히 ML 모델을 위한 엔드 투 엔드 검증 프레임워크를 마련해야 합니다.

비즈니스 요구 사항 및 데이터 가용성과 관련하여 적합한 알고리즘을 선택하는 것이 중요합니다. 이를 위해서는 ML 모델링, 비즈니스 이해 및 프로그래밍에 대한 전문 지식이 필요합니다.

ML 모델의 유효성 검사 기술은 금융 기관에서 다른 모델에 일반적으로 사용하는 기술과 다릅니다. 또한 사용된 ML 알고리즘과 데이터의 가용성 및 구조에 따라 다를 수 있습니다.

또한 재검증 및 대상 검증(기존 모델에 적용된 중요한 변경 사항)은 모델이 목적에 적합한지 확인하기 위해 XNUMX차 방어선에서 다루어야 합니다. ML 모델에서 매개변수의 사소한 변경 또는 설정 조정은 알고리즘의 동작과 모델의 결과에 상당한 영향을 미칠 수 있습니다.

그런 다음 컨트롤의 설계 및 효율성에 중점을 둔 컨트롤 프레임워크가 제자리에 있어야 합니다. 독립적인 당사자가 사용된 모델링, 알고리즘 및 유효성 검사 기술, 제어 소유권 및 적용 범위의 목표를 이해하도록 완전한 문서가 반드시 필요합니다.

모델 유효성 검사 기능에 올바른 지식과 기술을 보유한 사람을 배치하는 것도 중요합니다. 따라서 모델 검증 팀은 데이터 과학 배경과 다양한 AI 및 ML 모델링 기술에 대한 탄탄한 기반을 갖춘 사람을 고용해야 합니다.

2) 규제 요구 사항, 거버넌스 및 제어, 모니터링을 다루는 정책 설정

ML 모델 유효성 검사에 대한 규제 요구 사항에는 여전히 상당한 불확실성이 있습니다.

규제 기관은 일반적인 규제 기대치를 제시했습니다. 그러나 ML 모델에 대한 공식적인 규제 프레임워크는 없습니다. 금융 기관은 모델 위험 관리 지침 및 ML 모델에 대한 지침을 포함할 수 있는 일반적인 규제 요구 사항을 설명하는 정책을 개발해야 합니다.

모델 위험 관리 지침은 개념적 건전성, 데이터 품질 검사, 거버넌스 및 제어, 모델 모니터링 및 모델 유효성 검사를 다루어야 합니다. 이사회와 고위 경영진은 사용 사례를 인식하고 ML 모델 수명 주기에 사용되는 통제의 효과를 이해해야 합니다. 소유권과 책임을 달성하려면 역할과 책임을 명확하게 정의해야 합니다.

3) 강력하고 통제된 환경 내에서 ML 모델 구현

ML 모델의 구현은 위험에 취약합니다. 통계 또는 기존 모델과 비교할 때 ML 알고리즘의 복잡한 사양은 계산 및 메모리 효율성에 스트레스를 주어 구현 위험에 대한 우려를 높입니다.

다양한 플랫폼을 사용하여 ML 모델을 구현하려면 전문성과 인프라가 필요합니다. 강력한 IT 인프라 구축, 프로그래밍을 사용한 도구 개발, 모델 모니터링 개선, 이러한 도구 내의 유효성 검사 설정에 중점을 두어야 합니다. 이러한 복잡성으로 인해 IT 시스템 내에서 모델의 올바른 구현을 확인하기 위한 유효성 검사 작업이 더 어려워집니다.

구현 프로세스를 문서화하면 독립적인 당사자가 사용되는 시스템의 프로세스 흐름을 이해할 수 있습니다. 모델 유효성 검사 기능은 모델 구현의 적합성을 평가하고 수행된 테스트와 모델을 뒷받침하는 전체 제어 프레임워크를 평가해야 합니다.

4) 효과적인 데이터 거버넌스 프로세스 설계

데이터는 ML 모델의 중요한 측면이므로 이를 둘러싼 적절한 거버넌스 프로세스가 중요합니다. 데이터 거버넌스 프로세스는 소스, 입력 데이터 품질 검사, 데이터 분석(단변량 분석 및 특이치 분석 포함), 수동 입력 제어 및 기타 측면을 다루어야 합니다.
모델 유효성 검사 관점에서 데이터 테스트에는 데이터 품질, 완전성 및 모델의 적시성에 대한 일련의 규칙을 설정하는 효과적인 데이터 관리 프레임워크가 필요합니다. 그런 의미에서 ML 방법에 사용되는 데이터는 기존 모델에 비해 방대하기 때문에 이러한 표준과의 편차는 어려운 주제입니다. 또한 ML 모델은 대량의 이기종 및 고차원 데이터에 의존하므로 소싱, 처리 및 변환에서 모델 전체 배포의 마지막 단계까지 문서화하여 데이터가 적절한지 확인하는 것이 중요합니다.

따라서 모델 유효성 검사 팀은 입력 데이터를 사용할 수 있고 생산에 사용하기 전에 적절한 품질 검사를 거쳤는지 확인해야 합니다. 또한 다양한 ML 기술이 누락된 데이터, 정규화 기술 및 비정상적인 데이터를 처리하는 방법을 테스트해야 합니다. 또한 회사는 데이터 문제를 소스에서 해결할 수 있도록 소스 시스템에 대한 데이터의 우수한 추적성을 보장해야 합니다.

5) ML 모델의 설명 가능성 부족에 대한 제어

ML 모델의 설명 가능성 부족은 입력-출력 응답이 불분명하고 투명성이 부족한 ANN과 같은 보다 복잡한 기술의 주요 과제입니다. 일부 ML 모델의 복잡성으로 인해 최종 추정치의 이론, 가정 및 수학적 근거에 대한 명확한 개요를 제공하기 어려울 수 있습니다. 마지막으로, 이러한 모델은 효율적으로 검증하기 어렵다는 것이 입증되었습니다.

블랙박스 특성으로 인해 모델의 개념적 건전성을 평가하기 어려워 신뢰도가 떨어집니다. 예를 들어, 하이퍼파라미터의 검증에는 추가 통계 지식이 필요할 수 있으므로 기관은 검증을 감독하는 직원이 적절하게 교육을 받았는지 확인해야 합니다.

모델 유효성 검사기는 투명성 부족을 해결하기 위해 완화 제어를 볼 수 있습니다. 이러한 제어는 보다 엄격한 지속적인 모니터링의 일부가 될 수 있습니다. 또한 벤치마크 모델을 사용하여 미리 정의된 규칙에 대한 결과 및 분산을 비교하는 것이 좋습니다. 그러면 생산에서 모델 사용을 추가로 조사하거나 중단할 수 있습니다.

6) ML 모델의 하이퍼파라미터 보정

ML 모델의 주요 가정은 일반적으로 모델에 적용되도록 개발되고 조정된 하이퍼파라미터입니다. 이러한 가정이 불투명하다면 비즈니스 직관이나 건전성도 불투명할 것입니다. 또한 ML 모델에서 하이퍼파라미터의 값은 모델의 결과에 심각한 영향을 미칠 수 있습니다.

하이퍼파라미터 설정의 변경을 평가하여 모델러 선택의 적절성을 평가해야 합니다. 하이퍼파라미터의 추가 변경이 수행되는 경우 검증 팀은 모델 결과가 일관성이 있는지 확인해야 합니다.

7) 결과 분석

우리가 본 결과 분석은 일부 ML 기술의 설명 가능성 부족을 보완하는 데 중요합니다. 또한 결과 분석은 모델 성능을 평가하는 데 중요한 역할을 합니다. 분석은 교차 검증 및 그 변형에 중점을 둡니다. 백 테스트 절차는 기존 모델과 동일한 관련성이 없습니다.

ML 모델의 분산 대 편향 절충은 까다롭고 우려할 수 있습니다. 이것이 통계 및 회귀 모델의 범위를 벗어나는 것은 아니지만 ML 모델은 경보를 증폭시킵니다.

모델의 방법론에 따라 이 목적을 위해 많은 메트릭을 사용할 수 있습니다. 예를 들어 MSE는 편향과 분산으로 분해될 수 있습니다. 장단점에 대한 명시적 평가를 검토하고 문서화해야 합니다.

Out-of-sample 테스트는 AI/ML의 결과 분석을 위한 중요한 구성 요소이기도 합니다. 유효성 검사기는 교차 유효성 검사 및 테스트 세트를 포함하여 결과 분석이 적절하게 수행되도록 모델 개발 프로세스에서 적절한 절차를 따랐는지 여부를 검토하고 평가해야 합니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs