Bảy thách thức mà các tổ chức tài chính phải giải quyết để khai thác tiềm năng của máy học (Anshuman Prasad)

Bảy thách thức mà các tổ chức tài chính phải giải quyết để khai thác tiềm năng của máy học (Anshuman Prasad)

Dấu thời gian: Ngày 9 tháng 2023 năm 11 20:XNUMX sáng
Nút nguồn: 2001633

Học máy (ML), nhánh nổi bật nhất của trí tuệ nhân tạo (AI), cắt giảm cả hai cách cho ngành dịch vụ tài chính, nơi các ứng dụng của nó ngày càng mở rộng.

Những lợi ích là rõ ràng. Các mô hình ML được đào tạo để học hỏi từ các kết quả giống như bộ não con người thực hiện và có thể thực hiện các tác vụ phức tạp ở quy mô và tốc độ mà con người đơn giản là không thể làm được.

Nhưng nguy hiểm rất nhiều. Sự phức tạp của các mô hình là một rủi ro. Nhiều thứ có thể mờ đục và tối nghĩa, nổi tiếng là hộp đen. Và khi các mô hình không minh bạch gặp sự cố, mọi thứ có thể vượt quá tầm kiểm soát.

Trong những trường hợp cực đoan, nó thậm chí có thể dẫn đến sự sụp đổ của các tổ chức tài chính, với những hậu quả mang tính hệ thống đối với toàn bộ nền kinh tế.

Đối với các tổ chức tài chính, có một số thách thức trong việc thực sự làm cho các mô hình ML tuân thủ các nguyên tắc hiện có và các phương pháp quản lý rủi ro mô hình tốt nhất hiện có. Theo kinh nghiệm của chúng tôi khi làm việc với các tổ chức tài chính, sau đây là bảy trong số những thách thức phổ biến nhất mà chúng tôi thấy và những bước họ đang thực hiện để giải quyết chúng.

1) Vận hành khung xác thực mô hình ML bao gồm các thuật toán, kỹ thuật xác thực, kiểm soát và tài liệu

Các tổ chức tài chính cần đưa ra một khung xác thực từ đầu đến cuối dành riêng cho các mô hình ML.

Việc lựa chọn các thuật toán phù hợp với các yêu cầu kinh doanh và tính sẵn có của dữ liệu là rất quan trọng. Điều này đòi hỏi chuyên môn về lập mô hình ML, hiểu biết về kinh doanh và lập trình.

Các kỹ thuật xác thực cho các mô hình ML khác với các kỹ thuật thường được các tổ chức tài chính sử dụng cho các mô hình khác. Chúng cũng có thể khác nhau tùy theo thuật toán ML được sử dụng cũng như tính sẵn có và cấu trúc của dữ liệu.

Ngoài ra, việc xác thực lại và xác thực mục tiêu (những thay đổi quan trọng được áp dụng cho các mô hình hiện có) phải được bao phủ bởi tuyến phòng thủ thứ hai, để xác nhận mô hình phù hợp với mục đích. Trong các mô hình ML, những thay đổi nhỏ trong tham số hoặc điều chỉnh thiết lập có thể ảnh hưởng đáng kể đến hoạt động của thuật toán và kết quả của mô hình.

Sau đó, khung kiểm soát cần phải được thiết lập, chú trọng vào thiết kế và hiệu quả của các biện pháp kiểm soát. Cần có tài liệu đầy đủ để đảm bảo bên độc lập hiểu được mục tiêu của việc lập mô hình, thuật toán và kỹ thuật xác thực được sử dụng, quyền sở hữu kiểm soát và phạm vi bao phủ.

Điều quan trọng nữa là các chức năng xác nhận mô hình được bố trí nhân viên với những người có kiến ​​thức và kỹ năng phù hợp. Do đó, các nhóm xác thực mô hình phải thuê những người có kiến ​​thức nền tảng về khoa học dữ liệu và nền tảng vững chắc về các kỹ thuật lập mô hình AI và ML khác nhau.

2) Thiết lập các chính sách bao gồm các yêu cầu quy định, quản trị và kiểm soát, giám sát

Vẫn còn sự không chắc chắn đáng kể xung quanh các yêu cầu quy định đối với việc xác thực mô hình ML.

Các cơ quan quản lý đã trình bày những kỳ vọng về quy định chung; tuy nhiên, không có khung pháp lý chính thức cho các mô hình ML. Các tổ chức tài chính nên xây dựng một chính sách nêu rõ các yêu cầu quy định chung, có thể bao gồm các hướng dẫn quản lý rủi ro mô hình và hướng dẫn cho các mô hình ML.

Các hướng dẫn quản lý rủi ro mô hình phải bao gồm tính hợp lý của khái niệm, kiểm tra chất lượng dữ liệu, quản trị và kiểm soát, giám sát mô hình và xác nhận mô hình. Hội đồng quản trị và ban quản lý cấp cao cần biết về các trường hợp sử dụng và hiểu hiệu quả của các biện pháp kiểm soát được sử dụng trong vòng đời của mô hình ML. Vai trò và trách nhiệm cần được xác định rõ ràng để đạt được quyền sở hữu và trách nhiệm giải trình.

3) Triển khai các mô hình ML trong một môi trường mạnh mẽ và được kiểm soát

Việc triển khai các mô hình ML dễ dẫn đến rủi ro. So với các mô hình thống kê hoặc mô hình truyền thống, các thông số kỹ thuật phức tạp của thuật toán ML gây áp lực lên hiệu quả tính toán và bộ nhớ, điều này làm tăng mối lo ngại về rủi ro triển khai.

Việc triển khai các mô hình ML bằng các nền tảng khác nhau đòi hỏi chuyên môn và cơ sở hạ tầng. Cần nhấn mạnh vào việc tạo ra một cơ sở hạ tầng CNTT mạnh mẽ, phát triển các công cụ bằng lập trình, cải thiện việc giám sát mô hình và thiết lập xác thực trong các công cụ này. Sự phức tạp này làm cho nhiệm vụ xác thực trở nên khó khăn hơn để xác minh việc triển khai chính xác các mô hình trong hệ thống CNTT.

Tài liệu về quá trình triển khai cho phép một bên độc lập hiểu được luồng quy trình của hệ thống được sử dụng. Chức năng xác thực mô hình cần đánh giá tính phù hợp của việc triển khai mô hình và đánh giá thử nghiệm đã thực hiện và khung kiểm soát tổng thể làm nền tảng cho mô hình.

4) Thiết kế quy trình quản trị dữ liệu hiệu quả

Vì dữ liệu là một khía cạnh quan trọng của mô hình ML nên các quy trình quản trị phù hợp xung quanh nó là rất quan trọng. Quy trình quản trị dữ liệu phải bao gồm các nguồn, kiểm tra chất lượng dữ liệu đầu vào, phân tích dữ liệu (bao gồm phân tích đơn biến và phân tích các giá trị ngoại lệ), kiểm soát dữ liệu đầu vào thủ công và các khía cạnh khác.
Từ góc độ xác thực mô hình, thử nghiệm dữ liệu yêu cầu một khung quản lý dữ liệu hiệu quả, thiết lập một bộ quy tắc về chất lượng, tính đầy đủ và kịp thời của dữ liệu cho các mô hình. Theo nghĩa như vậy, những sai lệch so với các tiêu chuẩn này là một chủ đề đầy thách thức, vì dữ liệu được sử dụng trong các phương pháp ML là rất lớn so với dữ liệu trong các mô hình truyền thống. Ngoài ra, các mô hình ML dựa trên khối lượng lớn dữ liệu nhiều chiều và không đồng nhất, điều quan trọng là phải lập tài liệu từ tìm nguồn cung ứng, xử lý và chuyển đổi, cho đến giai đoạn cuối cùng của quá trình triển khai đầy đủ mô hình, để đảm bảo dữ liệu phù hợp.

Do đó, nhóm xác nhận mô hình phải xác nhận rằng dữ liệu đầu vào có sẵn và đã trải qua các cuộc kiểm tra chất lượng phù hợp trước khi được sử dụng trong sản xuất. Cũng cần kiểm tra cách các kỹ thuật ML khác nhau xử lý dữ liệu bị thiếu, kỹ thuật chuẩn hóa và dữ liệu bất thường. Ngoài ra, các công ty nên đảm bảo khả năng truy xuất nguồn gốc tốt của dữ liệu trở lại hệ thống nguồn để các thách thức về dữ liệu có thể được khắc phục tại nguồn.

5) Kiểm soát việc thiếu khả năng giải thích của các mô hình ML

Việc thiếu khả năng giải thích của các mô hình ML là một thách thức lớn đối với các kỹ thuật phức tạp hơn, chẳng hạn như ANN, trong đó các phản hồi đầu vào-đầu ra không rõ ràng và thiếu minh bạch. Sự phức tạp của một số mô hình ML có thể khiến việc cung cấp một phác thảo rõ ràng về lý thuyết, giả định và cơ sở toán học của các ước tính cuối cùng trở nên khó khăn. Cuối cùng, các mô hình như vậy tỏ ra khó xác thực một cách hiệu quả.

Đặc điểm hộp đen khiến việc đánh giá tính đúng đắn về mặt khái niệm của mô hình trở nên khó khăn, làm giảm độ tin cậy của mô hình. Ví dụ: việc xác thực các siêu tham số có thể yêu cầu kiến ​​thức thống kê bổ sung và do đó, các tổ chức nên đảm bảo rằng nhân viên giám sát việc xác nhận được đào tạo phù hợp.

Trình xác thực mô hình có thể xem xét giảm nhẹ các biện pháp kiểm soát để giải quyết tình trạng thiếu minh bạch. Những biện pháp kiểm soát như vậy có thể là một phần của quá trình giám sát liên tục chặt chẽ hơn. Bạn cũng nên sử dụng các mô hình điểm chuẩn để so sánh kết quả đầu ra và sự khác biệt với các quy tắc được xác định trước, điều này có thể dẫn đến việc điều tra thêm hoặc ngừng sử dụng các mô hình trong sản xuất.

6) Hiệu chuẩn siêu tham số của các mô hình ML

Các giả định chính cho các mô hình ML thường là các siêu đường kính được phát triển và điều chỉnh để áp dụng trong mô hình. Nếu những giả định này không rõ ràng, thì trực giác hoặc sự lành mạnh của doanh nghiệp cũng vậy. Ngoài ra, trong các mô hình ML, giá trị của siêu đường kính có thể ảnh hưởng nghiêm trọng đến kết quả của mô hình.

Các thay đổi trong cài đặt siêu tham số cần được đánh giá để đánh giá sự phù hợp của lựa chọn của người lập mô hình. Nếu các thay đổi tiếp theo trong siêu tham số được tiến hành, nhóm xác nhận phải xác nhận rằng kết quả mô hình là nhất quán.

7) Phân tích kết quả

Chúng tôi đã thấy rằng phân tích kết quả là rất quan trọng để bù đắp cho việc thiếu khả năng giải thích trong một số kỹ thuật ML. Hơn nữa, phân tích kết quả có một vai trò quan trọng trong việc đánh giá hiệu suất của mô hình. Phân tích tập trung vào xác thực chéo và các biến thể của nó. Các quy trình kiểm tra lại không có mức độ liên quan giống như trong các mô hình truyền thống.

Sự đánh đổi giữa phương sai và sai lệch trong các mô hình ML có thể là một thách thức và đáng lo ngại. Mặc dù điều này không nằm ngoài phạm vi của các mô hình thống kê và hồi quy, nhưng các mô hình ML khuếch đại các cảnh báo.

Nhiều số liệu có thể được sử dụng cho mục đích này, tùy thuộc vào phương pháp của mô hình. Chẳng hạn, MSE có thể được phân tách thành sai lệch và phương sai. Đánh giá rõ ràng về sự đánh đổi nên được xem xét và ghi lại.

Thử nghiệm ngoài mẫu cũng là một thành phần quan trọng để phân tích kết quả cho AI/ML. Người xác nhận phải xem xét và đánh giá xem các quy trình phù hợp có được tuân thủ trong quy trình phát triển mô hình hay không để đảm bảo phân tích kết quả được tiến hành một cách phù hợp, bao gồm các bộ kiểm tra và xác thực chéo.

Dấu thời gian:

Thêm từ tài chính