ความท้าทายเจ็ดประการที่สถาบันการเงินต้องจัดการเพื่อใช้ประโยชน์จากศักยภาพของแมชชีนเลิร์นนิง (Anshuman Prasad)

ความท้าทายเจ็ดประการที่สถาบันการเงินต้องจัดการเพื่อใช้ประโยชน์จากศักยภาพของแมชชีนเลิร์นนิง (Anshuman Prasad)

ประทับเวลา: 9 มีนาคม 2023 11:20 น
โหนดต้นทาง: 2001633

แมชชีนเลิร์นนิง (ML) ซึ่งเป็นแขนของปัญญาประดิษฐ์ (AI) ที่โดดเด่นที่สุดได้ตัดทั้งสองทางสำหรับอุตสาหกรรมบริการทางการเงิน ซึ่งแอปพลิเคชันของมันกว้างขึ้นเรื่อยๆ ในแต่ละวัน

ประโยชน์ที่เห็นได้ชัด แบบจำลอง ML ได้รับการฝึกฝนให้เรียนรู้จากผลลัพธ์เช่นเดียวกับที่สมองมนุษย์ทำ และสามารถทำงานที่ซับซ้อนในระดับความเร็วที่มนุษย์ทั่วไปไม่สามารถทำได้

แต่อันตรายมากมาย ความซับซ้อนของแบบจำลองถือเป็นความเสี่ยง หลายอย่างอาจทึบและคลุมเครือ ขึ้นชื่อว่าเป็นกล่องดำ และเมื่อโมเดลที่ไม่โปร่งใสทำงานผิดพลาด สิ่งต่างๆ อาจหลุดมือไปได้

ในกรณีที่รุนแรง อาจนำไปสู่ความล้มเหลวของสถาบันการเงิน ซึ่งส่งผลกระทบอย่างเป็นระบบต่อเศรษฐกิจทั้งหมด

สำหรับสถาบันการเงิน มีความท้าทายมากมายในการทำให้โมเดล ML เป็นไปตามหลักการที่มีอยู่และแนวปฏิบัติที่ดีที่สุดในการบริหารความเสี่ยงของโมเดล จากประสบการณ์ของเราในการทำงานกับสถาบันการเงิน ต่อไปนี้คือความท้าทายที่พบบ่อยที่สุด XNUMX ประการที่เราเห็นและขั้นตอนที่พวกเขากำลังดำเนินการเพื่อจัดการกับปัญหาเหล่านั้น

1) ดำเนินการกรอบการตรวจสอบแบบจำลอง ML ที่ครอบคลุมอัลกอริทึม เทคนิคการตรวจสอบความถูกต้อง การควบคุม และการจัดทำเอกสาร

สถาบันการเงินจำเป็นต้องวางกรอบการตรวจสอบแบบ end-to-end สำหรับโมเดล ML โดยเฉพาะ

การเลือกอัลกอริทึมที่เหมาะสมโดยคำนึงถึงความต้องการทางธุรกิจและความพร้อมใช้งานของข้อมูลเป็นสิ่งสำคัญ สิ่งนี้ต้องการความเชี่ยวชาญในการสร้างแบบจำลอง ML ความเข้าใจในธุรกิจ และการเขียนโปรแกรม

เทคนิคการตรวจสอบความถูกต้องสำหรับแบบจำลอง ML แตกต่างจากที่ใช้โดยทั่วไปโดยสถาบันการเงินสำหรับแบบจำลองอื่นๆ นอกจากนี้ยังอาจแตกต่างกันไปตามอัลกอริทึม ML ที่ใช้และความพร้อมใช้งานและโครงสร้างของข้อมูล

นอกจากนี้ การตรวจสอบซ้ำและการตรวจสอบความถูกต้องตามเป้าหมาย (การเปลี่ยนแปลงที่สำคัญที่ใช้กับโมเดลที่มีอยู่) ควรได้รับการคุ้มครองโดยแนวป้องกันที่สอง เพื่อยืนยันว่าโมเดลเหมาะสมกับวัตถุประสงค์ ในโมเดล ML การเปลี่ยนแปลงเล็กน้อยในพารามิเตอร์หรือการปรับแต่งการตั้งค่าอาจส่งผลต่อลักษณะการทำงานของอัลกอริทึมและผลลัพธ์ของโมเดลอย่างมาก

จากนั้นจำเป็นต้องมีกรอบการควบคุมโดยเน้นที่การออกแบบและประสิทธิผลของการควบคุม เอกสารประกอบที่สมบูรณ์เป็นสิ่งจำเป็นเพื่อให้แน่ใจว่าบุคคลที่เป็นอิสระเข้าใจวัตถุประสงค์ของการสร้างแบบจำลอง อัลกอริทึมและเทคนิคการตรวจสอบที่ใช้ ควบคุมความเป็นเจ้าของ และความครอบคลุม

สิ่งสำคัญคือต้องมีเจ้าหน้าที่ที่มีความรู้และทักษะที่เหมาะสมในการตรวจสอบโมเดล ดังนั้น ทีมตรวจสอบแบบจำลองจึงต้องจ้างผู้ที่มีพื้นฐานด้านวิทยาศาสตร์ข้อมูลและมีพื้นฐานที่มั่นคงเกี่ยวกับเทคนิคการสร้างแบบจำลอง AI และ ML ที่แตกต่างกัน

2) การกำหนดนโยบายที่ครอบคลุมข้อกำหนดด้านกฎระเบียบ การกำกับดูแล และการควบคุม การตรวจสอบ

ยังมีความไม่แน่นอนอยู่มากเกี่ยวกับข้อกำหนดด้านกฎระเบียบสำหรับการตรวจสอบแบบจำลอง ML

หน่วยงานกำกับดูแลได้นำเสนอความคาดหวังด้านกฎระเบียบทั่วไป อย่างไรก็ตาม ไม่มีกรอบการกำกับดูแลที่เป็นทางการสำหรับโมเดล ML สถาบันการเงินควรพัฒนานโยบายที่ระบุข้อกำหนดด้านกฎระเบียบทั่วไป ซึ่งอาจรวมถึงแนวทางการบริหารความเสี่ยงแบบจำลองและแนวทางสำหรับแบบจำลอง ML

แนวทางการจัดการความเสี่ยงของแบบจำลองควรครอบคลุมความถูกต้องของแนวคิด การตรวจสอบคุณภาพข้อมูล การกำกับดูแลและการควบคุม การตรวจสอบแบบจำลอง และการตรวจสอบความถูกต้องของแบบจำลอง คณะกรรมการและผู้บริหารระดับสูงควรตระหนักถึงกรณีการใช้งานและเข้าใจถึงประสิทธิผลของการควบคุมที่ใช้ในวงจรชีวิตแบบจำลอง ML ต้องมีการกำหนดบทบาทและความรับผิดชอบอย่างชัดเจนเพื่อให้เกิดความเป็นเจ้าของและความรับผิดชอบ

3) การนำโมเดล ML ไปใช้ภายในสภาพแวดล้อมที่แข็งแกร่งและควบคุมได้

การนำโมเดล ML ไปใช้มีความเสี่ยง เมื่อเปรียบเทียบกับแบบจำลองทางสถิติหรือแบบดั้งเดิม ข้อกำหนดเฉพาะที่ซับซ้อนของอัลกอริธึม ML ทำให้เน้นไปที่ประสิทธิภาพการคำนวณและหน่วยความจำ ซึ่งเพิ่มความกังวลเกี่ยวกับความเสี่ยงในการนำไปใช้งาน

การนำโมเดล ML ไปใช้งานโดยใช้แพลตฟอร์มที่แตกต่างกันนั้นต้องการความเชี่ยวชาญและโครงสร้างพื้นฐาน สิ่งสำคัญควรอยู่ที่การสร้างโครงสร้างพื้นฐานด้านไอทีที่มีประสิทธิภาพ การพัฒนาเครื่องมือโดยใช้การเขียนโปรแกรม การปรับปรุงการตรวจสอบแบบจำลอง และการตั้งค่าการตรวจสอบความถูกต้องภายในเครื่องมือเหล่านี้ ความซับซ้อนนี้ทำให้งานตรวจสอบความถูกต้องยากขึ้นในการตรวจสอบการใช้งานโมเดลที่ถูกต้องภายในระบบไอที

การจัดทำเอกสารขั้นตอนการดำเนินการช่วยให้บุคคลอิสระสามารถเข้าใจขั้นตอนการทำงานของระบบที่ใช้ ฟังก์ชันการตรวจสอบแบบจำลองจำเป็นต้องประเมินความเหมาะสมของการนำแบบจำลองไปใช้ และประเมินการทดสอบที่ดำเนินการและกรอบการควบคุมโดยรวมที่สนับสนุนแบบจำลอง

4) การออกแบบกระบวนการกำกับดูแลข้อมูลที่มีประสิทธิภาพ

เนื่องจากข้อมูลเป็นส่วนสำคัญของโมเดล ML กระบวนการกำกับดูแลที่เหมาะสมจึงมีความสำคัญ กระบวนการกำกับดูแลข้อมูลควรครอบคลุมถึงแหล่งที่มา การตรวจสอบคุณภาพข้อมูลอินพุต การวิเคราะห์ข้อมูล (ซึ่งรวมถึงการวิเคราะห์ที่ไม่แปรผันและการวิเคราะห์ค่าผิดปกติ) การควบคุมอินพุตด้วยตนเอง และด้านอื่นๆ
จากมุมมองของการตรวจสอบความถูกต้องของแบบจำลอง การทดสอบข้อมูลจำเป็นต้องมีกรอบการจัดการข้อมูลที่มีประสิทธิภาพซึ่งกำหนดชุดของกฎเกี่ยวกับคุณภาพของข้อมูล ความสมบูรณ์ และความทันเวลาสำหรับแบบจำลอง ในแง่นี้ การเบี่ยงเบนจากมาตรฐานเหล่านี้เป็นหัวข้อที่ท้าทาย เนื่องจากข้อมูลที่ใช้ในวิธี ML นั้นมีปริมาณมากเมื่อเทียบกับข้อมูลในโมเดลแบบดั้งเดิม นอกจากนี้ โมเดล ML ยังอาศัยข้อมูลปริมาณมากที่ต่างกันและมีมิติสูง ทำให้การจัดทำเอกสารตั้งแต่การจัดหา การประมวลผล และการแปลง จนถึงขั้นตอนสุดท้ายของการนำโมเดลไปใช้อย่างเต็มรูปแบบจึงมีความสำคัญ เพื่อให้แน่ใจว่าข้อมูลมีความเหมาะสม

ดังนั้นทีมตรวจสอบความถูกต้องของแบบจำลองจะต้องยืนยันว่าข้อมูลอินพุตมีอยู่และได้ผ่านการตรวจสอบคุณภาพที่เหมาะสมก่อนนำไปใช้ในการผลิต นอกจากนี้ยังจำเป็นต้องทดสอบว่าเทคนิค ML ต่างๆ จัดการกับข้อมูลที่ขาดหายไป เทคนิคการทำให้เป็นมาตรฐาน และข้อมูลที่ผิดปกติอย่างไร นอกจากนี้ บริษัทต่างๆ ควรตรวจสอบให้แน่ใจว่าสามารถตรวจสอบย้อนกลับของข้อมูลกลับไปยังระบบต้นทางได้ดี เพื่อให้สามารถแก้ไขความท้าทายด้านข้อมูลที่ต้นทางได้

5) การควบคุมการขาดความสามารถในการอธิบายของโมเดล ML

การขาดความสามารถในการอธิบายของโมเดล ML เป็นความท้าทายที่สำคัญสำหรับเทคนิคที่ซับซ้อนกว่า เช่น ANN ซึ่งการตอบสนองอินพุต-เอาต์พุตไม่ชัดเจนและขาดความโปร่งใส ความซับซ้อนของแบบจำลอง ML บางแบบอาจทำให้ยากต่อการจัดเตรียมโครงร่างที่ชัดเจนของทฤษฎี สมมติฐาน และพื้นฐานทางคณิตศาสตร์ของการประมาณการขั้นสุดท้าย ในที่สุด โมเดลดังกล่าวพิสูจน์แล้วว่ายากที่จะตรวจสอบได้อย่างมีประสิทธิภาพ

ลักษณะเฉพาะของกล่องดำทำให้ยากต่อการประเมินความสมบูรณ์ทางแนวคิดของแบบจำลอง ซึ่งทำให้ความน่าเชื่อถือลดลง ตัวอย่างเช่น การตรวจสอบความถูกต้องของไฮเปอร์พารามิเตอร์อาจต้องการความรู้ทางสถิติเพิ่มเติม ดังนั้น สถาบันควรตรวจสอบให้แน่ใจว่าเจ้าหน้าที่ที่ดูแลการตรวจสอบความถูกต้องได้รับการฝึกอบรมอย่างเหมาะสม

ตัวตรวจสอบความถูกต้องของโมเดลสามารถดูการควบคุมที่ลดลงเพื่อจัดการกับการขาดความโปร่งใส การควบคุมดังกล่าวสามารถเป็นส่วนหนึ่งของการตรวจสอบต่อเนื่องที่เข้มงวดมากขึ้น ขอแนะนำให้ใช้แบบจำลองเปรียบเทียบเพื่อเปรียบเทียบผลลัพธ์และความแปรปรวนกับกฎที่กำหนดไว้ล่วงหน้า ซึ่งอาจนำไปสู่การตรวจสอบเพิ่มเติมหรือยุติการใช้แบบจำลองในการผลิต

6) การปรับเทียบไฮเปอร์พารามิเตอร์ของรุ่น ML

สมมติฐานหลักสำหรับโมเดล ML มักเป็นไฮเปอร์พารามิเตอร์ที่พัฒนาและปรับแต่งเพื่อใช้ในโมเดล หากข้อสันนิษฐานเหล่านี้คลุมเครือ ดังนั้นสัญชาตญาณหรือความสมบูรณ์ของธุรกิจก็เช่นกัน ยิ่งไปกว่านั้น ในโมเดล ML ค่าของไฮเปอร์พารามิเตอร์อาจส่งผลกระทบอย่างรุนแรงต่อผลลัพธ์ของโมเดล

จำเป็นต้องประเมินการเปลี่ยนแปลงการตั้งค่าไฮเปอร์พารามิเตอร์เพื่อประเมินความเหมาะสมของตัวเลือกของผู้สร้างโมเดล หากดำเนินการเปลี่ยนแปลงไฮเปอร์พารามิเตอร์เพิ่มเติม ทีมตรวจสอบต้องยืนยันว่าผลลัพธ์ของโมเดลนั้นสอดคล้องกัน

7) การวิเคราะห์ผลลัพธ์

เราเห็นว่าการวิเคราะห์ผลลัพธ์เป็นสิ่งสำคัญในการชดเชยการขาดความสามารถในการอธิบายในเทคนิค ML บางอย่าง นอกจากนี้ การวิเคราะห์ผลลัพธ์ยังมีบทบาทสำคัญในการประเมินประสิทธิภาพของแบบจำลอง การวิเคราะห์มุ่งเน้นไปที่การตรวจสอบข้ามและตัวแปร ขั้นตอนการทดสอบย้อนกลับไม่มีความเกี่ยวข้องเหมือนกับในรุ่นดั้งเดิม

ความแปรปรวนและความลำเอียงในโมเดล ML อาจเป็นเรื่องที่ท้าทายและน่ากังวล แม้ว่าสิ่งนี้จะไม่อยู่นอกขอบเขตของแบบจำลองทางสถิติและแบบจำลองการถดถอย แต่แบบจำลอง ML จะขยายสัญญาณเตือนภัย

สามารถใช้เมตริกจำนวนมากเพื่อจุดประสงค์นี้ ขึ้นอยู่กับวิธีการของแบบจำลอง ตัวอย่างเช่น MSE สามารถแบ่งออกเป็นอคติและความแปรปรวน ควรทบทวนและบันทึกการประเมินการแลกเปลี่ยนอย่างชัดเจน

การทดสอบนอกตัวอย่างยังเป็นองค์ประกอบที่สำคัญสำหรับการวิเคราะห์ผลลัพธ์สำหรับ AI/ML ผู้ตรวจสอบความถูกต้องต้องทบทวนและประเมินว่าได้ปฏิบัติตามขั้นตอนที่เหมาะสมในกระบวนการพัฒนาแบบจำลองหรือไม่ เพื่อให้แน่ใจว่าการวิเคราะห์ผลลัพธ์ดำเนินการอย่างเหมาะสม รวมถึงการตรวจสอบข้ามและชุดการทดสอบ

ประทับเวลา:

เพิ่มเติมจาก ฟินเท็กซ์ทรา