هفت چالشی که موسسات مالی باید به آن بپردازند تا پتانسیل یادگیری ماشین را مهار کنند (آنشومان پراساد)

هفت چالشی که موسسات مالی باید به آن بپردازند تا پتانسیل یادگیری ماشین را مهار کنند (آنشومان پراساد)

تمبر زمان: 9 مارس 2023، 11:20 صبح
گره منبع: 2001633

یادگیری ماشینی (ML)، برجسته‌ترین بازوی هوش مصنوعی (AI)، صنعت خدمات مالی را هر دو راه را کاهش می‌دهد، جایی که کاربردهای آن روز به روز گسترده‌تر می‌شود.

مزایای آن آشکار است. مدل‌های ML آموزش دیده‌اند تا از نتایج بیاموزند، درست همانطور که مغز انسان انجام می‌دهد و می‌توانند وظایف پیچیده را در مقیاس و سرعتی که انسان‌ها نمی‌توانند انجام دهند، انجام دهند.

اما خطرات فراوان است. پیچیدگی مدل ها یک خطر است. بسیاری از آنها می توانند مبهم و مبهم باشند و به خاطر جعبه سیاه بودن بدنام باشند. و هنگامی که مدل‌های غیرشفاف کار نمی‌کنند، ممکن است همه چیز از کنترل خارج شود.

در موارد شدید، حتی می‌تواند منجر به ورشکستگی مؤسسات مالی و پیامدهای سیستماتیک برای کل اقتصاد شود.

برای مؤسسات مالی، تعدادی چالش وجود دارد که مدل‌های ML به اصول موجود و بهترین شیوه‌های مدیریت ریسک مدل پایبند باشند. در تجربه ما از کار با موسسات مالی، موارد زیر هفت مورد از رایج‌ترین چالش‌هایی است که می‌بینیم و اقداماتی که آنها برای رفع آنها انجام می‌دهند.

1) عملیاتی کردن یک چارچوب اعتبارسنجی مدل ML که الگوریتم‌ها، تکنیک‌های اعتبارسنجی، کنترل‌ها و مستندات را پوشش می‌دهد.

موسسات مالی باید یک چارچوب اعتبارسنجی سرتاسری را به طور خاص برای مدل‌های ML ایجاد کنند.

انتخاب الگوریتم های مناسب با توجه به نیازهای تجاری و در دسترس بودن داده ها بسیار مهم است. این نیاز به تخصص در مدل سازی ML، درک کسب و کار و برنامه نویسی دارد.

تکنیک‌های اعتبارسنجی برای مدل‌های ML با روش‌هایی که معمولاً توسط مؤسسات مالی برای مدل‌های دیگر استفاده می‌شود، متفاوت است. آنها همچنین می توانند بر اساس الگوریتم ML مورد استفاده و در دسترس بودن و ساختار داده ها متفاوت باشند.

علاوه بر این، اعتبار سنجی مجدد و اعتبارسنجی هدفمند (تغییرات قابل توجه اعمال شده در مدل های موجود) باید توسط خط دفاع دوم پوشش داده شود تا تأیید شود که مدل برای هدف مناسب است. در مدل های ML، تغییرات جزئی در پارامترها یا تنظیم تنظیمات می تواند رفتار الگوریتم و نتایج مدل را به طور قابل توجهی تحت تاثیر قرار دهد.

سپس، چارچوب کنترلی باید با تأکید بر طراحی و اثربخشی کنترل‌ها، در جای خود باشد. برای اطمینان از اینکه طرف مستقل هدف مدل‌سازی، الگوریتم‌ها و تکنیک‌های اعتبارسنجی مورد استفاده، مالکیت کنترل و پوشش را درک می‌کند، مستندات کامل ضروری است.

همچنین مهم است که توابع اعتبارسنجی مدل از افرادی تشکیل شود که دانش و مهارت های مناسبی دارند. از این رو، تیم‌های اعتبارسنجی مدل باید افرادی را با پیشینه علم داده و پایه محکم تکنیک‌های مختلف مدل‌سازی هوش مصنوعی و ML استخدام کنند.

2) تنظیم سیاست هایی که الزامات نظارتی، حاکمیت و کنترل ها، نظارت را پوشش می دهد

هنوز عدم قطعیت قابل توجهی در مورد الزامات نظارتی برای اعتبار سنجی مدل ML وجود دارد.

نهادهای نظارتی انتظارات عمومی نظارتی را ارائه کرده اند. با این حال، هیچ چارچوب قانونی رسمی برای مدل‌های ML وجود ندارد. مؤسسات مالی باید خط مشی ای تدوین کنند که الزامات قانونی کلی را بیان کند، که می تواند شامل دستورالعمل های مدیریت ریسک مدل و دستورالعمل هایی برای مدل های ML باشد.

دستورالعمل های مدیریت ریسک مدل باید صحت مفهومی، بررسی کیفیت داده ها، حاکمیت و کنترل ها، نظارت بر مدل و اعتبارسنجی مدل را پوشش دهد. هیئت مدیره و مدیریت ارشد باید از موارد استفاده آگاه باشند و اثربخشی کنترل های مورد استفاده در چرخه عمر مدل ML را درک کنند. برای دستیابی به مالکیت و مسئولیت پذیری باید نقش ها و مسئولیت ها به وضوح تعریف شوند.

3) پیاده سازی مدل های ML در یک محیط قوی و کنترل شده

پیاده سازی مدل های ML مستعد خطرات است. در مقایسه با مدل‌های آماری یا سنتی، مشخصات پیچیده الگوریتم‌های ML بر کارایی محاسباتی و حافظه تاکید می‌کند، که نگرانی‌ها در مورد خطرات پیاده‌سازی را افزایش می‌دهد.

پیاده سازی مدل های ML با استفاده از پلتفرم های مختلف نیاز به تخصص و زیرساخت دارد. تاکید باید بر ایجاد یک زیرساخت IT قوی، توسعه ابزار با استفاده از برنامه نویسی، بهبود نظارت بر مدل، و تنظیمات اعتبارسنجی در این ابزارها باشد. این پیچیدگی کار اعتبارسنجی را برای تأیید اجرای صحیح مدل‌ها در سیستم فناوری اطلاعات دشوارتر می‌کند.

مستندسازی فرآیند پیاده سازی، یک طرف مستقل را قادر می سازد تا جریان فرآیند سیستم مورد استفاده را درک کند. تابع اعتبارسنجی مدل نیاز به ارزیابی مناسب بودن پیاده سازی مدل، و ارزیابی آزمایش انجام شده و چارچوب کنترل کلی زیربنای مدل دارد.

4) طراحی فرآیندهای حاکمیت داده موثر

از آنجایی که داده ها جنبه مهمی از مدل های ML است، فرآیندهای حاکمیتی کافی در اطراف آن حیاتی است. فرآیند حاکمیت داده باید منابع، بررسی کیفیت داده های ورودی، تجزیه و تحلیل داده ها (که شامل تجزیه و تحلیل تک متغیره و تجزیه و تحلیل نقاط پرت است)، کنترل های ورودی دستی و سایر جنبه ها را پوشش دهد.
از منظر اعتبارسنجی مدل، آزمایش داده ها نیازمند یک چارچوب مدیریت داده موثر است که مجموعه ای از قوانین را در مورد کیفیت، کامل بودن و به موقع بودن مدل ها ایجاد می کند. به این معنا، انحراف از این استانداردها یک موضوع چالش برانگیز است، زیرا داده های مورد استفاده در روش های ML در مقایسه با مدل های سنتی بسیار زیاد است. همچنین، مدل‌های ML بر حجم زیادی از داده‌های ناهمگن و با ابعاد بالا تکیه می‌کنند، که مستندسازی از منبع‌یابی، پردازش و تبدیل، تا آخرین مرحله از استقرار کامل مدل را برای اطمینان از مناسب بودن داده‌ها مهم می‌سازد.

بنابراین، تیم اعتبارسنجی مدل باید تأیید کند که داده‌های ورودی در دسترس هستند و قبل از استفاده در تولید، تحت بررسی‌های کیفی مناسب قرار گرفته‌اند. همچنین لازم است آزمایش شود که چگونه تکنیک های مختلف ML داده های گمشده، تکنیک های عادی سازی و داده های غیرعادی را مدیریت می کنند. همچنین، شرکت‌ها باید از قابلیت ردیابی خوب داده‌ها به سیستم‌های منبع اطمینان حاصل کنند تا چالش‌های داده را بتوان در منبع برطرف کرد.

5) کنترل عدم توضیح پذیری مدل های ML

فقدان توضیح‌پذیری مدل‌های ML یک چالش بزرگ برای تکنیک‌های پیچیده‌تر، مانند ANN است، که در آن پاسخ‌های ورودی-خروجی نامشخص و فاقد شفافیت هستند. پیچیدگی برخی از مدل‌های ML می‌تواند ارائه یک طرح کلی واضح از نظریه، مفروضات و مبنای ریاضی برآوردهای نهایی را چالش برانگیز کند. در نهایت، اعتبارسنجی کارآمد چنین مدل‌هایی دشوار است.

مشخصه جعبه سیاه ارزیابی درستی مفهومی مدل را دشوار می کند و قابلیت اطمینان آن را کاهش می دهد. به عنوان مثال، اعتبار سنجی فراپارامترها ممکن است به دانش آماری بیشتری نیاز داشته باشد، و بنابراین، موسسات باید اطمینان حاصل کنند که کارکنان نظارت بر اعتبارسنجی به طور مناسب آموزش دیده اند.

اعتبارسنجی‌های مدل می‌توانند برای رفع فقدان شفافیت به کنترل‌های کاهش‌دهنده نگاه کنند. چنین کنترل هایی می تواند بخشی از نظارت مداوم باشد که دقیق تر است. همچنین توصیه می‌شود از مدل‌های معیار برای مقایسه خروجی‌ها و واریانس‌ها در برابر قوانین از پیش تعریف‌شده استفاده شود، که می‌تواند منجر به بررسی بیشتر یا توقف استفاده از مدل‌ها در تولید شود.

6) کالیبراسیون فراپارامتر مدل های ML

مفروضات کلیدی برای مدل‌های ML معمولاً فراپارامترهایی هستند که برای اعمال در مدل ایجاد و تنظیم شده‌اند. اگر این مفروضات مبهم باشند، شهود یا صحت کسب و کار نیز چنین خواهد بود. علاوه بر این، در مدل‌های ML، مقدار فراپارامترها می‌تواند به شدت بر نتایج مدل تأثیر بگذارد.

تغییرات در تنظیمات هایپرپارامتر باید ارزیابی شود تا مناسب بودن انتخاب مدلساز ارزیابی شود. اگر تغییرات بیشتری در فراپارامترها انجام شود، تیم اعتبارسنجی باید تایید کند که نتایج مدل سازگار است.

7) تجزیه و تحلیل نتایج

ما دیدیم که تجزیه و تحلیل نتیجه برای جبران کمبود توضیح پذیری در برخی از تکنیک های ML بسیار مهم است. علاوه بر این، تحلیل پیامد نقش مهمی در ارزیابی عملکرد مدل دارد. تجزیه و تحلیل بر اعتبارسنجی متقابل و انواع آن متمرکز است. رویه‌های آزمون برگشتی مانند مدل‌های سنتی مرتبط نیستند.

مبادله واریانس در مقابل تعصب در مدل های ML می تواند چالش برانگیز و نگران کننده باشد. در حالی که این خارج از محدوده مدل های آماری و رگرسیونی نبوده است، مدل های ML آلارم ها را تقویت می کنند.

بسته به روش شناسی مدل، معیارهای زیادی را می توان برای این منظور استفاده کرد. به عنوان مثال، MSE را می توان به بایاس و واریانس تجزیه کرد. ارزیابی صریح مبادلات باید بررسی و مستند شود.

آزمایش خارج از نمونه نیز جزء مهمی برای تجزیه و تحلیل نتیجه برای AI/ML است. اعتبار سنجی ها باید بررسی و ارزیابی کنند که آیا رویه های مناسب در فرآیند توسعه مدل دنبال شده است تا اطمینان حاصل شود که تجزیه و تحلیل نتیجه به طور مناسب انجام شده است، از جمله اعتبار سنجی متقابل و مجموعه های آزمایش.

تمبر زمان:

بیشتر از فینسترا