Tujuh tantangan yang harus dihadapi lembaga keuangan untuk memanfaatkan potensi pembelajaran mesin (Anshuman Prasad)

Pembelajaran mesin (ML), bagian paling menonjol dari kecerdasan buatan (AI), memotong dua arah untuk industri jasa keuangan, di mana aplikasinya semakin luas dari hari ke hari.

Manfaatnya jelas. Model ML dilatih untuk belajar dari hasil seperti yang dilakukan otak manusia dan dapat menjalankan tugas kompleks dalam skala dan kecepatan yang tidak bisa dilakukan manusia.

Tapi bahaya berlimpah. Kompleksitas model merupakan risiko. Banyak yang buram dan tidak jelas, terkenal sebagai kotak hitam. Dan ketika model non-transparan tidak berfungsi, hal-hal bisa menjadi tidak terkendali.

Dalam kasus ekstrim, bahkan dapat menyebabkan kegagalan lembaga keuangan, dengan konsekuensi sistemik bagi seluruh perekonomian.

Untuk lembaga keuangan, ada sejumlah tantangan dalam membuat model ML yang benar-benar mengikuti prinsip dan praktik terbaik manajemen risiko model yang ada. Dalam pengalaman kami bekerja dengan lembaga keuangan, berikut adalah tujuh tantangan paling umum yang kami lihat dan langkah apa yang mereka ambil untuk mengatasinya.

1) Mengoperasionalkan framework validasi model ML yang mencakup algoritme, teknik validasi, kontrol, dan dokumentasi

Lembaga keuangan perlu menerapkan kerangka validasi end-to-end khusus untuk model ML.

Memilih algoritma yang sesuai sehubungan dengan persyaratan bisnis dan ketersediaan data sangat penting. Ini membutuhkan keahlian dalam pemodelan ML, pemahaman bisnis, dan pemrograman.

Teknik validasi untuk model ML berbeda dengan yang umumnya digunakan oleh lembaga keuangan untuk model lainnya. Mereka juga dapat berbeda menurut algoritme ML yang digunakan dan ketersediaan serta struktur data.

Selain itu, validasi ulang dan validasi yang ditargetkan (perubahan signifikan yang diterapkan pada model yang ada) harus dicakup oleh garis pertahanan kedua, untuk mengonfirmasi bahwa model tersebut sesuai untuk tujuan tersebut. Dalam model ML, perubahan kecil pada parameter atau penyetelan penyiapan dapat memengaruhi perilaku algoritme dan hasil model secara signifikan.

Kemudian, kerangka kontrol harus ada, dengan penekanan pada desain dan efektivitas kontrol. Dokumentasi lengkap adalah suatu keharusan untuk memastikan pihak independen memahami tujuan pemodelan, algoritme dan teknik validasi yang digunakan, kepemilikan kontrol, dan cakupan.

Juga penting bahwa fungsi validasi model dikelola oleh orang-orang yang memiliki pengetahuan dan keterampilan yang tepat. Oleh karena itu, tim validasi model harus mempekerjakan orang-orang dengan latar belakang ilmu data dan landasan yang kuat dari berbagai teknik pemodelan AI dan ML.

2) Menyiapkan kebijakan yang mencakup persyaratan peraturan, tata kelola dan kontrol, pemantauan

Masih terdapat banyak ketidakpastian seputar persyaratan peraturan untuk validasi model ML.

Badan pengatur telah menyajikan ekspektasi peraturan umum; namun, tidak ada kerangka peraturan formal untuk model ML. Lembaga keuangan harus mengembangkan kebijakan yang menyatakan persyaratan peraturan umum, yang dapat mencakup pedoman manajemen risiko model dan pedoman untuk model ML.

Pedoman manajemen risiko model harus mencakup kesehatan konseptual, pemeriksaan kualitas data, tata kelola dan kontrol, pemantauan model, dan validasi model. Dewan dan manajemen senior harus mengetahui kasus penggunaan dan memahami keefektifan kontrol yang digunakan dalam siklus hidup model ML. Peran dan tanggung jawab perlu didefinisikan dengan jelas untuk mencapai kepemilikan dan akuntabilitas.

3) Implementasi model ML dalam lingkungan yang kuat dan terkendali

Implementasi model ML rentan terhadap risiko. Dibandingkan dengan model statistik atau tradisional, spesifikasi kompleks algoritme ML memberi tekanan pada efisiensi komputasi dan memori, yang meningkatkan kekhawatiran tentang risiko implementasi.

Implementasi model ML menggunakan platform yang berbeda membutuhkan keahlian dan infrastruktur. Penekanannya harus pada pembuatan infrastruktur TI yang kuat, pengembangan alat menggunakan pemrograman, peningkatan pemantauan model, dan pengaturan validasi dalam alat ini. Kompleksitas ini membuat tugas validasi lebih sulit untuk memverifikasi penerapan model yang benar dalam sistem TI.

Pendokumentasian proses implementasi memungkinkan pihak independen untuk memahami aliran proses dari sistem yang digunakan. Fungsi validasi model perlu menilai kesesuaian implementasi model, dan mengevaluasi pengujian yang dilakukan dan kerangka kontrol keseluruhan yang mendasari model.

4) Merancang proses tata kelola data yang efektif

Karena data merupakan aspek penting dari model ML, proses tata kelola yang memadai di sekitarnya sangatlah penting. Proses tata kelola data harus mencakup sumber, pemeriksaan kualitas data input, analisis data (yang meliputi analisis univariat dan analisis outlier), kontrol pada input manual, dan aspek lainnya.
Dari perspektif validasi model, pengujian data memerlukan kerangka manajemen data yang efektif yang menetapkan seperangkat aturan tentang kualitas data, kelengkapan, dan ketepatan waktu untuk model. Dalam pengertian seperti itu, penyimpangan dari standar ini adalah topik yang menantang, karena data yang digunakan dalam metode ML sangat besar dibandingkan dengan model tradisional. Selain itu, model ML mengandalkan volume besar data heterogen dan berdimensi tinggi, sehingga penting untuk mendokumentasikan mulai dari sumber, pemrosesan, dan transformasi, hingga tahap terakhir penerapan penuh model, untuk memastikan data sesuai.

Oleh karena itu, tim validasi model harus memastikan bahwa data input tersedia dan telah menjalani pemeriksaan kualitas yang sesuai sebelum digunakan dalam produksi. Penting juga untuk menguji bagaimana berbagai teknik ML menangani data yang hilang, teknik normalisasi, dan data anomali. Selain itu, perusahaan harus memastikan ketertelusuran data yang baik kembali ke sistem sumber sehingga tantangan data dapat diperbaiki di sumbernya.

5) Mengontrol kurangnya penjelasan model ML

Kurangnya penjelasan model ML merupakan tantangan utama untuk teknik yang lebih kompleks, seperti JST, di mana respons input-output tidak jelas dan kurang transparan. Kompleksitas beberapa model ML dapat menyulitkan untuk memberikan gambaran yang jelas tentang teori, asumsi, dan dasar matematis dari perkiraan akhir. Akhirnya, model seperti itu terbukti sulit untuk divalidasi secara efisien.

Karakteristik kotak hitam membuatnya sulit untuk menilai kesehatan konseptual model, mengurangi keandalannya. Misalnya, validasi hyperparameter mungkin memerlukan pengetahuan statistik tambahan, dan oleh karena itu, institusi harus memastikan bahwa staf yang mengawasi validasi sudah terlatih dengan baik.

Validator model dapat melihat kontrol mitigasi untuk mengatasi kurangnya transparansi. Kontrol semacam itu dapat menjadi bagian dari pemantauan berkelanjutan yang lebih ketat. Juga disarankan untuk menggunakan model tolok ukur untuk membandingkan output dan varians dengan aturan yang telah ditentukan sebelumnya, yang dapat mengarah pada penyelidikan lebih lanjut atau penghentian penggunaan model dalam produksi.

6) Kalibrasi hyperparameter model ML

Asumsi utama untuk model ML biasanya adalah hyperparameter yang dikembangkan dan disetel untuk diterapkan dalam model. Jika asumsi-asumsi ini buram, begitu pula intuisi atau kesehatan bisnis. Selain itu, dalam model ML, nilai hyperparameter dapat sangat memengaruhi hasil model.

Perubahan dalam pengaturan hyperparameter perlu dievaluasi untuk menilai kesesuaian pilihan pemodel. Jika dilakukan perubahan lebih lanjut pada hyperparameter, tim validasi harus memastikan bahwa hasil model konsisten.

7) Analisis hasil

Analisis hasil, seperti yang telah kita lihat, sangat penting untuk mengkompensasi kurangnya penjelasan dalam beberapa teknik ML. Selain itu, analisis hasil memiliki peran penting dalam menilai kinerja model. Analisis difokuskan pada validasi silang dan variannya. Prosedur pengujian ulang tidak memiliki relevansi yang sama seperti pada model tradisional.

Pertukaran varians vs bias dalam model ML bisa jadi menantang dan memprihatinkan. Meskipun hal ini tidak berada di luar cakupan model statistik dan regresi, model ML memperkuat peringatan tersebut.

Banyak metrik dapat digunakan untuk tujuan ini, bergantung pada metodologi model. Misalnya, MSE dapat didekomposisi menjadi bias dan varians. Evaluasi eksplisit dari trade-off harus ditinjau dan didokumentasikan.

Pengujian di luar sampel juga merupakan komponen penting untuk analisis hasil AI/ML. Validator harus meninjau dan menilai apakah prosedur yang sesuai telah diikuti dalam proses pengembangan model untuk memastikan analisis hasil dilakukan dengan tepat, termasuk validasi silang dan set pengujian.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://www.finextra.com/blogposting/23865/seven-challenges-financial-institutions-must-address-to-harness-machine-learnings-potential?utm_medium=rssfinextra&utm_source=finextrablogs