Επτά προκλήσεις που πρέπει να αντιμετωπίσουν τα χρηματοπιστωτικά ιδρύματα για να αξιοποιήσουν τις δυνατότητες της μηχανικής μάθησης (Anshuman Prasad)

Επτά προκλήσεις που πρέπει να αντιμετωπίσουν τα χρηματοπιστωτικά ιδρύματα για να αξιοποιήσουν τις δυνατότητες της μηχανικής μάθησης (Anshuman Prasad)

Χρονική σήμανση: 9 Μαρτίου 2023 11:20 π.μ.
Κόμβος πηγής: 2001633

Η μηχανική μάθηση (ML), ο πιο σημαντικός βραχίονας της τεχνητής νοημοσύνης (AI), κόβει αμφίδρομα τον κλάδο των χρηματοοικονομικών υπηρεσιών, όπου οι εφαρμογές του διευρύνονται μέρα με τη μέρα.

Τα οφέλη είναι προφανή. Τα μοντέλα ML εκπαιδεύονται να μαθαίνουν από τα αποτελέσματα όπως ακριβώς κάνει ο ανθρώπινος εγκέφαλος και μπορούν να εκτελούν σύνθετες εργασίες σε κλίμακα και ταχύτητα που οι άνθρωποι απλά δεν μπορούν.

Αλλά οι κίνδυνοι είναι πολλοί. Η πολυπλοκότητα των μοντέλων αποτελεί κίνδυνο. Πολλά μπορεί να είναι αδιαφανή και ασαφή, διαβόητα ως μαύρα κουτιά. Και όταν τα αδιαφανή μοντέλα δυσλειτουργούν, τα πράγματα θα μπορούσαν να ξεφύγουν από τον έλεγχο.

Σε ακραίες περιπτώσεις, θα μπορούσε ακόμη και να οδηγήσει σε πτώχευση των χρηματοπιστωτικών ιδρυμάτων, με συστημικές συνέπειες για ολόκληρη την οικονομία.

Για τα χρηματοπιστωτικά ιδρύματα, υπάρχει μια σειρά από προκλήσεις στο να κάνουν τα μοντέλα ML να συμμορφώνονται με τις υπάρχουσες αρχές και τις βέλτιστες πρακτικές διαχείρισης κινδύνου μοντέλων. Σύμφωνα με την εμπειρία μας από τη συνεργασία με χρηματοπιστωτικά ιδρύματα, τα ακόλουθα είναι επτά από τις πιο κοινές προκλήσεις που βλέπουμε και ποια βήματα λαμβάνουν για να τις αντιμετωπίσουν.

1) Λειτουργία ενός πλαισίου επικύρωσης μοντέλου ML που καλύπτει αλγόριθμους, τεχνικές επικύρωσης, ελέγχους και τεκμηρίωση

Τα χρηματοπιστωτικά ιδρύματα πρέπει να δημιουργήσουν ένα πλαίσιο επικύρωσης από άκρο σε άκρο ειδικά για μοντέλα ML.

Η επιλογή κατάλληλων αλγορίθμων σε σχέση με τις επιχειρηματικές απαιτήσεις και τη διαθεσιμότητα των δεδομένων είναι ζωτικής σημασίας. Αυτό απαιτεί εξειδίκευση στη μοντελοποίηση ML, την επιχειρηματική κατανόηση και τον προγραμματισμό.

Οι τεχνικές επικύρωσης για τα μοντέλα ML διαφέρουν από εκείνες που χρησιμοποιούνται γενικά από τα χρηματοπιστωτικά ιδρύματα για άλλα μοντέλα. Θα μπορούσαν επίσης να διαφέρουν ανάλογα με τον αλγόριθμο ML που χρησιμοποιείται και τη διαθεσιμότητα και τη δομή των δεδομένων.

Επιπλέον, οι επαναεπικυρώσεις και οι στοχευμένες επικυρώσεις (σημαντικές αλλαγές που εφαρμόζονται στα υπάρχοντα μοντέλα) θα πρέπει να καλύπτονται από τη δεύτερη γραμμή άμυνας, για να επιβεβαιωθεί ότι το μοντέλο είναι κατάλληλο για το σκοπό. Στα μοντέλα ML, μικρές αλλαγές στις παραμέτρους ή ο συντονισμός της ρύθμισης μπορεί να επηρεάσει σημαντικά τη συμπεριφορά του αλγορίθμου και τα αποτελέσματα του μοντέλου.

Στη συνέχεια, πρέπει να δημιουργηθεί το πλαίσιο ελέγχου, με έμφαση στον σχεδιασμό και την αποτελεσματικότητα των ελέγχων. Η πλήρης τεκμηρίωση είναι απαραίτητη για να διασφαλιστεί ότι το ανεξάρτητο μέρος κατανοεί τον στόχο της μοντελοποίησης, τους αλγόριθμους και τις τεχνικές επικύρωσης που χρησιμοποιούνται, τον έλεγχο της ιδιοκτησίας και την κάλυψη.

Είναι επίσης σημαντικό οι λειτουργίες επικύρωσης μοντέλων να στελεχώνονται με άτομα που διαθέτουν τις κατάλληλες γνώσεις και δεξιότητες. Ως εκ τούτου, οι ομάδες επικύρωσης μοντέλων πρέπει να προσλαμβάνουν άτομα με υπόβαθρο επιστήμης δεδομένων και μια σταθερή βάση διαφορετικών τεχνικών μοντελοποίησης AI και ML.

2) Θέσπιση πολιτικών που καλύπτουν κανονιστικές απαιτήσεις, διακυβέρνηση και ελέγχους, παρακολούθηση

Υπάρχει ακόμη σημαντική αβεβαιότητα σχετικά με τις κανονιστικές απαιτήσεις για την επικύρωση του μοντέλου ML.

Οι ρυθμιστικοί φορείς έχουν παρουσιάσει γενικές ρυθμιστικές προσδοκίες. Ωστόσο, δεν υπάρχει επίσημο ρυθμιστικό πλαίσιο για τα μοντέλα ML. Τα χρηματοπιστωτικά ιδρύματα θα πρέπει να αναπτύξουν μια πολιτική που να δηλώνει γενικές ρυθμιστικές απαιτήσεις, οι οποίες θα μπορούσαν να περιλαμβάνουν κατευθυντήριες γραμμές διαχείρισης κινδύνων μοντέλων και κατευθυντήριες γραμμές για μοντέλα ML.

Οι κατευθυντήριες γραμμές διαχείρισης κινδύνου του μοντέλου θα πρέπει να καλύπτουν την εννοιολογική ορθότητα, τους ελέγχους ποιότητας δεδομένων, τη διακυβέρνηση και τους ελέγχους, την παρακολούθηση του μοντέλου και την επικύρωση του μοντέλου. Το διοικητικό συμβούλιο και η ανώτερη διοίκηση θα πρέπει να γνωρίζουν τις περιπτώσεις χρήσης και να κατανοούν την αποτελεσματικότητα των ελέγχων που χρησιμοποιούνται στον κύκλο ζωής του μοντέλου ML. Οι ρόλοι και οι ευθύνες πρέπει να καθοριστούν με σαφήνεια για να επιτευχθεί η κυριότητα και η υπευθυνότητα.

3) Υλοποίηση μοντέλων ML σε ένα ισχυρό και ελεγχόμενο περιβάλλον

Η εφαρμογή μοντέλων ML έχει προδιάθεση σε κινδύνους. Σε σύγκριση με στατιστικά ή παραδοσιακά μοντέλα, οι πολύπλοκες προδιαγραφές των αλγορίθμων ML δίνουν έμφαση στην υπολογιστική απόδοση και την αποδοτικότητα της μνήμης, γεγονός που εντείνει τις ανησυχίες σχετικά με τους κινδύνους υλοποίησης.

Η υλοποίηση μοντέλων ML χρησιμοποιώντας διαφορετικές πλατφόρμες απαιτεί τεχνογνωσία και υποδομή. Η έμφαση θα πρέπει να δοθεί στη δημιουργία μιας ισχυρής υποδομής πληροφορικής, στην ανάπτυξη εργαλείων με χρήση προγραμματισμού, στη βελτίωση της παρακολούθησης μοντέλων και στις ρυθμίσεις επικύρωσης μέσα σε αυτά τα εργαλεία. Αυτή η πολυπλοκότητα καθιστά την εργασία επικύρωσης πιο δύσκολη για την επαλήθευση της σωστής υλοποίησης μοντέλων εντός του συστήματος πληροφορικής.

Η τεκμηρίωση της διαδικασίας υλοποίησης επιτρέπει σε ένα ανεξάρτητο μέρος να κατανοήσει τη ροή της διαδικασίας του συστήματος που χρησιμοποιείται. Η συνάρτηση επικύρωσης μοντέλου πρέπει να αξιολογεί την καταλληλότητα της υλοποίησης του μοντέλου και να αξιολογεί τη δοκιμή που εκτελείται και το συνολικό πλαίσιο ελέγχου στο οποίο βασίζεται το μοντέλο.

4) Σχεδιασμός αποτελεσματικών διαδικασιών διακυβέρνησης δεδομένων

Δεδομένου ότι τα δεδομένα είναι μια σημαντική πτυχή των μοντέλων ML, οι επαρκείς διαδικασίες διακυβέρνησης γύρω από αυτά είναι κρίσιμες. Η διαδικασία διακυβέρνησης δεδομένων θα πρέπει να καλύπτει πηγές, ελέγχους ποιότητας δεδομένων εισόδου, ανάλυση δεδομένων (που περιλαμβάνει μονομεταβλητή ανάλυση και ανάλυση ακραίων τιμών), ελέγχους στις μη αυτόματες εισροές και άλλες πτυχές.
Από την άποψη της επικύρωσης του μοντέλου, η δοκιμή δεδομένων απαιτεί ένα αποτελεσματικό πλαίσιο διαχείρισης δεδομένων που καθορίζει ένα σύνολο κανόνων σχετικά με την ποιότητα, την πληρότητα και την επικαιρότητα των δεδομένων για τα μοντέλα. Υπό αυτή την έννοια, οι αποκλίσεις από αυτά τα πρότυπα είναι ένα δύσκολο θέμα, καθώς τα δεδομένα που χρησιμοποιούνται στις μεθόδους ML είναι τεράστια σε σύγκριση με αυτά στα παραδοσιακά μοντέλα. Επίσης, τα μοντέλα ML βασίζονται σε μεγάλους όγκους ετερογενών και υψηλών διαστάσεων δεδομένων, καθιστώντας σημαντική την τεκμηρίωση από την προμήθεια, την επεξεργασία και τον μετασχηματισμό, μέχρι το τελευταίο στάδιο της πλήρους ανάπτυξης του μοντέλου, για να διασφαλιστεί ότι τα δεδομένα είναι κατάλληλα.

Επομένως, η ομάδα επικύρωσης μοντέλου πρέπει να επιβεβαιώσει ότι τα δεδομένα εισόδου είναι διαθέσιμα και ότι έχουν υποβληθεί σε κατάλληλους ποιοτικούς ελέγχους πριν χρησιμοποιηθούν στην παραγωγή. Είναι επίσης απαραίτητο να ελέγξουμε πώς διαφορετικές τεχνικές ML χειρίζονται δεδομένα που λείπουν, τεχνικές κανονικοποίησης και ανώμαλα δεδομένα. Επίσης, οι εταιρείες θα πρέπει να διασφαλίζουν καλή ιχνηλασιμότητα των δεδομένων πίσω στα συστήματα πηγής, έτσι ώστε οι προκλήσεις δεδομένων να μπορούν να επιλυθούν στην πηγή.

5) Έλεγχος για έλλειψη επεξήγησης των μοντέλων ML

Η έλλειψη επεξήγησης των μοντέλων ML είναι μια σημαντική πρόκληση για τις πιο σύνθετες τεχνικές, όπως το ANN, όπου οι αποκρίσεις εισόδου-εξόδου είναι ασαφείς και στερούνται διαφάνειας. Η πολυπλοκότητα ορισμένων μοντέλων ML μπορεί να κάνει δύσκολη την παροχή μιας σαφής περιγραφής της θεωρίας, των υποθέσεων και της μαθηματικής βάσης των τελικών εκτιμήσεων. Τέλος, τέτοια μοντέλα αποδεικνύεται ότι είναι δύσκολο να επικυρωθούν αποτελεσματικά.

Το χαρακτηριστικό του μαύρου κουτιού καθιστά δύσκολη την αξιολόγηση της εννοιολογικής ορθότητας ενός μοντέλου, μειώνοντας την αξιοπιστία του. Για παράδειγμα, η επικύρωση των υπερπαραμέτρων μπορεί να απαιτεί πρόσθετες στατιστικές γνώσεις, και ως εκ τούτου, τα ιδρύματα θα πρέπει να διασφαλίζουν ότι το προσωπικό που επιβλέπει την επικύρωση είναι κατάλληλα εκπαιδευμένο.

Οι υπεύθυνοι επικύρωσης μοντέλων μπορούν να εξετάσουν τους περιοριστικούς ελέγχους για να αντιμετωπίσουν την έλλειψη διαφάνειας. Τέτοιοι έλεγχοι μπορούν να αποτελούν μέρος της συνεχούς παρακολούθησης που είναι πιο αυστηροί. Συνιστάται επίσης η χρήση μοντέλων αναφοράς για τη σύγκριση των εκροών και των αποκλίσεων σε σχέση με προκαθορισμένους κανόνες, γεγονός που θα μπορούσε να οδηγήσει σε περαιτέρω διερεύνηση ή διακοπή της χρήσης μοντέλων στην παραγωγή.

6) Βαθμονόμηση υπερπαραμέτρων μοντέλων ML

Οι βασικές παραδοχές για τα μοντέλα ML είναι συνήθως οι υπερπαράμετροι που αναπτύσσονται και ρυθμίζονται ώστε να εφαρμόζονται στο μοντέλο. Εάν αυτές οι υποθέσεις είναι αδιαφανείς, το ίδιο θα ήταν και η επιχειρηματική διαίσθηση ή ορθότητα. Επιπλέον, στα μοντέλα ML, η τιμή των υπερπαραμέτρων μπορεί να επηρεάσει σοβαρά τα αποτελέσματα του μοντέλου.

Οι αλλαγές στις ρυθμίσεις υπερπαραμέτρων πρέπει να αξιολογηθούν για να αξιολογηθεί η καταλληλότητα της επιλογής του μοντελιστή. Εάν πραγματοποιηθούν περαιτέρω αλλαγές στις υπερπαραμέτρους, η ομάδα επικύρωσης πρέπει να επιβεβαιώσει ότι τα αποτελέσματα του μοντέλου είναι συνεπή.

7) Ανάλυση αποτελεσμάτων

Η ανάλυση των αποτελεσμάτων, όπως είδαμε, είναι κρίσιμη για να αντισταθμιστεί η έλλειψη επεξήγησης σε ορισμένες τεχνικές ML. Επιπλέον, η ανάλυση αποτελεσμάτων παίζει σημαντικό ρόλο στην αξιολόγηση της απόδοσης του μοντέλου. Η ανάλυση επικεντρώνεται στη διασταυρούμενη επικύρωση και τις παραλλαγές της. Οι διαδικασίες εκ των υστέρων δοκιμών δεν έχουν την ίδια συνάφεια με τα παραδοσιακά μοντέλα.

Η αντιστάθμιση διακύμανσης και μεροληψίας στα μοντέλα ML μπορεί να είναι προκλητική και ανησυχητική. Αν και αυτό δεν ήταν εκτός του πεδίου εφαρμογής των μοντέλων στατιστικής και παλινδρόμησης, τα μοντέλα ML ενισχύουν τους συναγερμούς.

Για το σκοπό αυτό μπορούν να χρησιμοποιηθούν πολλές μετρήσεις, ανάλογα με τη μεθοδολογία του μοντέλου. Για παράδειγμα, το MSE θα μπορούσε να αποσυντεθεί σε μεροληψία και διακύμανση. Η ρητή αξιολόγηση των αντισταθμίσεων θα πρέπει να επανεξεταστεί και να τεκμηριωθεί.

Οι δοκιμές εκτός δείγματος είναι επίσης ένα σημαντικό στοιχείο για την ανάλυση των αποτελεσμάτων για AI/ML. Οι επικυρωτές πρέπει να επανεξετάσουν και να αξιολογήσουν εάν έχουν ακολουθηθεί κατάλληλες διαδικασίες στη διαδικασία ανάπτυξης του μοντέλου για να διασφαλιστεί ότι η ανάλυση των αποτελεσμάτων διεξάγεται κατάλληλα, συμπεριλαμβανομένων των συνόλων διασταυρούμενης επικύρωσης και δοκιμών.

Σφραγίδα ώρας:

Περισσότερα από Fintextra