Τι είναι η Μεταγραφική Μάθηση;

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Η Transfer Learning είναι μια μέθοδος μηχανικής μάθησης όπου η εφαρμογή της γνώσης που λαμβάνεται από ένα μοντέλο που χρησιμοποιείται σε μια εργασία, μπορεί να επαναχρησιμοποιηθεί ως θεμέλιο για μια άλλη εργασία.

Οι αλγόριθμοι μηχανικής μάθησης χρησιμοποιούν ιστορικά δεδομένα ως είσοδο για να κάνουν προβλέψεις και να παράγουν νέες τιμές εξόδου. Συνήθως έχουν σχεδιαστεί για να εκτελούν μεμονωμένες εργασίες. Μια εργασία πηγής είναι μια εργασία από την οποία η γνώση μεταφέρεται σε μια εργασία στόχο. Μια εργασία στόχος είναι όταν συμβαίνει βελτιωμένη μάθηση λόγω της μεταφοράς γνώσης από μια εργασία πηγής.

Κατά τη μεταφορά της μάθησης, η αξιοποιημένη γνώση και η ταχεία πρόοδος από μια εργασία πηγής χρησιμοποιείται για τη βελτίωση της μάθησης και της ανάπτυξης σε μια νέα εργασία στόχο. Η εφαρμογή της γνώσης χρησιμοποιεί τα χαρακτηριστικά και τα χαρακτηριστικά της εργασίας πηγής, τα οποία θα εφαρμοστούν και θα αντιστοιχιστούν στην εργασία στόχο.

Ωστόσο, εάν η μέθοδος μεταφοράς οδηγεί σε μείωση της απόδοσης της νέας εργασίας στόχου, ονομάζεται αρνητική μεταφορά. Μία από τις κύριες προκλήσεις κατά την εργασία με μεθόδους μάθησης μεταφοράς είναι η δυνατότητα παροχής και διασφάλισης της θετικής μεταφοράς μεταξύ σχετικών εργασιών, αποφεύγοντας παράλληλα την αρνητική μεταφορά μεταξύ λιγότερο σχετικών εργασιών.

Το Τι, Πότε και Πώς της Εκμάθησης Μεταβίβασης

Τι μεταφέρουμε; Για να κατανοήσουμε ποια μέρη της γνώσης που μαθαίνουμε να μεταφέρουμε, πρέπει να καταλάβουμε ποια τμήματα της γνώσης αντικατοπτρίζουν καλύτερα τόσο την πηγή όσο και τον στόχο. Συνολικά, βελτιώνοντας την απόδοση και την ακρίβεια της εργασίας στόχου.
Πότε κάνουμε μεταγραφή; Η κατανόηση του πότε πρέπει να μεταφερθεί είναι σημαντική, καθώς δεν θέλουμε να μεταφέρουμε γνώση που θα μπορούσε, με τη σειρά του, να επιδεινώσει τα πράγματα, οδηγώντας σε αρνητική μεταφορά. Στόχος μας είναι να βελτιώσουμε την απόδοση της εργασίας-στόχου, όχι να την κάνουμε χειρότερη.
Πώς μεταφέρουμε; Τώρα έχουμε μια καλύτερη ιδέα για το τι θέλουμε να μεταφέρουμε και πότε μπορούμε στη συνέχεια να προχωρήσουμε στην εργασία με διαφορετικές τεχνικές για να μεταφέρουμε τη γνώση αποτελεσματικά. Θα μιλήσουμε περισσότερα για αυτό αργότερα στο άρθρο.

Πριν βουτήξουμε στη μεθοδολογία πίσω από τη μεταφορά μάθησης, είναι καλό να γνωρίζουμε τις διάφορες μορφές μεταβιβαστικής μάθησης. Θα εξετάσουμε τρεις διαφορετικούς τύπους σεναρίων μάθησης μεταφοράς, με βάση τις σχέσεις μεταξύ της εργασίας πηγής και της εργασίας στόχου. Ακολουθεί μια επισκόπηση των διαφορετικών τύπων μάθησης μεταφοράς:

Διαφορετικοί τύποι Εκμάθησης Μεταβίβασης

Επαγωγική Εκμάθηση Μεταφοράς: Σε αυτόν τον τύπο μάθησης μεταφοράς, η εργασία πηγής και στόχος είναι η ίδια, ωστόσο, εξακολουθούν να διαφέρουν μεταξύ τους. Το μοντέλο θα χρησιμοποιήσει επαγωγικές προκαταλήψεις από την εργασία προέλευσης για να βοηθήσει στη βελτίωση της απόδοσης της εργασίας στόχου. Η εργασία πηγής μπορεί να περιέχει ή να μην περιέχει δεδομένα με ετικέτα, οδηγώντας περαιτέρω στο μοντέλο που χρησιμοποιεί εκμάθηση πολλαπλών εργασιών και αυτοδιδάσκουσα μάθηση.

Εκμάθηση χωρίς επίβλεψη μεταφοράς: Υποθέτω ότι γνωρίζετε τι είναι η μάθηση χωρίς επίβλεψη, ωστόσο, εάν δεν το γνωρίζετε, είναι όταν ένας αλγόριθμος υπόκειται σε δυνατότητα αναγνώρισης μοτίβων σε σύνολα δεδομένων που δεν έχουν επισημανθεί ή ταξινομηθεί. Σε αυτήν την περίπτωση, η πηγή και ο στόχος είναι παρόμοια, ωστόσο, η εργασία είναι διαφορετική, όπου και τα δύο δεδομένα δεν έχουν ετικέτα και στην πηγή και στον στόχο. Τεχνικές όπως η μείωση διαστάσεων και η ομαδοποίηση είναι πολύ γνωστές στη μάθηση χωρίς επίβλεψη.

Transductive Transfer Learning: Σε αυτόν τον τελευταίο τύπο εκμάθησης μεταφοράς, οι εργασίες πηγής και στόχος μοιράζονται ομοιότητες, ωστόσο, οι τομείς είναι διαφορετικοί. Ο τομέας προέλευσης περιέχει πολλά δεδομένα με ετικέτα, ενώ υπάρχει απουσία δεδομένων με ετικέτα στον τομέα προορισμού, κάτι που οδηγεί περαιτέρω στο μοντέλο που χρησιμοποιεί προσαρμογή τομέα.

Transfer Learning έναντι Fine-tuning

Η λεπτομέρεια είναι ένα προαιρετικό βήμα στη μεταφορά εκμάθησης και ενσωματώνεται κυρίως για τη βελτίωση της απόδοσης του μοντέλου. Η διαφορά μεταξύ Transfer Learning και Fine-tuning βρίσκεται στο όνομα.

Η μάθηση μεταφοράς βασίζεται στην υιοθέτηση χαρακτηριστικών που μαθαίνονται από μια εργασία και στη «μεταφορά» της μόχλευσης γνώσης σε μια νέα εργασία. Η εκμάθηση μεταφοράς χρησιμοποιείται συνήθως σε εργασίες όπου το σύνολο δεδομένων είναι πολύ μικρό, για την εκπαίδευση ενός μοντέλου πλήρους κλίμακας από την αρχή. Η λεπτομέρεια βασίζεται στην πραγματοποίηση «λεπτών» προσαρμογών σε μια διαδικασία προκειμένου να επιτευχθεί το επιθυμητό αποτέλεσμα για περαιτέρω βελτίωση της απόδοσης. Οι παράμετροι ενός εκπαιδευμένου μοντέλου κατά τη λεπτομέρεια, προσαρμόζονται και προσαρμόζονται με ακρίβεια και συγκεκριμένα, ενώ προσπαθούν να επικυρώσουν το μοντέλο για να επιτύχουν τα επιθυμητά αποτελέσματα.

Γιατί να χρησιμοποιήσετε την Εκμάθηση Μεταβίβασης;

Λόγοι για τη χρήση της μάθησης μεταφοράς:

Δεν χρειάζονται πολλά δεδομένα – Η απόκτηση πρόσβασης στα δεδομένα αποτελεί πάντα εμπόδιο λόγω της έλλειψης διαθεσιμότητάς τους. Η εργασία με ανεπαρκή όγκο δεδομένων μπορεί να οδηγήσει σε χαμηλή απόδοση. Αυτό είναι όπου η μάθηση μεταφοράς λάμπει καθώς το μοντέλο μηχανικής μάθησης μπορεί να κατασκευαστεί με ένα μικρό σύνολο δεδομένων εκπαίδευσης, επειδή είναι προεκπαιδευμένο.

Εξοικονόμηση χρόνου προπόνησης – Τα μοντέλα μηχανικής μάθησης είναι δύσκολο να εκπαιδευτούν και μπορεί να χρειαστούν πολύ χρόνο, οδηγώντας σε αναποτελεσματικότητα. Απαιτείται μεγάλο χρονικό διάστημα για να εκπαιδεύσετε ένα βαθύ νευρωνικό δίκτυο από την αρχή σε μια πολύπλοκη εργασία, επομένως η χρήση ενός προεκπαιδευμένου μοντέλου εξοικονομεί χρόνο για την κατασκευή ενός νέου.

Transfer Learning Pros

Καλύτερη βάση: Η χρήση ενός προεκπαιδευμένου μοντέλου στη μεταφορά μάθησης σάς προσφέρει καλύτερη βάση και σημείο εκκίνησης, επιτρέποντάς σας να εκτελέσετε ορισμένες εργασίες χωρίς καν να προπονηθείτε.

Υψηλότερο ποσοστό μάθησης: Λόγω του ότι το μοντέλο έχει ήδη εκπαιδευτεί σε παρόμοια εργασία εκ των προτέρων, το μοντέλο έχει υψηλότερο ποσοστό εκμάθησης.

Υψηλότερο ποσοστό ακρίβειας: Με καλύτερη βάση και υψηλότερο ρυθμό εκμάθησης, το μοντέλο λειτουργεί με υψηλότερη απόδοση, παράγοντας περισσότερα αποτελέσματα ακρίβειας.

Πότε μεταφέρεται η μάθηση Δεν Εργασία?

Η εκμάθηση μεταφοράς θα πρέπει να αποφεύγεται όταν τα βάρη που εκπαιδεύονται από την αρχική σας εργασία είναι διαφορετικά από την εργασία-στόχο σας. Για παράδειγμα, εάν το προηγούμενο δίκτυό σας είχε εκπαιδευτεί για την ταξινόμηση γατών και σκύλων και το νέο σας δίκτυο προσπαθεί να ανιχνεύσει παπούτσια και κάλτσες, θα υπάρξει πρόβλημα καθώς τα βάρη που μεταφέρθηκαν από την πηγή σας στην εργασία στόχο δεν θα είναι σε θέση να δώσουν είσαι το καλύτερο αποτέλεσμα. Επομένως, η προετοιμασία του δικτύου με προεκπαιδευμένα βάρη που αντιστοιχούν με παρόμοια αποτελέσματα με αυτά που περιμένετε είναι καλύτερη από τη χρήση βαρών χωρίς συσχέτιση.

Η κατάργηση επιπέδων από ένα εκ των προτέρων εκπαιδευμένο μοντέλο θα προκαλέσει προβλήματα με την αρχιτεκτονική του μοντέλου. Εάν αφαιρέσετε τα πρώτα επίπεδα, το μοντέλο σας θα έχει χαμηλό ρυθμό εκμάθησης, καθώς πρέπει να ταχυδακτυλουργεί με λειτουργίες χαμηλού επιπέδου. Η αφαίρεση στρώσεων μειώνει τον αριθμό των παραμέτρων που μπορούν να εκπαιδευτούν, γεγονός που μπορεί να οδηγήσει σε υπερπροσαρμογή. Η δυνατότητα χρήσης της σωστής ποσότητας στρώσεων είναι ζωτικής σημασίας για τη μείωση της υπερβολικής τοποθέτησης, ωστόσο, αυτή είναι επίσης μια έγκαιρη διαδικασία.

Μεταφορά Μάθησης Μειονεκτήματα

Αρνητική μεταφορά μάθησης: Όπως ανέφερα παραπάνω, η μάθηση με αρνητική μεταφορά είναι όταν μια προηγούμενη μέθοδος μάθησης εμποδίζει τη νέα εργασία. Αυτό συμβαίνει μόνο εάν η πηγή και ο στόχος δεν είναι αρκετά παρόμοια, με αποτέλεσμα ο πρώτος γύρος εκπαίδευσης να είναι πολύ μακριά. Οι αλγόριθμοι δεν χρειάζεται να συμφωνούν πάντα με ό,τι θεωρούμε παρόμοιο, καθιστώντας δύσκολη την κατανόηση των θεμελιωδών αρχών και των προτύπων του είδους της εκπαίδευσης που είναι επαρκής.

Μεταφορά μάθησης σε 6 βήματα

Ας βουτήξουμε σε μια καλύτερη κατανόηση του τρόπου με τον οποίο εφαρμόζεται η μάθηση μεταφοράς και των βημάτων που λαμβάνονται. Υπάρχουν 6 γενικά βήματα που γίνονται στη μεταφορά μάθησης και θα εξετάσουμε το καθένα από αυτά.

Επιλογή Εργασίας Πηγής: Το πρώτο βήμα είναι η επιλογή ενός προεκπαιδευμένου μοντέλου που περιέχει άφθονα δεδομένα, το οποίο έχει σχέση μεταξύ των δεδομένων εισόδου και εξόδου με την επιλεγμένη εργασία στόχο.
Δημιουργία βασικού μοντέλου: Δημιουργήστε ένα βασικό μοντέλο με προεκπαιδευμένα βάρη. Τα προεκπαιδευμένα βάρη είναι προσβάσιμα μέσω αρχιτεκτονικών όπως το Xception. Αυτό αναπτύσσει το πηγαίο μοντέλο σας, έτσι ώστε να είναι καλύτερο από το αφελές μοντέλο με το οποίο ξεκινήσαμε, διασφαλίζοντας κάποια αύξηση στο ποσοστό εκμάθησης.
Freeze Layers: Για να μειωθεί η εκ νέου προετοιμασία των βαρών, είναι απαραίτητη η κατάψυξη των στρωμάτων από το προεκπαιδευμένο μοντέλο. Θα εξαργυρώσει τις γνώσεις που έχετε ήδη μάθει και θα σας σώσει από την εκπαίδευση του μοντέλου από την αρχή.

base_model.trainable = Λάθος

Προσθήκη νέων επιπέδων εκπαίδευσης: Η προσθήκη νέων επιπέδων εκπαίδευσης πάνω από το παγωμένο επίπεδο, θα μετατρέψει τα παλιά χαρακτηριστικά σε προβλέψεις σε ένα νέο σύνολο δεδομένων.
Εκπαίδευση των νέων επιπέδων: Το προεκπαιδευμένο μοντέλο περιέχει ήδη το τελικό επίπεδο εξόδου. Η πιθανότητα η τρέχουσα έξοδος στο προεκπαιδευμένο μοντέλο και η έξοδος που θέλετε από το μοντέλο σας να είναι διαφορετική είναι μεγάλη. Επομένως, πρέπει να εκπαιδεύσετε το μοντέλο με ένα νέο επίπεδο εξόδου. Επομένως, η προσθήκη νέων πυκνών στρωμάτων και του τελικού πυκνού στρώματος σε αντιστοιχία με το αναμενόμενο μοντέλο σας, θα βελτιώσει τον ρυθμό εκμάθησης και θα παράγει αποτελέσματα της επιθυμίας σας.
Βελτιστοποίηση: Μπορείτε να βελτιώσετε την απόδοση του μοντέλου σας με μικροσυντονισμό, η οποία γίνεται με την αποδέσμευση όλων ή τμημάτων των βασικών μοντέλων και, στη συνέχεια, την επανεκπαίδευση του μοντέλου με πολύ χαμηλό ρυθμό εκμάθησης. Είναι κρίσιμο να χρησιμοποιήσετε χαμηλό ποσοστό εκμάθησης σε αυτό το στάδιο, καθώς το μοντέλο που εκπαιδεύετε είναι πολύ μεγαλύτερο από ό,τι ήταν αρχικά στον πρώτο γύρο, καθώς και ένα μικρό σύνολο δεδομένων. Ως αποτέλεσμα, διατρέχετε τον κίνδυνο υπερβολικής προσαρμογής εάν εφαρμόσετε μεγάλες ενημερώσεις βάρους, επομένως θέλετε να βελτιστοποιήσετε με σταδιακό τρόπο. Κάντε εκ νέου μεταγλώττιση του μοντέλου καθώς έχετε αλλάξει τη συμπεριφορά του μοντέλου και, στη συνέχεια, επανεκπαιδεύστε το μοντέλο, παρακολουθώντας τυχόν υπερβολικά προσαρμοσμένα σχόλια.

Ελπίζω αυτό το άρθρο να σας έδωσε μια καλή εισαγωγή και κατανόηση της Εκμάθησης Μεταβίβασης. Μείνετε συντονισμένοι, το επόμενο άρθρο μου θα είναι η εφαρμογή Transfer Learning για Αναγνώριση Εικόνας και Επεξεργασία Φυσικής Γλώσσας.

Nisha Arya είναι Επιστήμονας Δεδομένων και ανεξάρτητος Τεχνικός συγγραφέας. Ενδιαφέρεται ιδιαίτερα να παρέχει συμβουλές σταδιοδρομίας ή σεμινάρια της Επιστήμης Δεδομένων και γνώσεις βασισμένες στη θεωρία γύρω από την Επιστήμη των Δεδομένων. Επιθυμεί επίσης να εξερευνήσει τους διαφορετικούς τρόπους με τους οποίους η Τεχνητή Νοημοσύνη μπορεί/μπορεί να ωφελήσει τη μακροζωία της ανθρώπινης ζωής. Μια δεινή μαθήτρια, που επιδιώκει να διευρύνει τις τεχνολογικές της γνώσεις και τις δεξιότητες γραφής, βοηθώντας παράλληλα να καθοδηγήσει άλλους.

Πηγή: https://www.kdnuggets.com/2022/01/transfer-learning.html

Σφραγίδα ώρας: Ιανουάριος 5, 2022