Μηδενική εκμάθηση, Επεξήγηση

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Μηδενική εκμάθηση, Επεξήγηση
Μπρους Γουόρινγκτον μέσω Unsplash

Ο λόγος για τον οποίο τα μοντέλα μηχανικής μάθησης γενικά γίνονται πιο έξυπνα οφείλεται στην εξάρτησή τους από τη χρήση δεδομένων με ετικέτα για να τα βοηθήσουν να διακρίνουν μεταξύ δύο όμοιων αντικειμένων.

Ωστόσο, χωρίς αυτά τα επισημασμένα σύνολα δεδομένων, θα συναντήσετε μεγάλα εμπόδια κατά τη δημιουργία του πιο αποτελεσματικού και αξιόπιστου μοντέλου μηχανικής μάθησης. Τα επισημασμένα σύνολα δεδομένων κατά τη φάση εκπαίδευσης ενός μοντέλου είναι σημαντικά.

Η βαθιά μάθηση έχει χρησιμοποιηθεί ευρέως για την επίλυση εργασιών όπως η όραση υπολογιστή με χρήση εποπτευόμενης μάθησης. Ωστόσο, όπως συμβαίνει με πολλά πράγματα στη ζωή, έρχεται με περιορισμούς. Η εποπτευόμενη ταξινόμηση απαιτεί υψηλή ποσότητα και ποιότητα επισημασμένων δεδομένων εκπαίδευσης προκειμένου να παραχθεί ένα ισχυρό μοντέλο. Αυτό σημαίνει ότι το μοντέλο ταξινόμησης δεν μπορεί να χειριστεί μη ορατές κλάσεις.

Και όλοι γνωρίζουμε πόση υπολογιστική ισχύ, επανεκπαίδευση, χρόνο και χρήματα χρειάζονται για να εκπαιδεύσουμε ένα μοντέλο βαθιάς μάθησης.

Μπορεί όμως ένα μοντέλο να μπορεί ακόμα να διακρίνει δύο αντικείμενα χωρίς να έχει χρησιμοποιήσει δεδομένα εκπαίδευσης; Ναι, λέγεται μηδενική μάθηση. Η εκμάθηση μηδενικής βολής είναι η ικανότητα ενός μοντέλου να μπορεί να ολοκληρώσει μια εργασία χωρίς να έχει λάβει ή να χρησιμοποιήσει κανένα παράδειγμα εκπαίδευσης.

Οι άνθρωποι είναι εκ φύσεως ικανοί να μάθουν μηδενικά χωρίς να χρειάζεται να καταβάλουν μεγάλη προσπάθεια. Ο εγκέφαλός μας αποθηκεύει ήδη λεξικά και μας επιτρέπει να διαφοροποιούμε αντικείμενα εξετάζοντας τις φυσικές τους ιδιότητες λόγω της τρέχουσας βάσης γνώσεών μας. Μπορούμε να χρησιμοποιήσουμε αυτή τη βάση γνώσεων για να δούμε τις ομοιότητες και τις διαφορές μεταξύ των αντικειμένων και να βρούμε τη σύνδεση μεταξύ τους.

Για παράδειγμα, ας πούμε ότι προσπαθούμε να οικοδομήσουμε ένα μοντέλο ταξινόμησης σε ζωικά είδη. Σύμφωνα με Our WorldInData, υπήρχαν 2.13 εκατομμύρια είδη που υπολογίστηκαν το 2021. Επομένως, αν θέλουμε να δημιουργήσουμε το πιο αποτελεσματικό μοντέλο ταξινόμησης για τα ζωικά είδη, θα χρειαζόμασταν 2.13 εκατομμύρια διαφορετικές κατηγορίες. Θα χρειαστούν επίσης πολλά δεδομένα. Δεδομένα υψηλής ποσότητας και ποιότητας είναι δύσκολο να συναντηθούν.

Πώς λοιπόν η μηδενική μάθηση λύνει αυτό το πρόβλημα;

Επειδή η εκμάθηση μηδενικής λήψης δεν απαιτεί από το μοντέλο να έχει μάθει τα δεδομένα εκπαίδευσης και τον τρόπο ταξινόμησης των τάξεων, μας επιτρέπει να βασιζόμαστε λιγότερο στην ανάγκη του μοντέλου για δεδομένα με ετικέτα.

Ακολουθεί τι θα πρέπει να αποτελούνται τα δεδομένα σας για να προχωρήσετε στη μηδενική μάθηση.

Προβολή τάξεων

Αυτό αποτελείται από τις κατηγορίες δεδομένων που έχουν χρησιμοποιηθεί προηγουμένως για την εκπαίδευση ενός μοντέλου.

Αόρατες Τάξεις

Αυτό αποτελείται από τις κατηγορίες δεδομένων που ΔΕΝ έχουν χρησιμοποιηθεί για την εκπαίδευση ενός μοντέλου και το νέο μοντέλο μάθησης μηδενικής βολής θα γενικευτεί.

Βοηθητικές Πληροφορίες

Καθώς τα δεδομένα στις μη ορατές τάξεις δεν φέρουν ετικέτα, η εκμάθηση μηδενικής λήψης θα απαιτήσει βοηθητικές πληροφορίες προκειμένου να μάθουν και να βρουν συσχετίσεις, συνδέσμους και ιδιότητες. Αυτό μπορεί να είναι με τη μορφή ενσωματώσεων λέξεων, περιγραφών και σημασιολογικών πληροφοριών.

Μέθοδοι μάθησης μηδενικής βολής

Η μάθηση μηδενικής βολής χρησιμοποιείται συνήθως σε:

Μέθοδοι που βασίζονται σε ταξινομητές
Μέθοδοι που βασίζονται σε παραδείγματα

Πρακτική άσκηση

Η εκμάθηση μηδενικής λήψης χρησιμοποιείται για τη δημιουργία μοντέλων για τάξεις που δεν εκπαιδεύονται χρησιμοποιώντας δεδομένα με ετικέτα, επομένως απαιτεί αυτά τα δύο στάδια:

1. Εκπαίδευση

Το στάδιο εκπαίδευσης είναι η διαδικασία της μεθόδου μάθησης που προσπαθεί να συλλάβει όσο το δυνατόν περισσότερη γνώση για τις ποιότητες των δεδομένων. Μπορούμε να το δούμε αυτό ως τη φάση μάθησης.

2. Συμπέρασμα

Κατά τη διάρκεια του σταδίου συμπερασμάτων, όλη η γνώση που αποκτήθηκε από το στάδιο της εκπαίδευσης εφαρμόζεται και χρησιμοποιείται για την ταξινόμηση των παραδειγμάτων σε ένα νέο σύνολο τάξεων. Μπορούμε να το δούμε αυτό ως τη φάση των προβλέψεων.

Πώς λειτουργεί;

Η γνώση από τις προβλεπόμενες τάξεις θα μεταφερθεί στις μη ορατές τάξεις σε ένα διανυσματικό χώρο υψηλών διαστάσεων. αυτό ονομάζεται σημασιολογικός χώρος. Για παράδειγμα, στην ταξινόμηση εικόνων ο σημασιολογικός χώρος μαζί με την εικόνα θα υποβληθούν σε δύο βήματα:

1. Κοινός χώρος ενσωμάτωσης

Εδώ προβάλλονται τα σημασιολογικά διανύσματα και τα διανύσματα του οπτικού χαρακτηριστικού.

2. Υψηλότερη ομοιότητα

Αυτό είναι όπου τα χαρακτηριστικά ταιριάζουν με αυτά μιας αόρατης κατηγορίας.

Για να κατανοήσουμε τη διαδικασία με τα δύο στάδια (εκπαίδευση και συμπέρασμα), ας τα εφαρμόσουμε στη χρήση της ταξινόμησης εικόνων.

Εκπαίδευση

Μηδενική εκμάθηση, Επεξήγηση
Jari Hytönen μέσω Unsplash

Ως άνθρωπος, αν επρόκειτο να διαβάσετε το κείμενο στα δεξιά στην παραπάνω εικόνα, θα υποθέτετε αμέσως ότι υπάρχουν 4 γατάκια σε ένα καφέ καλάθι. Αλλά ας πούμε ότι δεν έχετε ιδέα τι είναι «γατάκι». Θα υποθέσετε ότι υπάρχει ένα καφέ καλάθι με 4 πράγματα μέσα, τα οποία ονομάζονται «γατάκια». Μόλις συναντήσετε περισσότερες εικόνες που περιέχουν κάτι που μοιάζει με «γατάκι», θα μπορείτε να διαφοροποιήσετε ένα «γατάκι» από άλλα ζώα.

Αυτό συμβαίνει όταν χρησιμοποιείτε Προεκπαίδευση αντιθετικής γλώσσας-εικόνας (CLIP) από την OpenAI για εκμάθηση μηδενικής λήψης στην ταξινόμηση εικόνων. Είναι γνωστή ως βοηθητική πληροφορία.

Μπορεί να σκέφτεστε, "καλά αυτά είναι απλώς δεδομένα με ετικέτα". Καταλαβαίνω γιατί το νομίζεις αυτό, αλλά δεν είναι. Οι βοηθητικές πληροφορίες δεν είναι ετικέτες των δεδομένων, είναι μια μορφή εποπτείας για να βοηθήσουν το μοντέλο να μάθει κατά το στάδιο της εκπαίδευσης.

Όταν ένα μοντέλο μάθησης μηδενικής λήψης βλέπει επαρκή αριθμό ζευγών εικόνας-κειμένου, θα είναι σε θέση να διαφοροποιήσει και να κατανοήσει φράσεις και πώς συσχετίζονται με ορισμένα μοτίβα στις εικόνες. Χρησιμοποιώντας την τεχνική CLIP «αντιθετική μάθηση», το μοντέλο μάθησης μηδενικής βολής μπόρεσε να συγκεντρώσει μια καλή βάση γνώσεων για να μπορεί να κάνει προβλέψεις για εργασίες ταξινόμησης.

Αυτή είναι μια σύνοψη της προσέγγισης CLIP όπου εκπαιδεύουν έναν κωδικοποιητή εικόνας και έναν κωδικοποιητή κειμένου μαζί για να προβλέψουν τα σωστά ζεύγη μιας παρτίδας παραδειγμάτων εκπαίδευσης (εικόνα, κείμενο). Δείτε την παρακάτω εικόνα:

Μηδενική εκμάθηση, Επεξήγηση
Εκμάθηση μεταφερόμενων οπτικών μοντέλων από την εποπτεία φυσικής γλώσσας

Συμπέρασμα

Μόλις το μοντέλο περάσει από το στάδιο εκπαίδευσης, έχει μια καλή βάση γνώσεων για το ζευγάρωμα εικόνας-κειμένου και μπορεί τώρα να χρησιμοποιηθεί για να κάνει προβλέψεις. Αλλά προτού μπορέσουμε να κάνουμε προβλέψεις, πρέπει να ρυθμίσουμε την εργασία ταξινόμησης δημιουργώντας μια λίστα με όλες τις πιθανές ετικέτες που θα μπορούσε να παράγει το μοντέλο.

Για παράδειγμα, τηρώντας την εργασία ταξινόμησης εικόνων στα ζωικά είδη, θα χρειαστούμε μια λίστα με όλα τα είδη ζώων. Κάθε μία από αυτές τις ετικέτες θα είναι κωδικοποιημένη, T? στο Τ; χρησιμοποιώντας τον προεκπαιδευμένο κωδικοποιητή κειμένου που προέκυψε στο στάδιο της εκπαίδευσης.

Αφού κωδικοποιηθούν οι ετικέτες, μπορούμε να εισάγουμε εικόνες μέσω του προκαταρτισμένου κωδικοποιητή εικόνων. Θα χρησιμοποιήσουμε τη μετρική ομοιότητα συνημιτόνου απόστασης για να υπολογίσουμε τις ομοιότητες μεταξύ της κωδικοποίησης εικόνας και κάθε κωδικοποίησης ετικέτας κειμένου.

Η ταξινόμηση της εικόνας γίνεται με βάση την ετικέτα με τη μεγαλύτερη ομοιότητα με την εικόνα. Και έτσι επιτυγχάνεται η μάθηση μηδενικής λήψης, ειδικά στην ταξινόμηση εικόνων.

Σπανιότητα Δεδομένων

Όπως αναφέρθηκε προηγουμένως, τα δεδομένα υψηλής ποσότητας και ποιότητας είναι δύσκολο να τα βρείτε στα χέρια σας. Σε αντίθεση με τους ανθρώπους που διαθέτουν ήδη τη μηδενική ικανότητα μάθησης, οι μηχανές απαιτούν δεδομένα με ετικέτα εισόδου για να μάθουν και στη συνέχεια να είναι σε θέση να προσαρμοστούν σε διακυμάνσεις που μπορεί να προκύψουν φυσικά.

Αν δούμε το παράδειγμα των ζωικών ειδών, ήταν τόσα πολλά. Και καθώς ο αριθμός των κατηγοριών συνεχίζει να αυξάνεται σε διαφορετικούς τομείς, θα χρειαστεί πολλή δουλειά για να συμβαδίσετε με τη συλλογή σχολιασμένων δεδομένων.

Λόγω αυτού, η μηδενική μάθηση έχει γίνει πιο πολύτιμη για εμάς. Όλο και περισσότεροι ερευνητές ενδιαφέρονται για την αυτόματη αναγνώριση χαρακτηριστικών για να αντισταθμίσουν την έλλειψη διαθέσιμων δεδομένων.

Επισήμανση δεδομένων

Ένα άλλο πλεονέκτημα της μηδενικής μάθησης είναι οι ιδιότητες επισήμανσης δεδομένων. Η επισήμανση δεδομένων μπορεί να είναι εντατική και πολύ κουραστική, και λόγω αυτού, μπορεί να οδηγήσει σε σφάλματα κατά τη διαδικασία. Η επισήμανση δεδομένων απαιτεί ειδικούς, όπως επαγγελματίες ιατρούς που εργάζονται σε ένα βιοϊατρικό σύνολο δεδομένων, το οποίο είναι ιδιαίτερα δαπανηρό και χρονοβόρο.

Η μάθηση με μηδενική λήψη γίνεται πιο δημοφιλής λόγω των παραπάνω περιορισμών δεδομένων. Υπάρχουν μερικά άρθρα που θα σας συνιστούσα να διαβάσετε αν σας ενδιαφέρουν οι ικανότητές του:

Nisha Arya είναι Επιστήμονας Δεδομένων και Ανεξάρτητος Τεχνικός Συγγραφέας. Ενδιαφέρεται ιδιαίτερα να παρέχει συμβουλές σταδιοδρομίας ή σεμινάρια της Επιστήμης Δεδομένων και γνώσεις βασισμένες στη θεωρία γύρω από την Επιστήμη των Δεδομένων. Επιθυμεί επίσης να εξερευνήσει τους διαφορετικούς τρόπους με τους οποίους η Τεχνητή Νοημοσύνη μπορεί/μπορεί να ωφελήσει τη μακροζωία της ανθρώπινης ζωής. Μια δεινή μαθήτρια, που επιδιώκει να διευρύνει τις τεχνολογικές της γνώσεις και τις δεξιότητες γραφής, βοηθώντας παράλληλα να καθοδηγήσει άλλους.