Οι ερευνητές της Οξφόρδης εκπαιδεύουν την τεχνητή νοημοσύνη δύο φορές πιο γρήγορα με ένα απλό μαθηματικό τέχνασμα

Χρονική σήμανση: 21 Μαρτίου 2022 10:00 π.μ.
Κόμβος πηγής: 1225402
Ταχύτητα οπίσθιας διάδοσης AI Γρήγορες δέσμες φωτός

Καθώς τα μοντέλα τεχνητής νοημοσύνης γίνονται όλο και μεγαλύτερα, το χρηματικό ποσό και ενέργεια που απαιτείται για την εκπαίδευσή τους έχει γίνει ένα σημαντικό θέμα. Μια νέα προσέγγιση που ξαναγράφει ένα από τα θεμελιώδη δομικά στοιχεία της πειθαρχίας θα μπορούσε να προσφέρει μια πιθανή λύση.

Από τότε GPT-3 έδειξε τα σημαντικά άλματα στην απόδοση που μπορούν να επιτευχθούν με απλή αύξησητραγουδώντας το μέγεθος του μοντέλου, οι ηγέτες στον κλάδο της τεχνητής νοημοσύνης συσσωρεύουν πόρους για την εκπαίδευση ολοένα και πιο μαζικά νευρωνικά δίκτυα.

Αλλά αυτό κοστίζει τεράστια χρηματικά ποσά, απαιτεί τεράστιους υπολογιστικούς πόρους και χρησιμοποιεί τεράστιες ποσότητες ενέργειας. Αυτό αντιμετωπίζεται όλο και περισσότερο ως πρόβλημα, όχι μόνο λόγω των περιβαλλοντικών επιπτώσεων, αλλά και επειδή δυσχεραίνει τον ανταγωνισμό για μικρότερες εξαρτήσεις τεχνητής νοημοσύνης και ως αποτέλεσμα τη συγκέντρωση ισχύος στα χέρια των ηγετών του κλάδου.

Τώρα όμως, ερευνητές από το Πανεπιστήμιο της Οξφόρδης έχουν σκιαγραφήσει μια νέα προσέγγιση που θα μπορούσε να είναι πιθανήly μειώστε τους χρόνους προπόνησης στο μισό. Το κάνουν ξαναγράφοντας ένα από τα πιο θεμελιώδη συστατικά των σημερινών συστημάτων τεχνητής νοημοσύνης που βασίζονται σε νευρωνικά δίκτυα: την backpropagation.

Ο τρόπος με τον οποίο ένα νευρωνικό δίκτυο επεξεργάζεται δεδομένα διέπεται από την ισχύ των συνδέσεων μεταξύ των διαφόρων νευρώνων του. Επομένως, για να τους κάνετε να κάνουν χρήσιμη δουλειά, πρέπει πρώτα να προσαρμόσετε αυτές τις συνδέσεις μέχρι να επεξεργαστούν τα δεδομένα με τον τρόπο που θέλετε. Αυτό το κάνετε εκπαιδεύοντας το δίκτυο σε δεδομένα σχετικά με το πρόβλημα χρησιμοποιώντας μια διαδικασία που ονομάζεται backpropagation, η οποία χωρίζεται σε δύο φάσεις.

Το μπροστινό τρέξιμο περιλαμβάνει την τροφοδοσία δεδομένων μέσω του δικτύου και τη βούλησή του να κάνει προβλέψεις. Στο πίσω πέρασμα, οι μετρήσεις της ακρίβειας αυτών των προβλέψεων χρησιμοποιούνται για την επιστροφή μέσω του δικτύου και την επεξεργασία του τρόπου με τον οποίο πρέπει να ρυθμιστεί η ισχύς των διαφόρων συνδέσεων για τη βελτίωση της απόδοσης. Επαναλαμβάνοντας αυτή τη διαδικασία πολλές φορές χρησιμοποιώντας πολλά δεδομένα, το δίκτυο σταδιακά εργάζεται προς τη βέλτιστη διαμόρφωση των συνδέσεων που λύνει το πρόβλημα.

Αυτή η επαναλαμβανόμενη διαδικασία είναι ο λόγος που χρειάζεται τόσος χρόνος για την εκπαίδευση της τεχνητής νοημοσύνης, αλλά οι ερευνητές της Οξφόρδης μπορεί να έχουν βρει έναν τρόπο να απλοποιήσουν τα πράγματα. Εγώna προεκτύπωση δημοσιεύτηκε στις arXiv, αυτοί ντεγράψτε μια νέα προσέγγιση προπόνησης που καταργεί εντελώς την αντίστροφη πάσα. Αντίθετα, ο αλγόριθμός τους κάνει εκτιμήσεις για το πώς θα χρειαστούν τα βάρη be αλλοιώθηκε στο πάσο προς τα εμπρός, και αποδεικνύεται ότι αυτές οι προσεγγίσεις είναι αρκετά κοντά για να επιτύχουν συγκρίσιμες επιδόσεις με την αντίστροφη διάδοση.

Οι ερευνητές έδειξαν ότι η προσέγγιση μπορεί να χρησιμοποιηθεί για την εκπαίδευση μιας ποικιλίας διαφορετικών αλγορίθμων μηχανικής μάθησης, αλλά επειδή περιλαμβάνει μόνο ένα πέρασμα προς τα εμπρός, μπόρεσε να μειώσει τους χρόνους προπόνησης έως και στο μισό.

Είναι ένα απλό μαθηματικό κόλπο, ο Andrew Corbett από το Πανεπιστήμιο του Exeter στο Ηνωμένο Βασίλειο είπε New Scientist, αλλά συνθα βοηθήσει στην αντιμετώπιση μιας από τις πιο πιεστικές προκλήσεις που αντιμετωπίζει η τεχνητή νοημοσύνη σήμερα. «Είναι ένα πολύ, πολύ σημαντικό πράγμα που πρέπει να λυθεί, γιατί είναι το σημείο συμφόρησης των αλγορίθμων μηχανικής μάθησης», είπε.

Ωστόσο, το πόσο ευρέως εφαρμόσιμη είναι η προσέγγιση μένει να φανεί. Στην εργασία τους, οι ερευνητές δείχνουν ότι η διαφορά στο κόστος χρόνου εκτέλεσης συρρικνώνεται καθώς αυξάνεται ο αριθμός των επιπέδων σε ένα νευρωνικό δίκτυο, υποδηλώνοντας ότι η τεχνική μπορεί να έχει μειωμένες αποδόσεις με μεγαλύτερα μοντέλα.

Ωστόσο, οι ερευνητές σημειώνουν επίσης ότι έχουν εντοπίσει πολλές ευκαιρίες για να τροποποιήσουν τον τρόπο με τον οποίο λειτουργούν οι τυπικοί αλγόριθμοι μηχανικής μάθησης ώστε να ταιριάζουν καλύτερα στη μέθοδό τους, κάτι που θα μπορούσε να οδηγήσει σε περαιτέρω κέρδη απόδοσης.

Η έρευνα θα μπορούσε επίσης ενδεχομένως να συμβάλει σε ένα συνεχές μυστήριο στην ανθρώπινη νοημοσύνη. Τα τεχνητά νευρωνικά δίκτυα παραμένουν ένα από τα καλύτερα εργαλεία μας για τη διερεύνηση του πώς μαθαίνει ο εγκέφαλος, αλλά αυτό haΕίναι γνωστό από καιρό ότι η οπισθοδιάδοση δεν είναι βιολογικά εύλογη λόγω της έλλειψης οποιασδήποτε προς τα πίσω συνδεσιμότητας μεταξύ των νευρώνων. Μια μαθησιακή προσέγγιση που απαιτεί μόνο ένα πέρασμα προς τα εμπρός μπορεί να βοηθήσει να ρίξει φως στο πώς ο εγκέφαλός μας επιλύει το μαθησιακό πρόβλημα.

Image Credit: Pexels / 9144 εικόνες

Σφραγίδα ώρας:

Περισσότερα από Κέντρο μοναδικότητας