Μοντέλα εκπαίδευσης τεχνητής νοημοσύνης 100 τρισεκατομμυρίων παραμέτρων

Τα συστήματα τεχνητής νοημοσύνης που προτείνουν είναι ένα σημαντικό στοιχείο των υπηρεσιών Διαδικτύου σήμερα: επιχειρήσεις εσόδων δισεκατομμυρίων δολαρίων όπως η Amazon και το Netflix καθοδηγούνται άμεσα από υπηρεσίες συστάσεων.

Οι συστάσεις τεχνητής νοημοσύνης βελτιώνονται όσο μεγαλώνουν. Πολλά μοντέλα έχουν κυκλοφορήσει στο παρελθόν με δισεκατομμύρια παραμέτρους έως και τρισεκατομμύρια πολύ πρόσφατα. Κάθε άλμα στη χωρητικότητα του μοντέλου έφερε σημαντική βελτίωση στην ποιότητα. Η εποχή των 100 τρισεκατομμυρίων παραμέτρων είναι προ των πυλών.

Το περίπλοκο, πυκνό νευρωνικό δίκτυο ηρεμίας είναι ολοένα και πιο εντατικό σε υπολογισμούς με περισσότερα από 100 TFLOP σε κάθε επανάληψη εκπαίδευσης. Επομένως, είναι σημαντικό να υπάρχει κάποιος εξελιγμένος μηχανισμός για τη διαχείριση ενός cluster με ετερογενείς πόρους για τέτοιες εκπαιδευτικές εργασίες.

Πρόσφατα, το Kwai Seattle AI Lab και το DS3 Lab από το ETH Zurich συνεργάστηκαν για να προτείνουν ένα νέο σύστημα με το όνομα "Persia" για την αντιμετώπιση αυτού του προβλήματος μέσω προσεκτικού συν-σχεδιασμού τόσο του εκπαιδευτικού αλγορίθμου όσο και του συστήματος εκπαίδευσης. Σε επίπεδο αλγορίθμου, η Persia υιοθετεί έναν υβριδικό αλγόριθμο εκπαίδευσης για να χειρίζεται διαφορετικά το επίπεδο ενσωμάτωσης και τις μονάδες πυκνού νευρικού δικτύου. Το στρώμα ενσωμάτωσης εκπαιδεύεται ασύγχρονα για τη βελτίωση της απόδοσης των δειγμάτων εκπαίδευσης, ενώ το υπόλοιπο νευρωνικό δίκτυο εκπαιδεύεται συγχρονισμένα για τη διατήρηση της στατιστικής απόδοσης. Σε επίπεδο συστήματος, έχει εφαρμοστεί ένα ευρύ φάσμα βελτιστοποιήσεων συστήματος για τη διαχείριση μνήμης και τη μείωση της επικοινωνίας για την απελευθέρωση του πλήρους δυναμικού του υβριδικού αλγορίθμου.

Cloud Resources για 100 Trillion Parameter AI Models

Persia 100 τρισεκατομμύρια παράμετρος φόρτος εργασίας AI τρέχει στους ακόλουθους ετερογενείς πόρους:

3,000 πυρήνες εικονικών μηχανών υπολογιστικής έντασης
8 εικονικές μηχανές A2 που προσθέτουν συνολικά 64 GPU A100 Nvidia
30 εικονικές μηχανές υψηλής μνήμης, η καθεμία με 12 TB μνήμης RAM, συνολικά 360 TB
Ενορχήστρωση με Kubernetes
Όλοι οι πόροι έπρεπε να εκκινηθούν ταυτόχρονα στην ίδια ζώνη για να ελαχιστοποιηθεί η καθυστέρηση του δικτύου. Το Google Cloud μπόρεσε να παρέχει την απαιτούμενη χωρητικότητα με πολύ μικρή ειδοποίηση.

Το AI Training χρειάζεται πόρους σε εκρήξεις.

Το Google Kubernetes Engine (GKE) χρησιμοποιήθηκε για να ενορχηστρώσει την ανάπτυξη των 138 VM και κοντέινερ λογισμικού. Η αποθήκευση του φόρτου εργασίας σε κοντέινερ επιτρέπει επίσης τη μεταφορά και την επαναληψιμότητα της εκπαίδευσης.

Αποτελέσματα και συμπεράσματα
Με την υποστήριξη της υποδομής Google Cloud, η ομάδα έδειξε την επεκτασιμότητα της Persia έως και 100 τρισεκατομμύρια παραμέτρους. Ο υβριδικός κατανεμημένος αλγόριθμος εκπαίδευσης εισήγαγε περίπλοκες χαλαρώσεις συστημάτων για αποτελεσματική χρήση ετερογενών συστάδων, ενώ συγκλίνει τόσο γρήγορα όσο το SGD της βανίλιας. Το Google Cloud ήταν απαραίτητο για την υπέρβαση των περιορισμών του υλικού εσωτερικής εγκατάστασης και αποδείχθηκε ένα βέλτιστο περιβάλλον υπολογιστών για κατανεμημένη εκπαίδευση Μηχανικής Μάθησης σε μαζική κλίμακα.

Το Persia κυκλοφόρησε ως έργο ανοιχτού κώδικα στο github με οδηγίες εγκατάστασης για το Google Cloud — για όλους, τόσο από τον ακαδημαϊκό χώρο όσο και από τη βιομηχανία, θα ήταν εύκολο να εκπαιδεύσουν μοντέλα προτάσεων βαθιάς εκμάθησης κλίμακας 100 τρισεκατομμυρίων παραμέτρων.