Η ενσωματωμένη Amazon Sage Maker Ο αλγόριθμος XGBoost παρέχει ένα διαχειριζόμενο κοντέινερ για την εκτέλεση του δημοφιλούς XGBoost πλαίσιο μηχανικής μάθησης (ML), με πρόσθετη ευκολία υποστήριξης προηγμένων λειτουργιών εκπαίδευσης ή συμπερασμάτων, όπως κατανεμημένη εκπαίδευση, κοινή χρήση δεδομένων για σύνολα δεδομένων μεγάλης κλίμακας, Δοκιμή μοντέλου A/B, ή συμπέρασμα πολλαπλών μοντέλων καταληκτικά σημεία. Μπορείτε επίσης να επεκτείνετε αυτόν τον ισχυρό αλγόριθμο για να καλύψετε διαφορετικές απαιτήσεις.
Η συσκευασία του κώδικα και των εξαρτήσεων σε ένα μόνο κοντέινερ είναι μια βολική και στιβαρή προσέγγιση για μακροπρόθεσμη συντήρηση κώδικα, αναπαραγωγιμότητα και σκοπούς ελέγχου. Η τροποποίηση του δοχείου ακολουθεί πιστά το δοχείο βάσης και αποφεύγει την αντιγραφή υπαρχουσών λειτουργιών που υποστηρίζονται ήδη από το δοχείο βάσης. Σε αυτήν την ανάρτηση, εξετάζουμε τις εσωτερικές λειτουργίες του κοντέινερ αλγορίθμου SageMaker XGBoost και παρέχουμε ρεαλιστικά σενάρια για την άμεση προσαρμογή του κοντέινερ.
Δομή κοντέινερ SageMaker XGBoost
Ο ενσωματωμένος αλγόριθμος XGBoost του SageMaker συσκευάζεται ως αυτόνομο κοντέινερ, διαθέσιμη στο GitHub, και μπορεί να επεκταθεί με την άδεια ανοιχτού κώδικα Apache 2.0 φιλική προς τους προγραμματιστές. Το δοχείο συσκευάζει το αλγόριθμος XGBoost ανοιχτού κώδικα και βοηθητικά εργαλεία για την εκτέλεση του αλγόριθμου στο περιβάλλον SageMaker ενσωματωμένα με άλλες υπηρεσίες AWS Cloud. Αυτό σας επιτρέπει να εκπαιδεύσετε μοντέλα XGBoost σε διάφορα πηγές δεδομένων, φτιαχνω, κανω προβλέψεις παρτίδας σε δεδομένα εκτός σύνδεσης ή φιλοξενεί ένα τελικό σημείο συμπερασμάτων σε πραγματικό χρόνο αγωγού.
Το κοντέινερ υποστηρίζει λειτουργίες εκπαίδευσης και συμπερασμάτων με διαφορετικά σημεία εισόδου. Για τη λειτουργία συμπερασμάτων, η καταχώρηση βρίσκεται στην κύρια λειτουργία στο σενάριο serving.py. Για την προβολή συμπερασμάτων σε πραγματικό χρόνο, το κοντέινερ εκτελείται α Φιάλη-Με βάση του web server ότι όταν επικαλείται, λαμβάνει ένα αίτημα με κωδικοποίηση HTTP που περιέχει τα δεδομένα, αποκωδικοποιεί τα δεδομένα στο XGBoost DMatrix μορφή, φορτώνει το μοντέλο, και επιστρέφει ένα Επιστροφή απόκρισης με κωδικοποίηση HTTP. Αυτές οι μέθοδοι ενσωματώνονται κάτω από το ScoringService class, η οποία μπορεί επίσης να προσαρμοστεί μέσω της λειτουργίας σεναρίου σε μεγάλο βαθμό (δείτε το Παράρτημα παρακάτω).
Το σημείο εισόδου για τη λειτουργία εκπαίδευσης (λειτουργία αλγορίθμου) είναι η κύρια λειτουργία στο εκπαίδευση.py. Η κύρια συνάρτηση ρυθμίζει το περιβάλλον εκπαίδευσης και καλεί τη συνάρτηση εργασίας εκπαίδευσης. Είναι αρκετά ευέλικτο ώστε να επιτρέπει την κατανεμημένη ή με έναν κόμβο εκπαίδευση ή βοηθητικά προγράμματα όπως η διασταυρούμενη επικύρωση. Η καρδιά της προπονητικής διαδικασίας βρίσκεται στο τρένο_δουλειά λειτουργία.
Τα αρχεία Docker που συσκευάζουν το κοντέινερ βρίσκονται στο GitHub repo. Σημειώστε ότι το δοχείο κατασκευάζεται σε δύο βήματα: α βάση το δοχείο κατασκευάζεται πρώτα, ακολουθούμενο από το τελικός δοχείο από πάνω.
Επισκόπηση λύσεων
Μπορείτε να τροποποιήσετε και να δημιουργήσετε ξανά το κοντέινερ μέσω του πηγαίου κώδικα. Ωστόσο, αυτό περιλαμβάνει τη συλλογή και την ανοικοδόμηση όλων των εξαρτήσεων και πακέτων από την αρχή. Σε αυτήν την ανάρτηση, συζητάμε μια πιο απλή προσέγγιση που τροποποιεί απευθείας το κοντέινερ πάνω από την ήδη ενσωματωμένη και δημόσια διαθέσιμη εικόνα κοντέινερ αλγορίθμου SageMaker XGBoost.
Σε αυτή την προσέγγιση, εμείς τραβήξτε ένα αντίγραφο της δημόσιας εικόνας του SageMaker XGBoost, τροποποιήστε τα σενάρια ή προσθέστε πακέτα και δημιουργήστε ξανά το κοντέινερ από πάνω. Το τροποποιημένο κοντέινερ μπορεί να αποθηκευτεί σε ιδιωτικό χώρο αποθήκευσης. Με αυτόν τον τρόπο, αποφεύγουμε την επανοικοδόμηση ενδιάμεσων εξαρτήσεων και αντ' αυτού χτίζουμε απευθείας πάνω από τις ήδη χτισμένες βιβλιοθήκες που είναι συσκευασμένες στο επίσημο κοντέινερ.
Το παρακάτω σχήμα δείχνει μια επισκόπηση του σεναρίου που χρησιμοποιείται για την ανάκτηση της εικόνας της δημόσιας βάσης, την τροποποίηση και την εκ νέου κατασκευή της εικόνας και τη μεταφόρτωσή της σε μια ιδιωτική Μητρώο εμπορευματοκιβωτίων Amazon Elastic Αποθετήριο (Amazon ECR). ο σενάριο bash στον συνοδευτικό κώδικα αυτής της ανάρτησης εκτελεί όλα τα βήματα ροής εργασιών που φαίνονται στο διάγραμμα. Το συνοδευτικό σημειωματάριο δείχνει ένα παράδειγμα όπου το URI μιας συγκεκριμένης έκδοσης του αλγορίθμου SageMaker XGBoost ανακτάται αρχικά και μεταβιβάζεται στο σενάριο bash, το οποίο αντικαθιστά δύο από τα σενάρια Python στην εικόνα, την ανακατασκευάζει και ωθεί την τροποποιημένη εικόνα σε ένα ιδιωτικό αποθετήριο ECR του Amazon. Μπορείτε να τροποποιήσετε τον συνοδευτικό κωδικό για να ταιριάζει στις ανάγκες σας.
Προϋποθέσεις
Η Αποθετήριο GitHub περιέχει τον κωδικό που συνοδεύει αυτήν την ανάρτηση. Μπορείτε να εκτελέσετε το δείγμα σημειωματάριου στον λογαριασμό σας AWS ή χρησιμοποιήστε τα παρεχόμενα AWS CloudFormation στοίβα για να αναπτύξετε το σημειωματάριο χρησιμοποιώντας ένα σημειωματάριο SageMaker. Χρειάζεστε τις ακόλουθες προϋποθέσεις:
- Λογαριασμός AWS.
- Απαραίτητα δικαιώματα για την εκτέλεση εργασιών μαζικής μεταμόρφωσης και εκπαίδευσης του SageMaker και προνόμια Amazon ECR. Το πρότυπο CloudFormation δημιουργεί δείγμα Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) ρόλοι.
Αναπτύξτε τη λύση
Για να δημιουργήσετε πόρους λύσης χρησιμοποιώντας το AWS CloudFormation, επιλέξτε Εκκίνηση στοίβας:
Η στοίβα αναπτύσσει ένα σημειωματάριο SageMaker προρυθμισμένο για την κλωνοποίηση του αποθετηρίου GitHub. Η πορεία σημειωματάριο περιλαμβάνει τα βήματα για να τραβήξετε τη δημόσια εικόνα του SageMaker XGBoost για μια δεδομένη έκδοση, να την τροποποιήσετε και να προωθήσετε το προσαρμοσμένο κοντέινερ σε ένα ιδιωτικό αποθετήριο ECR του Amazon. Το σημειωματάριο χρησιμοποιεί το κοινό Δεδομένα Abalone ως δείγμα, εκπαιδεύει ένα μοντέλο χρησιμοποιώντας την ενσωματωμένη λειτουργία εκπαίδευσης SageMaker XGBoost και επαναχρησιμοποιεί αυτό το μοντέλο στην προσαρμοσμένη εικόνα για να εκτελέσει εργασίες μαζικής μετατροπής που παράγουν συμπεράσματα μαζί με τιμές SHAP.
Συμπέρασμα
Οι ενσωματωμένοι αλγόριθμοι του SageMaker παρέχουν μια ποικιλία χαρακτηριστικών και λειτουργιών και μπορούν να επεκταθούν περαιτέρω με την άδεια ανοιχτού κώδικα Apache 2.0. Σε αυτήν την ανάρτηση, εξετάσαμε τον τρόπο επέκτασης του ενσωματωμένου κοντέινερ παραγωγής για τον αλγόριθμο SageMaker XGBoost, ώστε να ανταποκρίνεται στις απαιτήσεις παραγωγής, όπως ο κώδικας προς τα πίσω και η συμβατότητα API.
Το δείγμα σημειωματάριο και βοηθός Εφαρμογές παρέχετε ένα βολικό σημείο εκκίνησης για να προσαρμόσετε την εικόνα του κοντέινερ του SageMaker XGBoost όπως θα θέλατε. Δοκίμασε το!
Παράρτημα: Λειτουργία σεναρίου
Λειτουργία σεναρίου παρέχει έναν τρόπο τροποποίησης πολλών ενσωματωμένων αλγορίθμων του SageMaker παρέχοντας μια διεπαφή για την αντικατάσταση των λειτουργιών που είναι υπεύθυνες για τον μετασχηματισμό των εισόδων και τη φόρτωση του μοντέλου. Η λειτουργία σεναρίου δεν είναι τόσο ευέλικτη όσο η άμεση τροποποίηση του κοντέινερ, αλλά παρέχει μια εντελώς βασισμένη σε Python διαδρομή για να προσαρμόσετε τον ενσωματωμένο αλγόριθμο χωρίς να χρειάζεται να εργαστείτε απευθείας με Λιμενεργάτης.
Σε λειτουργία σεναρίου, α user-module
παρέχεται για την προσαρμογή της αποκωδικοποίησης δεδομένων, τη φόρτωση του μοντέλου και την πραγματοποίηση προβλέψεων. Η μονάδα χρήστη μπορεί να ορίσει α transformer_fn
που χειρίζεται όλες τις πτυχές της επεξεργασίας του αιτήματος μέχρι την προετοιμασία της απάντησης. Ή αντί να ορίζει transformer_fn
, μπορείτε να παρέχετε προσαρμοσμένες μεθόδους model_fn
, input_fn
, predict_fn
, να output_fn
μεμονωμένα για να προσαρμόσετε τη φόρτωση του μοντέλου και την αποκωδικοποίηση και προετοιμασία της εισόδου για πρόβλεψη. Για μια πιο λεπτομερή επισκόπηση της λειτουργίας σεναρίου, βλ Φέρτε το δικό σας μοντέλο με τη λειτουργία σεναρίου SageMaker.
Σχετικά με τους Συγγραφείς
Πέιμαν Ραζάγκι είναι Επιστήμονας Δεδομένων στο AWS. Είναι κάτοχος διδακτορικού διπλώματος στη θεωρία της πληροφορίας από το Πανεπιστήμιο του Τορόντο και ήταν μεταδιδακτορικός ερευνητής στο Πανεπιστήμιο της Νότιας Καλιφόρνια (USC), στο Λος Άντζελες. Πριν ενταχθεί στην AWS, ο Peyman ήταν μηχανικός συστημάτων προσωπικού στην Qualcomm συμβάλλοντας σε μια σειρά από αξιοσημείωτα διεθνή πρότυπα τηλεπικοινωνιών. Έχει συγγράψει πολλά επιστημονικά ερευνητικά άρθρα με κριτές από ομοτίμους στον τομέα της στατιστικής και της μηχανικής συστημάτων, και του αρέσει η ανατροφή των παιδιών και η ποδηλασία δρόμου εκτός εργασίας.
- Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
- CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
- Πηγή: https://aws.amazon.com/blogs/machine-learning/customize-the-amazon-sagemaker-xgboost-algorithm-container/
- "
- 100
- πρόσβαση
- φιλοξενώ
- Λογαριασμός
- προηγμένες
- αλγόριθμος
- αλγόριθμοι
- Όλα
- ήδη
- Amazon
- api
- πλησιάζω
- ΠΕΡΙΟΧΗ
- εμπορεύματα
- AWS
- χτίζω
- ενσωματωμένο
- Καλιφόρνια
- Επιλέξτε
- τάξη
- Backup
- υπηρεσίες cloud
- κωδικός
- Συλλέγοντας
- εντελώς
- Δοχείο
- Περιέχει
- ευκολία
- Βολικός
- δημιουργεί
- έθιμο
- ημερομηνία
- επιστήμονας δεδομένων
- παρατάσσω
- αναπτύσσεται
- διαφορετικές
- κατευθείαν
- συζητήσουν
- διανέμονται
- Λιμενεργάτης
- μηχανικός
- Περιβάλλον
- παράδειγμα
- επεκτείνουν
- Χαρακτηριστικά
- Εικόνα
- Όνομα
- εύκαμπτος
- Εξής
- μορφή
- Βρέθηκαν
- Πλαίσιο
- λειτουργία
- περαιτέρω
- GitHub
- εξαιρετική
- κατέχει
- Πως
- Πώς να
- HTTPS
- Ταυτότητα
- εικόνα
- πληροφορίες
- εισαγωγή
- ενσωματωθεί
- περιβάλλον λειτουργίας
- International
- IT
- Δουλειά
- Θέσεις εργασίας
- μάθηση
- Άδεια
- μακροπρόθεσμος
- Λος Άντζελες
- μηχανή
- μάθηση μηχανής
- ΚΑΝΕΙ
- Κατασκευή
- διαχειρίζεται
- ML
- μοντέλο
- μοντέλα
- περισσότερο
- σημειωματάριο
- αριθμός
- επίσημος ανώτερος υπάλληλος
- offline
- λειτουργίες
- ΑΛΛΑ
- δική
- Σημείο
- Δημοφιλής
- ισχυρός
- πρόβλεψη
- Προβλέψεις
- ιδιωτικός
- διαδικασια μας
- παράγει
- παραγωγή
- παρέχουν
- παρέχει
- χορήγηση
- δημόσιο
- σκοποί
- σε πραγματικό χρόνο
- Αποθήκη
- ζητήσει
- απαιτήσεις
- έρευνα
- Υποστηρικτικό υλικό
- απάντησης
- υπεύθυνος
- Επιστροφές
- ανασκόπηση
- Διαδρομή
- τρέξιμο
- Επιστήμονας
- Υπηρεσίες
- εξυπηρετούν
- κοπής
- λογισμικό
- λύση
- πρωτογενής κώδικας
- Νότιος
- σωρός
- πρότυπα
- στατιστική
- υποστηριζόνται!
- Στήριξη
- Υποστηρίζει
- συστήματα
- Η Πηγη
- Μέσω
- μαζι
- εργαλεία
- κορυφή
- Τορόντο
- Εκπαίδευση
- τρένα
- Μεταμορφώστε
- μετασχηματίζοντας
- πανεπιστήμιο
- χρήση
- ποικιλία
- Wikipedia
- Εργασία
- θα