Amazon Sage Maker παρέχει μια ευρεία επιλογή υποδομής μηχανικής εκμάθησης (ML) και επιλογών ανάπτυξης μοντέλων που θα σας βοηθήσουν να καλύψετε τις ανάγκες σας για εξαγωγή συμπερασμάτων ML. Είναι μια πλήρως διαχειριζόμενη υπηρεσία και ενσωματώνεται με εργαλεία MLOps, ώστε να μπορείτε να εργαστείτε για να κλιμακώσετε την ανάπτυξη του μοντέλου σας, να μειώσετε το κόστος συμπερασμάτων, να διαχειριστείτε πιο αποτελεσματικά τα μοντέλα στην παραγωγή και να μειώσετε το λειτουργικό φόρτο. Το SageMaker παρέχει πολλαπλές επιλογές συμπερασμάτων ώστε να μπορείτε να επιλέξετε την επιλογή που ταιριάζει καλύτερα στον φόρτο εργασίας σας.
Οι νέες γενιές CPU προσφέρουν σημαντική βελτίωση της απόδοσης στο συμπέρασμα ML χάρη σε εξειδικευμένες ενσωματωμένες οδηγίες. Σε αυτήν την ανάρτηση, εστιάζουμε στο πώς μπορείτε να επωφεληθείτε από το AWS Graviton3με βάση το Amazon Elastic Compute Cloud (EC2) Στιγμιότυπα C7g να βοηθήσει στη μείωση του κόστους συμπερασμάτων έως και 50% σε σχέση με συγκρίσιμες περιπτώσεις EC2 για συμπέρασμα σε πραγματικό χρόνο στο Amazon SageMaker. Δείχνουμε πώς μπορείτε να αξιολογήσετε την απόδοση συμπερασμάτων και να αλλάξετε τους φόρτους εργασίας ML σε περιπτώσεις AWS Graviton σε λίγα μόνο βήματα.
Για να καλύψουμε το δημοφιλές και ευρύ φάσμα εφαρμογών πελατών, σε αυτήν την ανάρτηση συζητάμε την απόδοση συμπερασμάτων των πλαισίων PyTorch, TensorFlow, XGBoost και scikit-learn. Καλύπτουμε σενάρια υπολογιστικής όρασης (CV), επεξεργασίας φυσικής γλώσσας (NLP), ταξινόμησης και κατάταξης για μοντέλα και περιπτώσεις ml.c6g, ml.c7g, ml.c5 και ml.c6i SageMaker για συγκριτική αξιολόγηση.
Αποτελέσματα συγκριτικής αξιολόγησης
Το AWS μέτρησε έως και 50% εξοικονόμηση κόστους για συμπεράσματα μοντέλων PyTorch, TensorFlow, XGBoost και scikit-learn με παρουσίες EC3 C2g που βασίζονται στο AWS Graviton7 σε σχέση με συγκρίσιμες παρουσίες EC2 στο Amazon SageMaker. Ταυτόχρονα, μειώνεται και η καθυστέρηση εξαγωγής συμπερασμάτων.
Για σύγκριση, χρησιμοποιήσαμε τέσσερις διαφορετικούς τύπους περιπτώσεων:
Και οι τέσσερις περιπτώσεις διαθέτουν 16 vCPU και 32 GiB μνήμης.
Στο παρακάτω γράφημα, μετρήσαμε το συμπέρασμα κόστους ανά εκατομμύριο για τους τέσσερις τύπους περιπτώσεων. Εξομαλύναμε περαιτέρω τα αποτελέσματα συμπερασμάτων κόστους ανά εκατομμύριο σε μια εμφάνιση c5.4xlarge, η οποία μετράται ως 1 στον άξονα Υ του γραφήματος. Μπορείτε να δείτε ότι για τα μοντέλα XGBoost, το συμπέρασμα κόστους ανά εκατομμύριο για το c7g.4xlarge (AWS Graviton3) είναι περίπου το 50% του c5.4xlarge και το 40% του c6i.4xlarge. για τα μοντέλα PyTorch NLP, η εξοικονόμηση κόστους είναι περίπου 30–50% σε σύγκριση με τις περιπτώσεις c5 και c6i.4xlarge. Για άλλα μοντέλα και πλαίσια, μετρήσαμε τουλάχιστον 30% εξοικονόμηση κόστους σε σύγκριση με c5 και c6i.4xlarge περιπτώσεις.
Παρόμοια με το προηγούμενο γράφημα σύγκρισης κόστους συμπερασμάτων, το ακόλουθο γράφημα δείχνει την καθυστέρηση του μοντέλου p90 για τους ίδιους τέσσερις τύπους παρουσιών. Ομαλοποιήσαμε περαιτέρω τα αποτελέσματα λανθάνοντος χρόνου στην περίπτωση c5.4xlarge, η οποία μετράται ως 1 στον άξονα Υ του γραφήματος. Η καθυστέρηση συμπερασμάτων του μοντέλου c7g.4xlarge (AWS Graviton3) είναι έως και 50% καλύτερη από τις καθυστερήσεις που μετρήθηκαν στα c5.4xlarge και c6i.4xlarge.
Μετεγκατάσταση σε περιπτώσεις AWS Graviton
Για να αναπτύξετε τα μοντέλα σας σε περιπτώσεις AWS Graviton, μπορείτε είτε να χρησιμοποιήσετε Εμπορευματοκιβώτια βαθιάς μάθησης AWS (DLC) ή φέρτε τα δικά σας δοχεία που είναι συμβατά με την αρχιτεκτονική ARMv8.2.
Η μετεγκατάσταση (ή η νέα ανάπτυξη) των μοντέλων σας σε παρουσίες AWS Graviton είναι απλή, επειδή όχι μόνο το AWS παρέχει κοντέινερ για να φιλοξενήσει μοντέλα με PyTorch, TensorFlow, scikit-learn και XGBoost, αλλά και τα μοντέλα είναι αρχιτεκτονικά αγνωστικά. Μπορείτε επίσης να φέρετε τις δικές σας βιβλιοθήκες, αλλά βεβαιωθείτε ότι το κοντέινερ σας είναι κατασκευασμένο με περιβάλλον που υποστηρίζει την αρχιτεκτονική ARMv8.2. Για περισσότερες πληροφορίες, βλ Δημιουργήστε το δικό σας κοντέινερ αλγορίθμου.
Θα χρειαστεί να ολοκληρώσετε τρία βήματα για να αναπτύξετε το μοντέλο σας:
- Δημιουργήστε ένα μοντέλο SageMaker. Αυτό θα περιέχει, μεταξύ άλλων παραμέτρων, τις πληροφορίες σχετικά με τη θέση του αρχείου μοντέλου, το κοντέινερ που θα χρησιμοποιηθεί για την ανάπτυξη και τη θέση του σεναρίου συμπερασμάτων. (Εάν έχετε ένα υπάρχον μοντέλο που έχει ήδη αναπτυχθεί σε μια παρουσία συμπερασμάτων βελτιστοποιημένης υπολογισμού, μπορείτε να παραλείψετε αυτό το βήμα.)
- Δημιουργήστε μια διαμόρφωση τελικού σημείου. Αυτό θα περιέχει πληροφορίες σχετικά με τον τύπο της παρουσίας που θέλετε για το τελικό σημείο (για παράδειγμα, ml.c7g.xlarge για AWS Graviton3), το όνομα του μοντέλου που δημιουργήσατε στο προηγούμενο βήμα και τον αριθμό των παρουσιών ανά τελικό σημείο.
- Εκκινήστε το τελικό σημείο με τη διαμόρφωση τελικού σημείου που δημιουργήθηκε στο προηγούμενο βήμα.
Για αναλυτικές οδηγίες, ανατρέξτε στο Εκτελέστε φόρτους εργασίας συμπερασμάτων μηχανικής εκμάθησης σε περιπτώσεις που βασίζονται στο AWS Graviton με το Amazon SageMaker
Μεθοδολογία συγκριτικής αξιολόγησης
Συνηθίζαμε Amazon SageMaker Inference Recommender για την αυτοματοποίηση της συγκριτικής αξιολόγησης απόδοσης σε διαφορετικές περιπτώσεις. Αυτή η υπηρεσία συγκρίνει την απόδοση του μοντέλου σας ML ως προς τον λανθάνοντα χρόνο και το κόστος σε διαφορετικές περιπτώσεις και προτείνει την παρουσία και τη διαμόρφωση που παρέχει την καλύτερη απόδοση με το χαμηλότερο κόστος. Συλλέξαμε τα προαναφερθέντα δεδομένα απόδοσης χρησιμοποιώντας το Inference Recommender. Για περισσότερες λεπτομέρειες, ανατρέξτε στο GitHub repo.
Μπορείτε να χρησιμοποιήσετε το δείγμα σημειωματάριου για την εκτέλεση των σημείων αναφοράς και την αναπαραγωγή των αποτελεσμάτων. Χρησιμοποιήσαμε τα ακόλουθα μοντέλα για τη συγκριτική αξιολόγηση:
Συμπέρασμα
Το AWS μέτρησε έως και 50% εξοικονόμηση κόστους για συμπεράσματα μοντέλων PyTorch, TensorFlow, XGBoost και scikit-learn με παρουσίες EC3 C2g που βασίζονται στο AWS Graviton7 σε σχέση με συγκρίσιμες παρουσίες EC2 στο Amazon SageMaker. Μπορείτε να μετεγκαταστήσετε τις υπάρχουσες περιπτώσεις χρήσης συμπερασμάτων ή να αναπτύξετε νέα μοντέλα ML στο AWS Graviton ακολουθώντας τα βήματα που παρέχονται σε αυτήν την ανάρτηση. Μπορείτε επίσης να ανατρέξετε στο Τεχνικός οδηγός AWS Graviton, το οποίο παρέχει τη λίστα με τις βελτιστοποιημένες βιβλιοθήκες και τις βέλτιστες πρακτικές που θα σας βοηθήσουν να επιτύχετε οφέλη κόστους με τις παρουσίες AWS Graviton σε διαφορετικούς φόρτους εργασίας.
Εάν βρείτε περιπτώσεις χρήσης όπου δεν παρατηρούνται παρόμοια κέρδη απόδοσης στο AWS Graviton, επικοινωνήστε μαζί μας. Θα συνεχίσουμε να προσθέτουμε περισσότερες βελτιώσεις απόδοσης για να κάνουμε το AWS Graviton τον πιο οικονομικό και αποδοτικό επεξεργαστή γενικής χρήσης για συμπέρασμα ML.
Σχετικά με τους συγγραφείς
Sunita Nadampalli είναι Διευθυντής Ανάπτυξης Λογισμικού στην AWS. Είναι επικεφαλής βελτιστοποιήσεων απόδοσης λογισμικού Graviton για μηχανική εκμάθηση, HPC και φόρτους εργασίας πολυμέσων. Είναι παθιασμένη με την ανάπτυξη ανοιχτού κώδικα και την παροχή οικονομικών λύσεων λογισμικού με Arm SoC.
Τζέιμιν Ντεσάι είναι Μηχανικός Ανάπτυξης Λογισμικού με την ομάδα Amazon SageMaker Inference. Είναι παθιασμένος με το να μεταφέρει την τεχνητή νοημοσύνη στις μάζες και να βελτιώσει τη χρηστικότητα των στοιχείων τεχνητής νοημοσύνης αιχμής, μετατρέποντάς τα σε λειτουργίες και υπηρεσίες. Στον ελεύθερο χρόνο του, του αρέσει να εξερευνά τη μουσική και να ταξιδεύει.
Μάικ Σνάιντερ είναι ένας προγραμματιστής συστημάτων, με έδρα το Phoenix AZ. Είναι μέλος των δοχείων Deep Learning, υποστηρίζοντας διάφορες εικόνες κοντέινερ Framework, για να συμπεριλάβει το Graviton Inference. Είναι αφοσιωμένος στην αποτελεσματικότητα και τη σταθερότητα των υποδομών.
Μοχάν Γκάντι είναι Ανώτερος Μηχανικός Λογισμικού στην AWS. Είναι με την AWS τα τελευταία 10 χρόνια και έχει εργαστεί σε διάφορες υπηρεσίες AWS όπως EMR, EFA και RDS. Επί του παρόντος, επικεντρώνεται στη βελτίωση της εμπειρίας συμπερασμάτων SageMaker. Στον ελεύθερο χρόνο του, του αρέσει η πεζοπορία και οι μαραθώνιοι.
Κινγκγουέι Λι είναι ειδικός μηχανικής μάθησης στο Amazon Web Services. Έλαβε το διδακτορικό του. στην Επιχειρησιακή Έρευνα αφού έσπασε τον λογαριασμό της ερευνητικής επιχορήγησης του συμβούλου του και απέτυχε να παραδώσει το βραβείο Νόμπελ που υποσχέθηκε. Επί του παρόντος, βοηθά τους πελάτες στον κλάδο των χρηματοοικονομικών υπηρεσιών και της ασφαλιστικής βιομηχανίας να δημιουργήσουν λύσεις μηχανικής εκμάθησης στο AWS. Στον ελεύθερο χρόνο του αρέσει να διαβάζει και να διδάσκει.
Γουέιν Τοχ είναι Specialist Solutions Architect για το Graviton στο AWS. Επικεντρώνεται στο να βοηθά τους πελάτες να υιοθετήσουν την αρχιτεκτονική ARM για φόρτους εργασίας κοντέινερ μεγάλης κλίμακας. Πριν ενταχθεί στην AWS, ο Wayne εργάστηκε για πολλούς μεγάλους προμηθευτές λογισμικού, συμπεριλαμβανομένων των IBM και Red Hat.
Lauren Mullennex είναι Αρχιτέκτονας Λύσεων με έδρα το Ντένβερ, Κόκκινο. Συνεργάζεται με πελάτες για να τους βοηθήσει να αρχιτεκτονήσουν λύσεις στο AWS. Στον ελεύθερο χρόνο της, απολαμβάνει την πεζοπορία και το μαγείρεμα της κουζίνας της Χαβάης.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoAiStream. Web3 Data Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- Minting the Future με την Adryenn Ashley. Πρόσβαση εδώ.
- Αγορά και πώληση μετοχών σε εταιρείες PRE-IPO με το PREIPO®. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/reduce-amazon-sagemaker-inference-cost-with-aws-graviton/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 98
- a
- Σχετικά
- Λογαριασμός
- Κατορθώνω
- απέναντι
- προσθέτω
- ενστερνίζομαι
- Πλεονέκτημα
- Μετά το
- AI
- αλγόριθμος
- ήδη
- Επίσης
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- μεταξύ των
- an
- και
- εφαρμογές
- αρχιτεκτονική
- ΕΙΝΑΙ
- ARM
- AS
- Ενεργητικό
- At
- αυτοματοποίηση
- AWS
- βασίζονται
- BE
- επειδή
- ήταν
- αναφοράς
- οφέλη
- ΚΑΛΎΤΕΡΟΣ
- βέλτιστες πρακτικές
- Καλύτερα
- φέρω
- ευρύς
- έσπασε
- χτίζω
- χτισμένο
- ενσωματωμένο
- βάρος
- αλλά
- by
- CAN
- περιπτώσεις
- Διάγραμμα
- ταξινόμηση
- Backup
- CO
- συγκρίσιμος
- σύγκριση
- σύγκριση
- σύμφωνος
- πλήρης
- Υπολογίστε
- υπολογιστή
- Computer Vision
- διαμόρφωση
- Δοχείο
- Εμπορευματοκιβώτια
- ΣΥΝΕΧΕΙΑ
- μαγείρεμα
- Κόστος
- εξοικονόμηση κόστους
- αποδοτική
- Δικαστικά έξοδα
- κάλυμμα
- δημιουργήθηκε
- Τη στιγμή
- πελάτης
- Πελάτες
- ημερομηνία
- αφιερωμένο
- βαθύς
- βαθιά μάθηση
- παραδώσει
- παράδοση
- Ντένβερ
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- λεπτομερής
- καθέκαστα
- Εργολάβος
- Ανάπτυξη
- διαφορετικές
- συζητήσουν
- κάνει
- δυο
- αποτελεσματικά
- αποδοτικότητα
- αποτελεσματικός
- είτε
- Τελικό σημείο
- μηχανικός
- Περιβάλλον
- Αιθέρας (ΕΤΗ)
- αξιολογήσει
- παράδειγμα
- υφιστάμενα
- εμπειρία
- Εξερευνώντας
- Απέτυχε
- Χαρακτηριστικά
- λίγοι
- Αρχεία
- οικονομικός
- χρηματοπιστωτικές υπηρεσίες
- Εύρεση
- Συγκέντρωση
- επικεντρώθηκε
- εστιάζει
- Εξής
- Για
- τέσσερα
- Πλαίσιο
- πλαισίων
- Δωρεάν
- περαιτέρω
- κέρδη
- γενικού σκοπού
- γενεών
- δίνει
- χορηγεί
- γραφική παράσταση
- καπέλο
- Έχω
- he
- βοήθεια
- βοήθεια
- βοηθά
- αυτήν
- πεζοπορία
- του
- οικοδεσπότης
- Πως
- hpc
- HTML
- HTTPS
- IBM
- if
- εικόνες
- βελτίωση
- βελτιώσεις
- βελτίωση
- in
- περιλαμβάνουν
- Συμπεριλαμβανομένου
- βιομηχανία
- πληροφορίες
- Υποδομή
- παράδειγμα
- οδηγίες
- ασφάλιση
- ασφαλιστική βιομηχανία
- Ενσωματώνει
- σε
- ενώνει
- jpg
- μόλις
- Γλώσσα
- large
- Επίθετο
- Αφάνεια
- Οδηγεί
- μάθηση
- ελάχιστα
- βιβλιοθήκες
- Μου αρέσει
- Λίστα
- τοποθεσία
- χαμηλότερο
- μηχανή
- μάθηση μηχανής
- κάνω
- διαχείριση
- διευθυντής
- μάζες
- Γνωρίστε
- μέλος
- Μνήμη
- μεταναστεύσουν
- μετανάστευση
- εκατομμύριο
- ML
- MLOps
- μοντέλο
- μοντέλα
- περισσότερο
- πλέον
- πολυμέσων
- πολλαπλούς
- Μουσική
- όνομα
- Φυσικό
- Φυσική γλώσσα
- Επεξεργασία φυσικής γλώσσας
- Ανάγκη
- ανάγκες
- Νέα
- nlp
- βραβείο Νόμπελ
- αριθμός
- of
- προσφορά
- on
- αποκλειστικά
- ανοικτού κώδικα
- επιχειρήσεων
- λειτουργίες
- βελτιστοποιημένη
- Επιλογή
- Επιλογές
- or
- τάξη
- ΑΛΛΑ
- έξω
- δική
- παράμετροι
- παθιασμένος
- επίδοση
- Φοίνιξ
- επιλέξτε
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- σας παρακαλούμε
- Δημοφιλής
- Θέση
- πρακτικές
- προηγούμενος
- Πριν
- βραβείο
- μεταποίηση
- Επεξεργαστής
- παραγωγή
- υποσχόμενος
- παρέχουν
- παρέχεται
- παρέχει
- pytorch
- σειρά
- Κατάταξη
- φθάσουν
- Ανάγνωση
- έλαβε
- συνιστά
- Red
- Red Hat
- μείωση
- Μειωμένος
- έρευνα
- Αποτελέσματα
- τρέξιμο
- σοφός
- Συμπεράσματα SageMaker
- ίδιο
- Οικονομίες
- Κλίμακα
- σενάρια
- scikit-μάθετε
- δείτε
- επιλογή
- αρχαιότερος
- υπηρεσία
- Υπηρεσίες
- διάφοροι
- αυτή
- δείχνουν
- Δείχνει
- σημαντικός
- παρόμοιες
- So
- λογισμικό
- ανάπτυξη λογισμικού
- Μηχανικός Λογισμικού
- Λύσεις
- ειδικός
- ειδικευμένος
- σταθερότητα
- state-of-the-art
- Βήμα
- Βήματα
- ειλικρινής
- κοστούμια
- Στήριξη
- Υποστηρίζει
- βέβαιος
- διακόπτης
- συστήματα
- Πάρτε
- λήψη
- Διδασκαλία
- Τεχνικός
- tensorflow
- όροι
- από
- ότι
- Η
- οι πληροφορίες
- Τους
- αυτό
- τρία
- ώρα
- προς την
- εργαλεία
- Ταξίδια
- τύπος
- τύποι
- us
- χρηστικότητα
- χρήση
- μεταχειρισμένος
- χρησιμοποιώντας
- διάφορα
- πωλητές
- όραμα
- θέλω
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- Ποιό
- θα
- με
- Εργασία
- εργάστηκαν
- λειτουργεί
- XGBoost
- χρόνια
- εσείς
- Σας
- zephyrnet