Amazon Sage Maker Kunden können ihre Kontingentgrenzen anzeigen und verwalten Servicekontingente. Darüber hinaus können sie Nutzungsmetriken nahezu in Echtzeit anzeigen und erstellen Amazon CloudWatch Metriken zum Anzeigen und programmgesteuerten Abfragen von SageMaker-Kontingenten.
SageMaker unterstützt Sie beim einfachen Erstellen, Trainieren und Bereitstellen von Modellen für maschinelles Lernen (ML). Weitere Informationen finden Sie unter Erste Schritte mit Amazon SageMaker. Servicekontingente vereinfachen die Limitverwaltung, indem Sie Ihre Kontingente für SageMaker von einem zentralen Ort aus anzeigen und verwalten können.
Mit Servicekontingenten können Sie die maximale Anzahl an Ressourcen, Aktionen oder Elementen in Ihrem AWS-Konto oder Ihrer AWS-Region anzeigen. Sie können auch Servicekontingente verwenden, um eine Erhöhung für anpassbare Kontingente anzufordern.
Mit der zunehmenden Nutzung von MLOps-Praktiken und damit der Nachfrage nach Ressourcen, die für das Experimentieren und Umschulen von ML-Modellen bestimmt sind, müssen mehr Kunden mehrere Instanzen ausführen, oft desselben Instanztyps, gleichzeitig.
Viele Data-Science-Teams arbeiten häufig parallel und verwenden gleichzeitig mehrere Instanzen für die Verarbeitung, das Training und die Optimierung. Zuvor erreichten Benutzer manchmal ein einstellbares Kontolimit für einen bestimmten Instance-Typ und mussten manuell eine Limiterhöhung von AWS anfordern.
Kontingenterhöhungen manuell über die anzufordern Benutzeroberfläche für Servicekontingente, können Sie das Kontingent aus der Liste auswählen und auswählen Kontingenterhöhung anfordern. Weitere Informationen finden Sie unter Beantragung einer Kontingenterhöhung.
In diesem Beitrag zeigen wir, wie Sie die neuen Features nutzen können, um automatisch Limiterhöhungen anzufordern, wenn ein hohes Level an Instanzen erreicht ist.
Lösungsüberblick
Das folgende Diagramm zeigt die Lösungsarchitektur.
Diese Architektur umfasst den folgenden Workflow:
- Eine CloudWatch-Metrik überwacht die Nutzung der Ressource. Ein CloudWatch-Alarm wird ausgelöst, wenn die Ressourcennutzung einen bestimmten vorkonfigurierten Schwellenwert überschreitet.
- Eine Nachricht wird an gesendet Amazon Simple Notification Service (Amazon SNS).
- Die Nachricht wird von einem empfangen AWS Lambda Funktion.
- Die Lambda-Funktion fordert die Kontingenterhöhung an.
Neben der Anforderung einer Kontingenterhöhung für das spezifische Konto kann die Lambda-Funktion die Kontingenterhöhung auch dem hinzufügen Organisationsvorlage (bis zu 10 Kontingente). Auf diese Weise erhält jedes neue Konto, das unter einer bestimmten AWS-Organisation erstellt wird, standardmäßig die erhöhten Kontingentanforderungen.
Voraussetzungen:
Führen Sie die folgenden erforderlichen Schritte aus:
- Richten Sie ein AWS-Konto und ein erstellen AWS Identity and Access Management and (IAM)-Benutzer. Anweisungen finden Sie unter Sichern Sie Ihr AWS-Konto.
- Installieren Sie das AWS SAM-CLI.
Bereitstellen mit AWS Serverless Application Model
Um die Anwendung mithilfe von bereitzustellen GitHub Repo, führen Sie den folgenden Befehl im Terminal aus:
Nachdem die Lösung bereitgestellt wurde, sollten Sie einen neuen Alarm auf der CloudWatch-Konsole haben. Dieser Alarm überwacht die Nutzung für SageMaker-Notebook-Instances für die ml.t3.medium-Instance.
Wenn Ihre Ressourcennutzung mehr als 50 % erreicht, wird der Alarm ausgelöst und die Lambda-Funktion fordert eine Erhöhung an.
Wenn Ihr Konto Teil einer AWS-Organisation ist und Sie die Kontingentanforderungsvorlage aktiviert, sollten Sie diese Erhöhungen auch auf der Vorlage sehen, wenn die Vorlage verfügbare Slots hat. Auf diese Weise werden auch für neue Konten dieser Organisation die Erhöhungen bei der Erstellung konfiguriert.
Bereitstellen mit der CloudWatch-Konsole
Führen Sie die folgenden Schritte aus, um die Anwendung mithilfe der CloudWatch-Konsole bereitzustellen:
- Wählen Sie in der CloudWatch-Konsole aus Alle Alarme im Navigationsbereich.
- Auswählen
Alarm erstellen.
- Auswählen
Metrik auswählen.
- Auswählen
Anwendungsbereich.
- Wählen Sie die Metrik aus, die Sie überwachen möchten.
- Wählen Sie die Bedingung aus, wann der Alarm ausgelöst werden soll.
Weitere mögliche Konfigurationen beim Konfigurieren des Alarms finden Sie unter Erstellen Sie einen CloudWatch-Alarm basierend auf einem statischen Schwellenwert.
- Konfigurieren Sie das SNS-Thema, das über den Alarm benachrichtigt werden soll.
Sie können auch Amazon SNS verwenden, um eine Lambda-Funktion auszulösen, wenn der Alarm ausgelöst wird. Sehen Verwenden von AWS Lambda mit Amazon SNS um mehr zu erfahren.
- Aussichten für Alarmname, Geben Sie einen Namen ein.
- Auswählen
Weiter.
- Auswählen
Alarm erstellen.
Aufräumen
Um die im Rahmen dieses Beitrags erstellten Ressourcen zu bereinigen, müssen Sie alle erstellten Stacks löschen. Führen Sie dazu den folgenden Befehl aus:
Zusammenfassung
In diesem Beitrag haben wir gezeigt, wie Sie die neue Integration von SageMaker mit Servicekontingenten verwenden können, um die Anfragen nach Kontingenterhöhungen für SageMaker-Ressourcen zu automatisieren. Auf diese Weise können Data-Science-Teams effektiv parallel arbeiten und Probleme im Zusammenhang mit der Nichtverfügbarkeit von Instanzen reduzieren.
Sie können mehr über Amazon SageMaker-Kontingente erfahren, indem Sie auf die zugreifen Dokumentation. Sie können auch mehr über Servicekontingente erfahren hier.
Über die Autoren
Bruno Klein ist Machine Learning Engineer im AWS ProServe-Team. Besonders gerne macht er Automatisierungen und verbessert den Lebenszyklus von Modellen in der Produktion. In seiner Freizeit verbringt er gerne Zeit im Freien und wandert.
Paras Mehra ist Senior Product Manager bei AWS. Er konzentriert sich darauf, beim Aufbau von Amazon SageMaker Training and Processing zu helfen. In seiner Freizeit verbringt Paras gerne Zeit mit seiner Familie und fährt mit dem Rennrad durch die Bay Area. Sie finden ihn auf LinkedIn.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :Ist
- $UP
- 10
- 100
- 7
- 8
- a
- Über uns
- Zugang
- Zugriff
- Konto
- Trading Konten
- Aktionen
- Zusatz
- einstellbar
- Alarm
- Alle
- Zulassen
- Amazon
- Amazon Sage Maker
- und
- Anwendung
- Architektur
- Bereich
- um
- AS
- At
- automatisieren
- Im Prinzip so, wie Sie es von Google Maps kennen.
- verfügbar
- AWS
- AWS Lambda
- basierend
- Bucht
- BE
- BESTE
- Best Practices
- Beyond
- bauen
- by
- CAN
- CD
- Hauptgeschäftsstelle
- sicher
- Auswählen
- abschließen
- Zustand
- Konfigurationen
- Konsul (Console)
- erstellen
- erstellt
- Erstellen
- Schaffung
- Kunden
- technische Daten
- Datenwissenschaft
- Standard
- Demand
- einsetzen
- Einsatz
- bezeichnet
- effektiv
- freigegeben
- Ingenieur
- Enter
- Äther (ETH)
- Familie
- Eigenschaften
- Finden Sie
- konzentriert
- Folgende
- Aussichten für
- Frei
- für
- Funktion
- Git
- gegeben
- Goes
- Haben
- Unternehmen
- hilft
- High
- Wandern
- Ultraschall
- HTML
- http
- HTTPS
- IAM
- Identitätsschutz
- Verbesserung
- in
- Dazu gehören
- Erhöhung
- hat
- Steigert
- zunehmend
- Information
- Instanz
- Anleitung
- Integration
- Probleme
- Artikel
- jpg
- LERNEN
- lernen
- Niveau
- Lebenszyklus
- Gefällt mir
- LIMIT
- Grenzen
- Liste
- Standorte
- Maschine
- Maschinelles Lernen
- um
- verwalten
- Management
- Manager
- manuell
- maximal
- mittlere
- Nachricht
- Metrisch
- Metrik
- ML
- MLOps
- Modell
- für
- Überwachen
- Monitore
- mehr
- mehrere
- Name
- Navigation
- In der Nähe von
- Need
- Neu
- Neue Funktionen
- weiter
- Notizbuch
- Benachrichtigung
- Anzahl
- of
- on
- Organisation
- im Freien
- Brot
- Parallel
- Teil
- besondere
- besonders
- Plato
- Datenintelligenz von Plato
- PlatoData
- möglich
- Post
- Praktiken
- vorher
- Verarbeitung
- Produkt
- Produkt-Manager
- Produktion
- erreichen
- erreicht
- Erreicht
- Echtzeit
- Received
- Veteran
- Region
- bezogene
- Anforderung
- Zugriffe
- Ressourcen
- Downloads
- Umschulung
- Straße
- Führen Sie
- sagemaker
- Sam
- gleich
- Wissenschaft
- Senior
- Serverlos
- mehrere
- sollte
- erklären
- Einfacher
- Slots
- Lösung
- einige
- spezifisch
- verbringen
- Ausgabe
- Stacks
- begonnen
- Shritte
- Team
- Teams
- Vorlage
- Terminal
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- ihr
- deswegen
- Schwelle
- Durch
- Zeit
- zu
- Thema
- Training
- Ausbildung
- auslösen
- ausgelöst
- was immer dies auch sein sollte.
- für
- Anwendungsbereich
- -
- Mitglied
- Nutzer
- Anzeigen
- Weg..
- mit
- Arbeiten
- Arbeitsablauf.
- würde
- Ihr
- Zephyrnet