Amazon Sage Maker les clients peuvent afficher et gérer leurs limites de quota via Quotas de services. En outre, ils peuvent afficher des mesures d'utilisation en temps quasi réel et créer Amazon Cloud Watch métrique pour afficher et interroger par programme les quotas SageMaker.
SageMaker vous aide à créer, former et déployer facilement des modèles d'apprentissage automatique (ML). Pour en savoir plus, consultez Premiers pas avec Amazon SageMaker. Service Quotas simplifie la gestion des limites en vous permettant de visualiser et de gérer vos quotas pour SageMaker à partir d'un emplacement central.
Avec les quotas de service, vous pouvez afficher le nombre maximal de ressources, d'actions ou d'éléments dans votre compte AWS ou votre région AWS. Vous pouvez également utiliser les quotas de service pour demander une augmentation des quotas ajustables.
Avec l'utilisation croissante des pratiques MLOps, et donc la demande de ressources destinées à l'expérimentation et au recyclage des modèles ML, de plus en plus de clients doivent exécuter plusieurs instances, souvent du même type d'instance en même temps.
De nombreuses équipes de science des données travaillent souvent en parallèle, utilisant plusieurs instances pour le traitement, la formation et le réglage simultanément. Auparavant, les utilisateurs atteignaient parfois une limite de compte ajustable pour un type d'instance particulier et devaient demander manuellement une augmentation de limite à AWS.
Pour demander manuellement des augmentations de quota à partir du Interface utilisateur des quotas de service, vous pouvez choisir le quota dans la liste et choisir Demander une augmentation de quota. Pour plus d'informations, reportez-vous à Demander une augmentation de quota.
Dans cet article, nous montrons comment vous pouvez utiliser les nouvelles fonctionnalités pour demander automatiquement des augmentations de limite lorsqu'un niveau élevé d'instances est atteint.
Vue d'ensemble de la solution
Le diagramme suivant illustre l'architecture de la solution.
Cette architecture comprend le workflow suivant :
- Une métrique CloudWatch surveille l'utilisation de la ressource. Une alarme CloudWatch se déclenche lorsque l'utilisation des ressources dépasse un certain seuil préconfiguré.
- Un message est envoyé à Service de notification simple d'Amazon (Amazon SNS).
- Le message est reçu par un AWS Lambda la fonction.
- La fonction Lambda demande l'augmentation du quota.
En plus de demander une augmentation de quota pour le compte spécifique, la fonction Lambda peut également ajouter l'augmentation de quota au modèle d'organisation (jusqu'à 10 quotas). De cette façon, tout nouveau compte créé sous une organisation AWS donnée a les demandes de quota augmentées par défaut.
Pré-requis
Effectuez les étapes préalables suivantes :
- Mettre en place un Compte AWS et créer un Gestion des identités et des accès AWS (IAM) utilisateur. Pour obtenir des instructions, reportez-vous à Sécurisez votre compte AWS.
- Installez l' CLI AWS SAM.
Déploiement à l'aide du modèle d'application sans serveur AWS
Pour déployer l'application à l'aide de GitHub repo, exécutez la commande suivante dans le terminal :
Une fois la solution déployée, vous devriez avoir une nouvelle alarme sur la console CloudWatch. Cette alarme surveille l'utilisation des instances de bloc-notes SageMaker pour l'instance ml.t3.medium.
Si votre utilisation des ressources atteint plus de 50 %, l'alarme se déclenche et la fonction Lambda demande une augmentation.
Si le compte que vous avez fait partie d'une organisation AWS et que vous avez le modèle de demande de quota activé, vous devriez également voir ces augmentations sur le modèle, si le modèle a des emplacements disponibles. De cette façon, les nouveaux comptes de cette organisation ont également les augmentations configurées lors de la création.
Déployer à l'aide de la console CloudWatch
Pour déployer l'application à l'aide de la console CloudWatch, procédez comme suit :
- Sur la console CloudWatch, choisissez Toutes les alarmes dans le volet de navigation.
- Selectionnez Créer une alarme.
- Selectionnez Sélectionnez la statistique.
- Selectionnez Utilisation.
- Sélectionnez la métrique que vous souhaitez surveiller.
- Sélectionnez la condition à laquelle vous souhaitez que l'alarme se déclenche.
Pour plus de configurations possibles lors de la configuration de l'alarme, voir Créer une alarme CloudWatch basée sur un seuil statique.
- Configurez la rubrique SNS pour être averti de l'alarme.
Vous pouvez également utiliser Amazon SNS pour déclencher une fonction Lambda lorsque l'alarme est déclenchée. Voir Utilisation d'AWS Lambda avec Amazon SNS pour plus d'information.
- Pour Nom de l'alarme, entrez un nom.
- Selectionnez Suivant.
- Selectionnez Créer une alarme.
Nettoyer
Pour nettoyer les ressources créées dans le cadre de cet article, assurez-vous de supprimer toutes les piles créées. Pour ce faire, exécutez la commande suivante :
Conclusion
Dans cet article, nous avons montré comment vous pouvez utiliser la nouvelle intégration de SageMaker avec Service Quotas pour automatiser les demandes d'augmentation de quota pour les ressources SageMaker. De cette façon, les équipes de science des données peuvent travailler efficacement en parallèle et réduire les problèmes liés à l'indisponibilité des instances.
Vous pouvez en savoir plus sur les quotas Amazon SageMaker en accédant au Documentation. Vous pouvez également en savoir plus sur les quotas de service ici.
À propos des auteurs
Bruno Klein est un ingénieur en apprentissage automatique au sein de l'équipe AWS ProServe. Il aime particulièrement créer des automatisations et améliorer le cycle de vie des modèles en production. Pendant son temps libre, il aime passer du temps à l'extérieur et faire de la randonnée.
Paras Mehra est chef de produit senior chez AWS. Il se concentre sur l'aide à la création de la formation et du traitement Amazon SageMaker. Dans ses temps libres, Paras aime passer du temps avec sa famille et faire du vélo de route dans la Bay Area. Vous pouvez le retrouver sur LinkedIn.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :est
- $UP
- 10
- 100
- 7
- 8
- a
- À propos
- accès
- accès
- Compte
- hybrides
- actes
- ajout
- réglable et
- alarme
- Tous
- Permettre
- Amazon
- Amazon Sage Maker
- ainsi que
- Candidature
- architecture
- Réservé
- autour
- AS
- At
- automatiser
- automatiquement
- disponibles
- AWS
- AWS Lambda
- basé
- baie
- BE
- LES MEILLEURS
- les meilleures pratiques
- Au-delà
- construire
- by
- CAN
- CD
- central
- certaines
- Selectionnez
- complet
- condition
- les configurations
- Console
- engendrent
- créée
- La création
- création
- Clients
- données
- science des données
- Réglage par défaut
- Demande
- déployer
- déployé
- désigné
- de manière efficace
- activé
- ingénieur
- Entrer
- Ether (ETH)
- famille
- Fonctionnalités:
- Trouvez
- concentré
- Abonnement
- Pour
- Test d'anglais
- de
- fonction
- Git
- donné
- Goes
- Vous avez
- aider
- aide
- Haute
- randonnée
- Comment
- HTML
- http
- HTTPS
- IAM
- Active
- l'amélioration de
- in
- inclut
- Améliore
- increased
- Augmente
- croissant
- d'information
- instance
- Des instructions
- l'intégration
- vous aider à faire face aux problèmes qui vous perturbent
- articles
- jpg
- APPRENTISSAGE
- apprentissage
- Niveau
- vos produits
- comme
- LIMIT
- limites
- Liste
- emplacement
- click
- machine learning
- faire
- gérer
- gestion
- manager
- manuellement
- maximales
- moyenne
- message
- métrique
- Métrique
- ML
- MLOps
- modèle
- numériques jumeaux (digital twin models)
- Surveiller
- moniteurs
- PLUS
- plusieurs
- prénom
- Navigation
- Près
- Besoin
- Nouveauté
- Nouvelles fonctionnalités
- next
- cahier
- déclaration
- nombre
- of
- on
- organisation
- l'extérieur
- pain
- Parallèle
- partie
- particulier
- particulièrement
- Platon
- Intelligence des données Platon
- PlatonDonnées
- possible
- Post
- pratiques
- précédemment
- traitement
- Produit
- chef de produit
- Vidéo
- nous joindre
- atteint
- atteint
- en temps réel
- reçu
- réduire
- région
- en relation
- nécessaire
- demandes
- ressource
- Ressources
- recyclage
- routières
- Courir
- sagemaker
- Sam
- même
- Sciences
- supérieur
- Sans serveur
- service
- plusieurs
- devrait
- montrer
- étapes
- fentes
- sur mesure
- quelques
- groupe de neurones
- passer
- Dépenses
- Combos
- j'ai commencé
- Étapes
- équipe
- équipes
- modèle
- terminal
- qui
- La
- leur
- donc
- порог
- Avec
- fiable
- à
- sujet
- Train
- Formation
- déclencher
- déclenché
- oui
- sous
- Utilisation
- utilisé
- Utilisateur
- utilisateurs
- Voir
- Façon..
- avec
- Activités:
- workflow
- pourra
- Votre
- zéphyrnet