Amazon SageMakerStudio est un environnement de développement entièrement intégré (IDE) pour l'apprentissage automatique (ML) basé en partie sur JupyterLab 3. Studio fournit une interface Web pour effectuer de manière interactive les tâches de développement ML requises pour préparer les données et créer, former et déployer des modèles ML. Dans Studio, vous pouvez charger des données, ajuster des modèles de ML, passer d'une étape à l'autre pour ajuster les expériences, comparer les résultats et déployer des modèles de ML pour l'inférence.
La Kit de développement AWS Cloud (AWS CDK) est un cadre de développement logiciel open source pour créer AWS CloudFormation piles par automatique Modèle CloudFormation génération. Une pile est une collection de ressources AWS, qui peuvent être mises à jour, déplacées ou supprimées par programme. CDK AWS constructions sont les blocs de construction des applications AWS CDK, représentant le modèle pour définir les architectures cloud.
La configuration de Studio avec AWS CDK est devenue un processus simplifié. Le CDK AWS vous permet d'utiliser des constructions natives pour définir et déployer Studio à l'aide de l'infrastructure en tant que code (IaC), y compris Gestion des identités et des accès AWS (AWS IAM) et les configurations de ressources cloud souhaitées, le tout au même endroit. Cette approche de développement peut être utilisée en combinaison avec d'autres meilleures pratiques d'ingénierie logicielle courantes telles que les déploiements de code automatisés, les tests et Pipelines CI / CD. AWS CDK réduit le temps nécessaire pour effectuer des tâches de déploiement d'infrastructure typiques tout en réduisant la surface d'erreur humaine grâce à l'automatisation.
Cet article vous guide à travers les étapes de démarrage de la configuration et du déploiement de Studio pour normaliser le développement de modèles ML et la collaboration avec d'autres ingénieurs ML et scientifiques ML. Tous les exemples de l'article sont écrits dans le langage de programmation Python. Cependant, AWS CDK offre une prise en charge intégrée de plusieurs autres langages de programmation comme JavaScript, Java et C#.
Pré-requis
Pour commencer, les conditions préalables suivantes s'appliquent :
Cloner le dépôt GitHub
D'abord, allons cloner le GitHub référentiel.
Une fois le dépôt extrait avec succès, vous pouvez inspecter le répertoire cdk contenant les ressources suivantes :
- CDK – Contient les principales ressources cdk
- app.py – Où la pile AWS CDK est définie
- cdk.json – Contient des métadonnées et des indicateurs de fonctionnalité
Scripts AWS CDK
Les deux principaux dossiers que nous voulons examiner dans le cdk
sous-répertoire sont sagemaker_studio_construct.py
ainsi que sagemaker_studio_stack.py
. Examinons chaque fichier plus en détail.
Fichier de construction Studio
La construction Studio est définie dans le sagemaker_studio_construct.py
fichier.
La construction Studio prend en compte le cloud privé virtuel (VPC), les utilisateurs répertoriés, la région AWS et le type d'instance par défaut sous-jacent en tant que paramètres. Cette construction AWS CDK remplit les fonctions suivantes :
- Crée le domaine Studio (
SageMakerStudioDomain
) - Définit le rôle IAM
sagemaker_studio_execution_role
avecAmazonSageMakerFullAccess
autorisations requises pour créer des ressources. Les autorisations doivent être réduites davantage pour suivre le principe du moindre privilège pour une sécurité améliorée. - Définit les paramètres de l'application du serveur Jupyter - prend en compte
JUPYTER_SERVER_APP_IMAGE_NAME
, définissant l'image de conteneur jupyter-server-3 à utiliser. - Définit les paramètres de l'application de la passerelle du noyau - prend en compte
KERNEL_GATEWAY_APP_IMAGE_NAME
, définissant l'image du conteneur datascience-2.0 à utiliser. - Crée un profil d'utilisateur pour chaque utilisateur répertorié
L'extrait de code suivant montre les ressources AWS CloudFormation du domaine Studio pertinentes définies dans AWS CDK :
L'extrait de code suivant montre les profils utilisateur créés à partir des ressources AWS CloudFormation :
Fichier de pile Studio
Une fois la construction définie, vous pouvez l'ajouter en créant une instance de la classe et en transmettant les arguments requis à l'intérieur de la pile. La pile crée les ressources AWS CloudFormation dans le cadre d'un déploiement cohérent. Cela signifie que si au moins une ressource cloud ne parvient pas à être créée, la pile CloudFormation annule toutes les modifications effectuées. L'extrait de code suivant de la construction Studio s'instancie à l'intérieur de la pile Studio :
Déployer la pile AWS CDK
Pour déployer votre pile AWS CDK, exécutez les commandes suivantes à partir du répertoire racine du projet dans votre fenêtre de terminal :
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Passez en revue les ressources créées par AWS CDK dans votre compte AWS et sélectionnez Oui lorsque vous êtes invité à déployer la pile. Attendez que votre déploiement de pile soit terminé. Cela prend généralement moins de 5 minutes ; cependant, l'ajout de ressources supplémentaires prolongera le temps de déploiement. Vous pouvez également vérifier l'état du déploiement sur le Console AWS CloudFormation.
Lorsque la pile a été déployée avec succès, vérifiez ses informations en accédant au panneau de configuration de Studio. Vous devriez voir le profil utilisateur SageMaker Studio que vous avez créé.
Si vous redéployez la pile, elle vérifiera les modifications et n'effectuera que les mises à jour de ressources cloud nécessaires. Par exemple, cela peut être utilisé pour ajouter des utilisateurs ou modifier les autorisations de ces utilisateurs sans avoir à recréer toutes les ressources cloud définies.
Nettoyer
Pour supprimer une pile, procédez comme suit :
- Sur la console AWS CloudFormation, choisissez Combos dans le volet de navigation.
- Ouvrez la pile que vous souhaitez supprimer.
- Dans le volet des détails de la pile, choisissez Supprimer.
- Selectionnez Supprimer la pile lorsque vous y êtes invité
AWS CloudFormation supprimera les ressources créées lors du déploiement de la pile. Cela peut prendre un certain temps en fonction de la quantité de ressources créées.
Si vous rencontrez des problèmes lors de ces étapes de nettoyage, vous devrez peut-être supprimer manuellement le domaine Studio avant de répéter les étapes de cette section.
Conclusion
Dans cet article, nous avons montré comment utiliser les ressources IaC cloud natives d'AWS pour créer un modèle facilement réutilisable pour les déploiements de Studio. SageMaker Studio est un IDE Web entièrement intégré qui fournit une interface visuelle pour les tâches de développement ML basées sur JupyterLab3. Avec les piles AWS CDK, nous avons pu définir des constructions pour créer des composants cloud qui peuvent être facilement modifiés, édités ou supprimés en apportant des modifications à la pile CloudFormation sous-jacente.
Pour plus d'informations sur Amazon Studio, consultez Amazon SageMakerStudio.
À propos des auteurs
Cory Hairston est ingénieur logiciel au Amazon ML Solutions Lab. Il est passionné par l'apprentissage de nouvelles technologies et l'exploitation de ces informations pour créer des solutions logicielles réutilisables. Il est un passionné de power-lifter et passe son temps libre à faire de l'art numérique.
Marcelo Aberlé est ingénieur ML au sein de l'organisation AWS AI. Il dirige les efforts MLOps au Amazon ML Solutions Lab, aidant les clients à concevoir et à mettre en œuvre des systèmes ML évolutifs. Sa mission est de guider les clients dans leur parcours ML d'entreprise et d'accélérer leur parcours ML vers la production.
Yash Shah est directeur scientifique au Laboratoire de solutions Amazon ML. Lui et son équipe de scientifiques appliqués et d'ingénieurs en apprentissage automatique travaillent sur une gamme de cas d'utilisation de l'apprentissage automatique dans les domaines de la santé, du sport, de l'automobile et de la fabrication.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- Capable
- À propos
- accélérer
- accès
- Compte
- AI
- Tous
- permet
- Amazon
- Laboratoire de solutions Amazon ML
- Amazon Sage Maker
- Amazon SageMakerStudio
- montant
- ainsi que
- appli
- applications
- appliqué
- Appliquer
- une approche
- ardent
- Réservé
- arguments
- L'art
- Automatisation
- Automation
- l'automobile
- AWS
- AWS CloudFormation
- RETOUR
- basé
- devenez
- before
- LES MEILLEURS
- les meilleures pratiques
- jusqu'à XNUMX fois
- Blocs
- Bootstrap
- construire
- Développement
- intégré
- cas
- Change
- Modifications
- vérifier
- Selectionnez
- le cloud
- code
- COHÉRENT
- collaboration
- collection
- combinaison
- Commun
- comparer
- complet
- composants électriques
- Console
- construire
- Contenant
- contient
- des bactéries
- panneau de contrôle
- engendrent
- créée
- crée des
- La création
- création
- Clients
- données
- Réglage par défaut
- définir
- Selon
- déployer
- déployé
- déployer
- déploiement
- déploiements
- Conception
- détail
- détails
- Développement
- numérique
- Art numérique
- handicapé
- domaine
- down
- chacun
- même
- efforts
- rencontre
- ingénieur
- ENGINEERING
- Les ingénieurs
- Entreprise
- Environment
- erreur
- Ether (ETH)
- exemple
- exemples
- échoue
- Fonctionnalité
- compagnon
- Déposez votre dernière attestation
- Fichiers
- Prénom
- suivre
- Abonnement
- Framework
- Test d'anglais
- de
- d’étiquettes électroniques entièrement
- fonctions
- plus
- porte
- génération
- obtenez
- GitHub
- aller
- guide
- Guides
- ayant
- la médecine
- aider
- Comment
- How To
- Cependant
- HTML
- HTTPS
- humain
- IAC
- IAM
- Active
- image
- Mettre en oeuvre
- amélioré
- in
- d'information
- Infrastructure
- installer
- instance
- des services
- Interfaces
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- Java
- JavaScript
- chemin
- json
- laboratoire
- langue
- conduisant
- apprentissage
- en tirant parti
- Listé
- charge
- Style
- click
- machine learning
- Entrée
- Fabrication
- manager
- fabrication
- veux dire
- Métadonnées
- minutes
- Mission
- ML
- MLOps
- modèle
- numériques jumeaux (digital twin models)
- modifié
- PLUS
- Bougez
- plusieurs
- indigène
- Navigation
- nécessaire
- Besoin
- Nouveauté
- Les nouvelles technologies
- Offres Speciales
- ONE
- open source
- Logiciels open source
- organisation
- Autre
- pain
- panneau
- paramètres
- partie
- En passant
- chemin
- effectuer
- effectuer
- autorisations
- Place
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Post
- pratiques
- Préparer
- conditions préalables
- principe
- Privé
- processus
- Vidéo
- Profil
- Profils
- Programmation
- projets
- fournit
- Python
- gamme
- réduit
- région
- pertinent
- dépôt
- représentation
- conditions
- Exigences
- ressource
- Ressources
- Résultats
- réutilisable
- Rôle
- Rouleaux
- racine
- Courir
- sagemaker
- évolutive
- Sciences
- scientifiques
- portée
- Section
- sécurité
- AUTO
- sert
- set
- mise
- Paramétres
- devrait
- Spectacles
- Logiciels
- développement de logiciels
- Software Engineer
- génie logiciel
- Solutions
- quelques
- Sports
- empiler
- Combos
- j'ai commencé
- Statut
- Étapes
- rationalisé
- studio
- Avec succès
- tel
- Support
- Surface
- combustion propre
- Système
- Prenez
- prend
- tâches
- équipe
- Les technologies
- modèle
- terminal
- tests
- La
- leur
- Avec
- fiable
- à
- Train
- débutante
- typiquement
- sous-jacent
- a actualisé
- Actualités
- utilisé
- Utilisateur
- utilisateurs
- Salle de conférence virtuelle
- attendez
- Basé sur le Web
- tout en
- sera
- dans les
- sans
- Activités:
- code écrit
- Votre
- zéphyrnet