Amazon Sage Maker Studio è un ambiente di sviluppo completamente integrato (IDE) per l'apprendimento automatico (ML) in parte basato su JupyterLab 3. Studio fornisce un'interfaccia basata sul Web per eseguire in modo interattivo le attività di sviluppo ML necessarie per preparare i dati e creare, addestrare e distribuire modelli ML. In Studio puoi caricare i dati, regolare i modelli ML, spostarti tra i passaggi per regolare gli esperimenti, confrontare i risultati ed eseguire il deployment dei modelli ML per l'inferenza.
I Kit di sviluppo cloud AWS (AWS CDK) è un framework di sviluppo software open source da creare AWS CloudFormazione pile tramite automatico Modello CloudFormation generazione. Uno stack è una raccolta di risorse AWS che possono essere aggiornate, spostate o eliminate in modo programmatico. AWSCDK costrutti sono gli elementi costitutivi delle applicazioni AWS CDK, che rappresentano il progetto per definire le architetture cloud.
La configurazione di Studio con AWS CDK è diventata un processo semplificato. Il CDK AWS consente di utilizzare costrutti nativi per definire e distribuire Studio utilizzando l'infrastruttura come codice (IaC), incluso Gestione dell'identità e dell'accesso di AWS (AWS IAM) e le configurazioni delle risorse cloud desiderate, tutto in un unico posto. Questo approccio di sviluppo può essere utilizzato in combinazione con altre best practice di ingegneria del software comuni come distribuzioni di codice automatizzate, test e Pipeline CI / CD. L'AWS CDK riduce il tempo necessario per eseguire le tipiche attività di distribuzione dell'infrastruttura riducendo al contempo la superficie per l'errore umano attraverso l'automazione.
Questo post ti guida attraverso i passaggi per iniziare a configurare e distribuire Studio per standardizzare lo sviluppo di modelli ML e la collaborazione con altri ingegneri e scienziati ML. Tutti gli esempi nel post sono scritti nel linguaggio di programmazione Python. Tuttavia, AWS CDK offre supporto integrato per più altri linguaggi di programmazione come JavaScript, Java e C#.
Prerequisiti
Per iniziare, si applicano i seguenti prerequisiti:
Clona il repository GitHub
Per prima cosa, facciamolo clonare , il Repository GitHub.
Quando il repository viene estratto correttamente, puoi ispezionare la directory cdk contenente le seguenti risorse:
- CDK – Contiene le principali risorse cdk
- app.py – Dove è definito lo stack AWS CDK
- cdk.json – Contiene metadati e flag di funzionalità
Script AWS CDK
I due file principali che vogliamo esaminare nel formato cdk
sottodirectory sono sagemaker_studio_construct.py
ed sagemaker_studio_stack.py
. Diamo un'occhiata a ciascun file in modo più dettagliato.
File di costruzione di Studio
Il costrutto di Studio è definito nel file sagemaker_studio_construct.py
file.
Il costrutto di Studio comprende il file cloud privato virtuale (VPC), gli utenti elencati, la regione AWS e il tipo di istanza predefinito sottostante come parametri. Questo costrutto AWS CDK serve le seguenti funzioni:
- Crea il dominio di Studio (
SageMakerStudioDomain
) - Imposta il ruolo IAM
sagemaker_studio_execution_role
conAmazonSageMakerFullAccess
autorizzazioni necessarie per creare risorse. Le autorizzazioni devono essere ulteriormente limitate per seguire il principio del privilegio minimo per una maggiore sicurezza. - Imposta le impostazioni dell'app del server Jupyter: accetta
JUPYTER_SERVER_APP_IMAGE_NAME
, definendo l'immagine del contenitore jupyter-server-3 da utilizzare. - Imposta le impostazioni dell'app del gateway del kernel: accetta
KERNEL_GATEWAY_APP_IMAGE_NAME
, definendo l'immagine del contenitore datascience-2.0 da utilizzare. - Crea un profilo utente per ogni utente elencato
Il seguente frammento di codice mostra le risorse AWS CloudFormation del dominio Studio pertinenti definite in AWS CDK:
Il seguente frammento di codice mostra i profili utente creati dalle risorse AWS CloudFormation:
File dello stack di Studio
Dopo che il costrutto è stato definito, è possibile aggiungerlo creando un'istanza della classe e passando gli argomenti richiesti all'interno dello stack. Lo stack crea le risorse AWS CloudFormation come parte di una distribuzione coerente. Ciò significa che se almeno una risorsa cloud non viene creata, lo stack CloudFormation esegue il rollback di tutte le modifiche apportate. Il seguente frammento di codice del costrutto di Studio crea un'istanza all'interno dello stack di Studio:
Distribuisci lo stack AWS CDK
Per distribuire il tuo stack AWS CDK, esegui i seguenti comandi dalla directory principale del progetto all'interno della finestra del terminale:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Esamina le risorse create da AWS CDK nel tuo account AWS e seleziona Sì quando ti viene chiesto di distribuire lo stack. Attendi il completamento della distribuzione dello stack. Questo in genere richiede meno di 5 minuti; tuttavia, l'aggiunta di più risorse prolungherà il tempo di distribuzione. Puoi anche controllare lo stato della distribuzione sul file Console AWS CloudFormation.
Quando lo stack è stato distribuito correttamente, controlla le sue informazioni accedendo al Pannello di controllo di Studio. Dovresti vedere il profilo utente di SageMaker Studio che hai creato.
Se ridistribuisci lo stack, verificherà le modifiche, eseguendo solo gli aggiornamenti delle risorse cloud necessari. Ad esempio, questo può essere utilizzato per aggiungere utenti o modificare le autorizzazioni di quegli utenti senza dover ricreare tutte le risorse cloud definite.
Pulire
Per eliminare uno stack, completare i seguenti passaggi:
- Nella console AWS CloudFormation, scegli Stacks nel pannello di navigazione.
- Apri lo stack che desideri eliminare.
- Nel riquadro dei dettagli dello stack scegliere Elimina.
- Scegli Elimina stack quando richiesto.
AWS CloudFormation eliminerà le risorse create durante la distribuzione dello stack. Questo potrebbe richiedere del tempo a seconda della quantità di risorse create.
Se riscontri problemi durante questi passaggi di pulizia, potrebbe essere necessario eliminare manualmente il dominio di Studio prima di ripetere i passaggi in questa sezione.
Conclusione
In questo post, abbiamo mostrato come utilizzare le risorse IaC native del cloud AWS per creare un modello facilmente riutilizzabile per le distribuzioni di Studio. SageMaker Studio è un IDE basato sul Web completamente integrato che fornisce un'interfaccia visiva per le attività di sviluppo ML basate su JupyterLab3. Con gli stack AWS CDK, siamo stati in grado di definire i costrutti per la creazione di componenti cloud che possono essere facilmente modificati, modificati o eliminati apportando modifiche allo stack CloudFormation sottostante.
Per ulteriori informazioni su Amazon Studio, vedere Amazon Sage Maker Studio.
Informazioni sugli autori
Cory Hairston è un Software Engineer presso l'Amazon ML Solutions Lab. È appassionato di apprendere nuove tecnologie e sfruttare tali informazioni per creare soluzioni software riutilizzabili. È un appassionato powerlifter e trascorre il suo tempo libero facendo arte digitale.
Marcello Aberle è un ingegnere ML nell'organizzazione AWS AI. Sta guidando gli sforzi MLOps presso l'Amazon ML Solutions Lab, aiutando i clienti a progettare e implementare sistemi ML scalabili. La sua missione è guidare i clienti nel loro percorso di ML aziendale e accelerare il loro percorso di ML verso la produzione.
Yash Shah è un Science Manager nel Laboratorio di soluzioni Amazon ML. Lui e il suo team di scienziati applicati e ingegneri di machine learning lavorano su una serie di casi d'uso di machine learning nel settore sanitario, sportivo, automobilistico e manifatturiero.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- capace
- Chi siamo
- accelerare
- accesso
- Il mio account
- AI
- Tutti
- consente
- Amazon
- Laboratorio di soluzioni Amazon ML
- Amazon Sage Maker
- Amazon Sage Maker Studio
- quantità
- ed
- App
- applicazioni
- applicato
- APPLICA
- approccio
- ardente
- RISERVATA
- argomenti
- Arte
- Automatizzata
- Automazione
- settore automobilistico
- AWS
- AWS CloudFormazione
- precedente
- basato
- diventare
- prima
- MIGLIORE
- best practice
- fra
- Blocchi
- bootstrap
- costruire
- Costruzione
- incassato
- casi
- il cambiamento
- Modifiche
- dai un'occhiata
- Scegli
- Cloud
- codice
- COERENTE
- collaborazione
- collezione
- combinazione
- Uncommon
- confrontare
- completamento di una
- componenti
- consolle
- costruire
- Contenitore
- contiene
- di controllo
- Pannello di controllo
- creare
- creato
- crea
- Creazione
- creazione
- Clienti
- dati
- Predefinito
- definizione
- Dipendente
- schierare
- schierato
- distribuzione
- deployment
- implementazioni
- Design
- dettaglio
- dettagli
- Mercato
- digitale
- Arte digitale
- disabile
- dominio
- giù
- ogni
- facilmente
- sforzi
- incontrare
- ingegnere
- Ingegneria
- Ingegneri
- Impresa
- Ambiente
- errore
- Etere (ETH)
- esempio
- Esempi
- fallisce
- caratteristica
- compagno
- Compila il
- File
- Nome
- seguire
- i seguenti
- Contesto
- Gratis
- da
- completamente
- funzioni
- ulteriormente
- porta
- ELETTRICA
- ottenere
- GitHub
- andando
- guida
- Guide
- avendo
- assistenza sanitaria
- aiutare
- Come
- Tutorial
- Tuttavia
- HTML
- HTTPS
- umano
- IAC
- IAM
- Identità
- Immagine
- realizzare
- migliorata
- in
- informazioni
- Infrastruttura
- install
- esempio
- integrato
- Interfaccia
- sicurezza
- IT
- Java
- JavaScript
- viaggio
- json
- laboratorio
- Lingua
- principale
- apprendimento
- leveraging
- elencati
- caricare
- Guarda
- macchina
- machine learning
- Principale
- Fare
- direttore
- consigliato per la
- si intende
- Metadati
- verbale
- Missione
- ML
- MLOp
- modello
- modelli
- modificato
- Scopri di più
- cambiano
- multiplo
- nativo
- Navigazione
- necessaria
- Bisogno
- New
- Nuove tecnologie
- Offerte
- ONE
- open source
- Software open source
- organizzazione
- Altro
- vetro
- pannello di eventi
- parametri
- parte
- Di passaggio
- sentiero
- eseguire
- esecuzione
- permessi
- posto
- Platone
- Platone Data Intelligence
- PlatoneDati
- Post
- pratiche
- Preparare
- prerequisiti
- principio
- un bagno
- processi
- Produzione
- Profilo
- Profili
- Programmazione
- progetti
- fornisce
- Python
- gamma
- riduce
- regione
- pertinente
- deposito
- che rappresenta
- necessario
- Requisiti
- risorsa
- Risorse
- Risultati
- riutilizzabile
- Ruolo
- rotoli
- radice
- Correre
- sagemaker
- scalabile
- Scienze
- scienziati
- portata
- Sezione
- problemi di
- AUTO
- serve
- set
- regolazione
- impostazioni
- dovrebbero
- Spettacoli
- Software
- lo sviluppo del software
- Software Engineer
- Ingegneria del software
- Soluzioni
- alcuni
- Sports
- pila
- Stacks
- iniziato
- Stato dei servizi
- Passi
- aerodinamico
- studio
- Con successo
- tale
- supporto
- superficie
- sistema
- SISTEMI DI TRATTAMENTO
- Fai
- prende
- task
- team
- Tecnologie
- modello
- terminal
- test
- I
- loro
- Attraverso
- tempo
- a
- Treni
- tipico
- tipicamente
- sottostante
- aggiornato
- Aggiornamenti
- uso
- Utente
- utenti
- virtuale
- aspettare
- Web-basata
- while
- volere
- entro
- senza
- Lavora
- scritto
- Trasferimento da aeroporto a Sharm
- zefiro