Amazon SageMaker Studio este un mediu de dezvoltare complet integrat (IDE) pentru învățarea automată (ML) bazat parțial pe JupyterLab 3. Studio oferă o interfață bazată pe web pentru a efectua în mod interactiv sarcinile de dezvoltare ML necesare pentru a pregăti date și pentru a construi, antrena și implementa modele ML. În Studio, puteți încărca date, ajusta modele ML, treceți între pași pentru a ajusta experimentele, compara rezultatele și implementa modele ML pentru inferență.
Kit AWS Cloud Development (AWS CDK) este un cadru de dezvoltare software open-source de creat Formarea AWS Cloud stive prin automat Șablon CloudFormation generaţie. O stivă este o colecție de resurse AWS, care pot fi actualizate, mutate sau șterse în mod programatic. AWS CDK construcții sunt elementele de bază ale aplicațiilor AWS CDK, reprezentând planul pentru definirea arhitecturilor cloud.
Configurarea Studio cu AWS CDK a devenit un proces simplificat. AWS CDK vă permite să utilizați construcții native pentru a defini și a implementa Studio folosind infrastructura ca cod (IaC), inclusiv Gestionarea identității și accesului AWS permisiunile (AWS IAM) și configurațiile dorite ale resurselor cloud, toate într-un singur loc. Această abordare de dezvoltare poate fi utilizată în combinație cu alte bune practici comune de inginerie software, cum ar fi implementările automate de cod, teste și Conducte CI/CD. AWS CDK reduce timpul necesar pentru realizarea sarcinilor tipice de implementare a infrastructurii, micșorând în același timp suprafața de eroare umană prin automatizare.
Această postare vă ghidează prin pașii pentru a începe configurarea și implementarea Studio pentru a standardiza dezvoltarea modelului ML și colaborarea cu colegi ingineri ML și oameni de știință ML. Toate exemplele din postare sunt scrise în limbajul de programare Python. Cu toate acestea, AWS CDK oferă suport încorporat pentru mai multe alte limbaje de programare cum ar fi JavaScript, Java și C#.
Cerințe preliminare
Pentru a începe, se aplică următoarele cerințe preliminare:
Clonează depozitul GitHub
Mai întâi, hai clona il GitHub depozit.
Când depozitul este extras cu succes, puteți inspecta directorul cdk care conține următoarele resurse:
- cdk – Conține principalele resurse CDK
- app.py – Unde este definită stiva AWS CDK
- cdk.json – Conține metadate și steaguri de caracteristici
Scripturi AWS CDK
Cele două fișiere principale pe care vrem să le analizăm în cdk
subdirectorul sunt sagemaker_studio_construct.py
și sagemaker_studio_stack.py
. Să ne uităm la fiecare fișier mai detaliat.
Fișier de construcție Studio
Construcția Studio este definită în sagemaker_studio_construct.py
fișier.
Construcția Studio include cloud privat virtual (VPC), utilizatorii listați, regiunea AWS și tipul de instanță implicit subiacent ca parametri. Această construcție AWS CDK servește următoarele funcții:
- Creează domeniul Studio (
SageMakerStudioDomain
) - Setează rolul IAM
sagemaker_studio_execution_role
cuAmazonSageMakerFullAccess
permisiunile necesare pentru a crea resurse. Permisiunile trebuie reduse în continuare pentru a respecta principiul celui mai mic privilegiu pentru o securitate îmbunătățită. - Setează setările aplicației server Jupyter – acceptă
JUPYTER_SERVER_APP_IMAGE_NAME
, definind imaginea containerului jupyter-server-3 care va fi utilizată. - Setează setările aplicației pentru gateway-ul kernelului – acceptă
KERNEL_GATEWAY_APP_IMAGE_NAME
, definind imaginea containerului datascience-2.0 care va fi utilizată. - Creează un profil de utilizator pentru fiecare utilizator listat
Următorul fragment de cod arată resursele relevante AWS CloudFormation ale domeniului Studio definite în AWS CDK:
Următorul fragment de cod arată profilurile de utilizator create din resursele AWS CloudFormation:
Fișier stivă Studio
După ce constructul a fost definit, îl puteți adăuga creând o instanță a clasei și trecând argumentele necesare în interiorul stivei. Stiva creează resursele AWS CloudFormation ca parte a unei implementări coerente. Aceasta înseamnă că, dacă cel puțin o resursă cloud nu reușește să fie creată, stiva CloudFormation derulează înapoi orice modificări efectuate. Următorul fragment de cod al construcției Studio instanțiază în interiorul stivei Studio:
Implementați stiva AWS CDK
Pentru a implementa stiva dumneavoastră AWS CDK, executați următoarele comenzi din directorul rădăcină al proiectului în fereastra terminalului:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Examinați resursele pe care AWS CDK le creează în contul dvs. AWS și selectați da când vi se solicită să implementați stiva. Așteptați ca implementarea stivei să se termine. Acest lucru durează de obicei mai puțin de 5 minute; cu toate acestea, adăugarea mai multor resurse va prelungi timpul de implementare. De asemenea, puteți verifica starea implementării pe Consola AWS CloudFormation.
Când stiva a fost implementată cu succes, verificați informațiile sale accesând Panoul de control Studio. Ar trebui să vedeți profilul de utilizator SageMaker Studio pe care l-ați creat.
Dacă redistribuiți stiva, aceasta va verifica dacă există modificări, efectuând doar actualizările necesare resurselor cloud. De exemplu, aceasta poate fi folosită pentru a adăuga utilizatori sau pentru a modifica permisiunile acei utilizatori fără a fi nevoie să recreați toate resursele cloud definite.
A curăța
Pentru a șterge o stivă, parcurgeți următorii pași:
- În consola AWS CloudFormation, alegeți Stive în panoul de navigare.
- Deschideți stiva pe care doriți să o ștergeți.
- În panoul de detalii ale stivei, alegeți Șterge.
- Alege Șterge stiva când vi se solicită.
AWS CloudFormation va șterge resursele create atunci când stiva a fost implementată. Acest lucru poate dura ceva timp, în funcție de cantitatea de resurse create.
Dacă întâmpinați probleme la acești pași de curățare, poate fi necesar ștergeți manual domeniul Studio mai întâi înainte de a repeta pașii din această secțiune.
Concluzie
În această postare, am arătat cum să utilizați resursele IaC native din cloud AWS pentru a crea un șablon ușor reutilizabil pentru implementările Studio. SageMaker Studio este un IDE complet integrat, bazat pe web, care oferă o interfață vizuală pentru sarcinile de dezvoltare ML bazate pe JupyterLab3. Cu stivele AWS CDK, am putut defini construcții pentru construirea componentelor cloud care pot fi ușor modificate, editate sau șterse prin modificarea stivei CloudFormation de bază.
Pentru mai multe informații despre Amazon Studio, consultați Amazon SageMaker Studio.
Despre Autori
Cory Hairston este inginer software la Amazon ML Solutions Lab. El este entuziasmat să învețe noi tehnologii și să folosească aceste informații pentru a construi soluții software reutilizabile. Este un pasionat de power-lifter și își petrece timpul liber făcând artă digitală.
Marcelo Aberle este inginer ML în organizația AWS AI. El conduce eforturile MLOps la Amazon ML Solutions Lab, ajutând clienții să proiecteze și să implementeze sisteme ML scalabile. Misiunea lui este de a ghida clienții în călătoria lor ML pentru întreprinderi și de a-și accelera calea ML către producție.
Yash Shah este manager de știință în Laboratorul Amazon ML Solutions. El și echipa sa de oameni de știință aplicați și ingineri de învățare automată lucrează la o serie de cazuri de utilizare a învățării automate din domeniul sănătății, sport, auto și producție.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- Capabil
- Despre Noi
- accelera
- acces
- Cont
- AI
- TOATE
- permite
- Amazon
- Laboratorul Amazon ML Solutions
- Amazon SageMaker
- Amazon SageMaker Studio
- sumă
- și
- aplicaţia
- aplicatii
- aplicat
- Aplică
- abordare
- înflăcărat
- ZONĂ
- argumente
- Artă
- Automata
- Automatizare
- auto
- AWS
- Formarea AWS Cloud
- înapoi
- bazat
- deveni
- înainte
- CEL MAI BUN
- Cele mai bune practici
- între
- Blocuri
- Bootstrap
- construi
- Clădire
- construit-in
- cazuri
- Schimbare
- Modificări
- verifica
- Alege
- Cloud
- cod
- COERENT
- colaborare
- colectare
- combinaţie
- Comun
- comparaţie
- Completă
- componente
- Consoleze
- construi
- Recipient
- conține
- Control
- panoul de control
- crea
- a creat
- creează
- Crearea
- creaţie
- clienţii care
- de date
- Mod implicit
- definire
- În funcție
- implementa
- dislocate
- Implementarea
- desfășurarea
- implementări
- Amenajări
- detaliu
- detalii
- Dezvoltare
- digital
- Artă digitală
- invalid
- domeniu
- jos
- fiecare
- cu ușurință
- Eforturile
- întâlni
- inginer
- Inginerie
- inginerii
- Afacere
- Mediu inconjurator
- eroare
- Eter (ETH)
- exemplu
- exemple
- eșuează
- Caracteristică
- membru
- Fișier
- Fişiere
- First
- urma
- următor
- Cadru
- Gratuit
- din
- complet
- funcții
- mai mult
- poartă
- generaţie
- obține
- GitHub
- merge
- ghida
- Ghiduri
- având în
- de asistență medicală
- ajutor
- Cum
- Cum Pentru a
- Totuși
- HTML
- HTTPS
- uman
- IAC
- IAM
- Identitate
- imagine
- punerea în aplicare a
- îmbunătățit
- in
- informații
- Infrastructură
- instala
- instanță
- integrate
- interfaţă
- probleme de
- IT
- Java
- JavaScript
- călătorie
- JSON
- de laborator
- limbă
- conducere
- învăţare
- efectului de pârghie
- listat
- încărca
- Uite
- maşină
- masina de învățare
- Principal
- Efectuarea
- manager
- de fabricaţie
- mijloace
- Metadata
- minute
- Misiune
- ML
- MLOps
- model
- Modele
- modificată
- mai mult
- muta
- multiplu
- nativ
- Navigare
- necesar
- Nevoie
- Nou
- Noi tehnologii
- promoții
- ONE
- open-source
- Software open-source
- organizație
- Altele
- pâine
- panou
- parametrii
- parte
- Care trece
- cale
- efectua
- efectuarea
- permisiuni
- Loc
- Plato
- Informații despre date Platon
- PlatoData
- Post
- practicile
- Pregăti
- premise
- principiu
- privat
- proces
- producere
- Profil
- Profiluri
- Programare
- Proiecte
- furnizează
- Piton
- gamă
- reduce
- regiune
- depozit
- reprezentând
- necesar
- Cerinţe
- resursă
- Resurse
- REZULTATE
- reutilizabile
- Rol
- rulouri
- rădăcină
- Alerga
- sagemaker
- scalabil
- Ştiinţă
- oamenii de stiinta
- domeniu
- Secțiune
- securitate
- SELF
- servește
- set
- instalare
- setări
- să
- Emisiuni
- Software
- de dezvoltare de software
- Inginer Software
- Inginerie software
- soluţii
- unele
- Sportul
- stivui
- Stive
- început
- Stare
- paşi
- raționalizate
- studio
- Reușit
- astfel de
- a sustine
- Suprafață
- sistem
- sisteme
- Lua
- ia
- sarcini
- echipă
- Tehnologii
- șablon
- Terminal
- teste
- lor
- Prin
- timp
- la
- Tren
- tipic
- tipic
- care stau la baza
- actualizat
- actualizări
- utilizare
- Utilizator
- utilizatorii
- Virtual
- aștepta
- bazat pe web
- în timp ce
- voi
- în
- fără
- Apartamente
- scris
- Ta
- zephyrnet