Amazon SageMaker Studio is een volledig geïntegreerde ontwikkelomgeving (IDE) voor machine learning (ML) mede gebaseerd op JupyterLab 3. Studio biedt een webgebaseerde interface om interactief ML-ontwikkelingstaken uit te voeren die nodig zijn om gegevens voor te bereiden en ML-modellen te bouwen, trainen en implementeren. In Studio kunt u gegevens laden, ML-modellen aanpassen, tussen stappen schakelen om experimenten aan te passen, resultaten vergelijken en ML-modellen inzetten voor gevolgtrekkingen.
De AWS Cloud-ontwikkelingskit (AWS CDK) is een open-source raamwerk voor softwareontwikkeling om te creëren AWS CloudFormatie stacks via automaat CloudFormation-sjabloon generatie. Een stapel is een verzameling AWS-bronnen die programmatisch kunnen worden bijgewerkt, verplaatst of verwijderd. AWS CDK constructies zijn de bouwstenen van AWS CDK-applicaties, die de blauwdruk vertegenwoordigen om cloud-architecturen te definiëren.
Het opzetten van Studio met AWS CDK is een gestroomlijnd proces geworden. Met de AWS CDK kunt u native constructies gebruiken om Studio te definiëren en te implementeren met behulp van infrastructuur als code (IaC), inclusief AWS Identiteits- en toegangsbeheer (AWS IAM) machtigingen en gewenste cloudresourceconfiguraties, allemaal op één plek. Deze ontwikkelingsbenadering kan worden gebruikt in combinatie met andere gebruikelijke best practices voor software-engineering, zoals geautomatiseerde code-implementaties, tests en CI / CD-pijpleidingen. De AWS CDK verkort de tijd die nodig is om typische infrastructuurimplementatietaken uit te voeren, terwijl het oppervlak voor menselijke fouten door automatisering wordt verkleind.
Dit bericht begeleidt u door de stappen om aan de slag te gaan met het opzetten en implementeren van Studio om de ontwikkeling van ML-modellen en de samenwerking met collega-ML-engineers en ML-wetenschappers te standaardiseren. Alle voorbeelden in de post zijn geschreven in de programmeertaal Python. De AWS CDK biedt echter ingebouwde ondersteuning voor meerdere andere programmeertalen zoals JavaScript, Java en C#.
Voorwaarden
Om aan de slag te gaan, zijn de volgende vereisten van toepassing:
Kloon de GitHub-repository
Eerst, laten we klonen de GitHub-repository.
Wanneer de repository met succes is opgehaald, kunt u de cdk-directory inspecteren die de volgende bronnen bevat:
- cdk - Bevat de belangrijkste cdk-bronnen
- app.py – Waar de AWS CDK-stack is gedefinieerd
- cdk.json – Bevat metadata en functievlaggen
AWS CDK-scripts
De twee belangrijkste bestanden die we willen bekijken in de cdk
submap zijn sagemaker_studio_construct.py
en sagemaker_studio_stack.py
. Laten we elk bestand in meer detail bekijken.
Studio-constructiebestand
De Studio-constructie is gedefinieerd in de sagemaker_studio_construct.py
bestand.
De Studio-constructie neemt de virtuele privécloud (VPC), vermelde gebruikers, AWS-regio en onderliggend standaardinstantietype als parameters. Deze AWS CDK-constructie heeft de volgende functies:
- Maakt het Studio-domein aan (
SageMakerStudioDomain
) - Stelt de IAM-rol in
sagemaker_studio_execution_role
MetAmazonSageMakerFullAccess
machtigingen die nodig zijn om resources te maken. Machtigingen moeten verder worden beperkt om het principe van de minste bevoegdheden te volgen voor verbeterde beveiliging. - Stelt de instellingen van de Jupyter-serverapp in - neemt in
JUPYTER_SERVER_APP_IMAGE_NAME
, waarmee de te gebruiken jupyter-server-3-containerimage wordt gedefinieerd. - Stelt de instellingen van de kernelgateway-app in - neemt in
KERNEL_GATEWAY_APP_IMAGE_NAME
, waarmee de datascience-2.0-containerafbeelding wordt gedefinieerd die moet worden gebruikt. - Maakt een gebruikersprofiel aan voor elke vermelde gebruiker
Het volgende codefragment toont de relevante Studio-domein AWS CloudFormation-resources die zijn gedefinieerd in AWS CDK:
Het volgende codefragment toont de gebruikersprofielen die zijn gemaakt op basis van AWS CloudFormation-bronnen:
Studio stack-bestand
Nadat de constructie is gedefinieerd, kunt u deze toevoegen door een instantie van de klasse te maken en de vereiste argumenten in de stapel door te geven. De stack creëert de AWS CloudFormation-resources als onderdeel van één samenhangende implementatie. Dit betekent dat als ten minste één cloudresource niet kan worden gemaakt, de CloudFormation-stack alle uitgevoerde wijzigingen terugdraait. Het volgende codefragment van de Studio-constructie wordt geïnstantieerd in de Studio-stack:
Implementeer de AWS CDK-stack
Om uw AWS CDK-stack te implementeren, voert u de volgende opdrachten uit vanuit de hoofdmap van het project in uw terminalvenster:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Bekijk de bronnen die de AWS CDK maakt in uw AWS-account en selecteer ja wanneer u wordt gevraagd om de stapel te implementeren. Wacht tot je stack-implementatie is voltooid. Dit duurt doorgaans minder dan 5 minuten; het toevoegen van meer bronnen verlengt echter de implementatietijd. U kunt ook de implementatiestatus controleren op de AWS CloudFormation-console.
Wanneer de stapel met succes is geïmplementeerd, controleert u de informatie door naar het Studio-configuratiescherm te gaan. U zou het SageMaker Studio-gebruikersprofiel moeten zien dat u hebt gemaakt.
Als u de stack opnieuw implementeert, wordt er gecontroleerd op wijzigingen en worden alleen de benodigde cloudresource-updates uitgevoerd. Dit kan bijvoorbeeld worden gebruikt om gebruikers toe te voegen of machtigingen van te wijzigen die gebruikers zonder alle gedefinieerde cloudresources opnieuw te hoeven maken.
Opruimen
Voer de volgende stappen uit om een stapel te verwijderen:
- Kies op de AWS CloudFormation-console Stacks in het navigatievenster.
- Open de stapel die u wilt verwijderen.
- Kies in het deelvenster met stapeldetails Verwijder.
- Kies Stapel verwijderen als daarom gevraagd wordt.
AWS CloudFormation verwijdert de bronnen die zijn gemaakt toen de stapel werd geïmplementeerd. Dit kan enige tijd duren, afhankelijk van de hoeveelheid aangemaakte resources.
Als u problemen ondervindt bij het doorlopen van deze opschoonstappen, moet u dit mogelijk doen verwijder handmatig het Studio-domein voordat u de stappen in dit gedeelte herhaalt.
Conclusie
In dit bericht hebben we laten zien hoe u AWS cloud-native IaC-resources kunt gebruiken om een eenvoudig herbruikbare sjabloon voor Studio-implementaties te bouwen. SageMaker Studio is een volledig geïntegreerde webgebaseerde IDE die een visuele interface biedt voor ML-ontwikkelingstaken op basis van JupyterLab3. Met AWS CDK-stacks konden we constructies definiëren voor het uitbouwen van cloudcomponenten die eenvoudig kunnen worden gewijzigd, bewerkt of verwijderd door wijzigingen aan te brengen in de onderliggende CloudFormation-stack.
Voor meer informatie over Amazon Studio, zie Amazon SageMaker Studio.
Over de auteurs
Cory Haarston is Software Engineer bij het Amazon ML Solutions Lab. Hij is enthousiast over het leren van nieuwe technologieën en het benutten van die informatie om herbruikbare softwareoplossingen te bouwen. Hij is een fervent powerlifter en besteedt zijn vrije tijd aan het maken van digitale kunst.
Marcelo Aberle is een ML Engineer in de AWS AI-organisatie. Hij leidt MLOps-inspanningen bij het Amazon ML Solutions Lab en helpt klanten bij het ontwerpen en implementeren van schaalbare ML-systemen. Zijn missie is om klanten te begeleiden op hun enterprise ML-reis en hun ML-pad naar productie te versnellen.
Yash Shah is een Science Manager in de Amazon ML Solutions-lab. Hij en zijn team van toegepaste wetenschappers en machine learning-ingenieurs werken aan een reeks gebruiksscenario's voor machine learning uit de gezondheidszorg, sport, auto's en productie.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- in staat
- Over
- versnellen
- toegang
- Account
- AI
- Alles
- toestaat
- Amazone
- Amazon ML Solutions-lab
- Amazon Sage Maker
- Amazon SageMaker Studio
- bedragen
- en
- gebruiken
- toepassingen
- toegepast
- Solliciteer
- nadering
- vurig
- GEBIED
- argumenten
- Kunst
- geautomatiseerde
- Automatisering
- automotive
- AWS
- AWS CloudFormatie
- terug
- gebaseerde
- worden
- vaardigheden
- BEST
- 'best practices'
- tussen
- Blokken
- Bootstrap
- bouw
- Gebouw
- ingebouwd
- gevallen
- verandering
- Wijzigingen
- controle
- Kies
- Cloud
- code
- SAMENHANGEND
- samenwerking
- Collectie
- combinatie van
- Gemeen
- vergelijken
- compleet
- componenten
- troosten
- bouwen
- Containers
- bevat
- onder controle te houden
- bedieningspaneel
- en je merk te creëren
- aangemaakt
- creëert
- Wij creëren
- het aanmaken
- Klanten
- gegevens
- Standaard
- het definiëren van
- Afhankelijk
- implementeren
- ingezet
- het inzetten
- inzet
- implementaties
- Design
- detail
- gegevens
- Ontwikkeling
- digitaal
- digitale kunst
- invalide
- domein
- beneden
- elk
- gemakkelijk
- inspanningen
- ontmoeting
- ingenieur
- Engineering
- Ingenieurs
- Enterprise
- Milieu
- fout
- Ether (ETH)
- voorbeeld
- voorbeelden
- mislukt
- Kenmerk
- kameraad
- Dien in
- Bestanden
- Voornaam*
- volgen
- volgend
- Achtergrond
- Gratis
- oppompen van
- geheel
- functies
- verder
- poort
- generatie
- krijgen
- GitHub
- gaan
- gids
- Guides
- met
- gezondheidszorg
- het helpen van
- Hoe
- How To
- Echter
- HTML
- HTTPS
- menselijk
- IAC
- IAM
- Identiteit
- beeld
- uitvoeren
- verbeterd
- in
- informatie
- Infrastructuur
- installeren
- instantie
- geïntegreerde
- Interface
- problemen
- IT
- Java
- JavaScript
- json
- laboratorium
- taal
- leidend
- leren
- leveraging
- opgesomd
- laden
- Kijk
- machine
- machine learning
- Hoofd
- maken
- manager
- productie
- middel
- Metadata
- minuten
- Missie
- ML
- MLops
- model
- modellen
- gewijzigd
- meer
- beweging
- meervoudig
- inheemse
- Navigatie
- noodzakelijk
- Noodzaak
- New
- Nieuwe technologieën
- Aanbod
- EEN
- open source
- Open source software
- organisatie
- Overige
- brood
- paneel
- parameters
- deel
- Voorbijgaand
- pad
- uitvoeren
- uitvoerend
- permissies
- plaats
- Plato
- Plato gegevensintelligentie
- PlatoData
- Post
- praktijken
- Voorbereiden
- vereisten
- principe
- privaat
- Productie
- Profiel
- Profielen
- Programming
- projecten
- biedt
- Python
- reeks
- vermindert
- regio
- relevante
- bewaarplaats
- vertegenwoordigen
- nodig
- Voorwaarden
- hulpbron
- Resources
- Resultaten
- herbruikbare
- Rol
- rollen
- wortel
- lopen
- sagemaker
- schaalbare
- Wetenschap
- wetenschappers
- omvang
- sectie
- veiligheid
- ZELF
- bedient
- reeks
- het instellen van
- settings
- moet
- Shows
- Software
- software development
- Software Engineer
- software engineering
- Oplossingen
- sommige
- Sport
- stack
- Stacks
- gestart
- Status
- Stappen
- gestroomlijnd
- studio
- Met goed gevolg
- dergelijk
- ondersteuning
- Oppervlak
- system
- Systems
- Nemen
- neemt
- taken
- team
- Technologies
- sjabloon
- terminal
- testen
- De
- hun
- Door
- niet de tijd of
- naar
- Trainen
- typisch
- typisch
- die ten grondslag liggen
- bijgewerkt
- updates
- .
- Gebruiker
- gebruikers
- Virtueel
- wachten
- Web-based
- en
- wil
- binnen
- zonder
- Mijn werk
- geschreven
- Your
- zephyrnet