Amazon SageMaker kunder kan se og administrere deres kvotegrænser igennem Servicekvoter. Derudover kan de se næsten realtids-udnyttelsesmålinger og oprette amazoncloudwatch målinger for at se og programmæssigt forespørge SageMaker-kvoter.
SageMaker hjælper dig med at bygge, træne og implementere maskinlæringsmodeller (ML) med lethed. For at lære mere, se Kom godt i gang med Amazon SageMaker. Servicekvoter forenkler grænsestyring ved at give dig mulighed for at se og administrere dine kvoter for SageMaker fra en central placering.
Med servicekvoter kan du se det maksimale antal ressourcer, handlinger eller elementer på din AWS-konto eller AWS-region. Du kan også bruge Servicekvoter til at anmode om en forhøjelse af justerbare kvoter.
Med den stigende brug af MLOps-praksis og derfor efterspørgslen efter ressourcer, der er beregnet til ML-modeleksperimentering og omskoling, skal flere kunder køre flere instanser, ofte af samme instanstype på samme tid.
Mange datavidenskabsteams arbejder ofte parallelt og bruger flere instanser til behandling, træning og tuning samtidigt. Tidligere nåede brugere nogle gange en justerbar kontogrænse for en bestemt instanstype og skulle manuelt anmode om en grænseforøgelse fra AWS.
For at anmode om kvoteforhøjelser manuelt fra Servicekvoter UI, kan du vælge kvoten fra listen og vælge Anmod om kontingentforhøjelse. For mere information, se Anmodning om kontingentforhøjelse.
I dette indlæg viser vi, hvordan du kan bruge de nye funktioner til automatisk at anmode om grænseforhøjelser, når et højt niveau af tilfælde er nået.
Løsningsoversigt
Følgende diagram illustrerer løsningsarkitekturen.
Denne arkitektur inkluderer følgende arbejdsgang:
- En CloudWatch-metrik overvåger brugen af ressourcen. En CloudWatch-alarm udløses, når ressourceforbruget går ud over en bestemt forudkonfigureret tærskel.
- Der sendes en besked til Amazon Simple Notification Service (Amazon SNS).
- Beskeden modtages af en AWS Lambda funktion.
- Lambdafunktionen anmoder om kvoteforhøjelsen.
Udover at anmode om en kvoteforhøjelse for den specifikke konto, kan Lambda-funktionen også tilføje kvoteforhøjelsen til organisationsskabelon (op til 10 kvoter). På denne måde har enhver ny konto oprettet under en given AWS-organisation de øgede kvoteanmodninger som standard.
Forudsætninger
Udfør følgende forudsætningstrin:
- Opret en AWS-konto og oprette en AWS identitets- og adgangsstyring (IAM) bruger. For instruktioner, se Sikre din AWS-konto.
- Installer AWS SAM CLI.
Implementer ved hjælp af AWS Serverless Application Model
For at implementere applikationen ved hjælp af GitHub repo, kør følgende kommando i terminalen:
Efter løsningen er implementeret, bør du have en ny alarm på CloudWatch-konsollen. Denne alarm overvåger brugen af SageMaker notebook-forekomster for ml.t3.medium-forekomsten.
Hvis dit ressourceforbrug når mere end 50 %, udløses alarmen, og Lambda-funktionen anmoder om en stigning.
Hvis den konto, du har, er en del af en AWS-organisation, og du har kvoteanmodningsskabelon aktiveret, bør du også se disse stigninger på skabelonen, hvis skabelonen har ledige pladser. På denne måde har nye konti fra den pågældende organisation også stigningerne konfigureret ved oprettelsen.
Implementer ved hjælp af CloudWatch-konsollen
For at implementere applikationen ved hjælp af CloudWatch-konsollen skal du udføre følgende trin:
- På CloudWatch-konsollen skal du vælge Alle alarmer i navigationsruden.
- Vælg Opret alarm.
- Vælg Vælg metric.
- Vælg Brug.
- Vælg den metric, du vil overvåge.
- Vælg tilstanden for, hvornår du ønsker, at alarmen skal udløses.
For flere mulige konfigurationer ved konfiguration af alarmen, se Opret en CloudWatch-alarm baseret på en statisk tærskel.
- Konfigurer SNS-emnet til at blive underrettet om alarmen.
Du kan også bruge Amazon SNS til at udløse en Lambda-funktion, når alarmen udløses. Se Brug af AWS Lambda med Amazon SNS for mere information.
- Til Alarm navn, indtast et navn.
- Vælg Næste.
- Vælg Opret alarm.
Ryd op
For at rydde op i de ressourcer, der er oprettet som en del af dette indlæg, skal du sørge for at slette alle de oprettede stakke. For at gøre det skal du køre følgende kommando:
Konklusion
I dette indlæg viste vi, hvordan du kan bruge den nye integration fra SageMaker med Service Quotas til at automatisere anmodningerne om kvoteforhøjelser for SageMaker-ressourcer. På denne måde kan datavidenskabsteams effektivt arbejde parallelt og reducere problemer relateret til utilgængelighed af instanser.
Du kan lære mere om Amazon SageMaker-kvoter ved at få adgang til dokumentation. Du kan også lære mere om servicekvoter link..
Om forfatterne
Bruno Klein er Machine Learning Engineer i AWS ProServe-teamet. Han nyder især at skabe automatiseringer og forbedre livscyklussen for modeller i produktionen. I sin fritid kan han godt lide at bruge tid udendørs og vandreture.
Paras Mehra er Senior Product Manager hos AWS. Han er fokuseret på at hjælpe med at opbygge Amazon SageMaker Training and Processing. I sin fritid nyder Paras at bruge tid med sin familie og cykle rundt i Bay Area. Du kan finde ham på LinkedIn.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :er
- $OP
- 10
- 100
- 7
- 8
- a
- Om
- adgang
- Adgang
- Konto
- Konti
- aktioner
- Desuden
- justerbar
- alarm
- Alle
- tillade
- Amazon
- Amazon SageMaker
- ,
- Anvendelse
- arkitektur
- OMRÅDE
- omkring
- AS
- At
- automatisere
- automatisk
- til rådighed
- AWS
- AWS Lambda
- baseret
- Bugt
- BE
- BEDSTE
- bedste praksis
- Beyond
- bygge
- by
- CAN
- CD
- central
- vis
- Vælg
- fuldføre
- betingelse
- konfigurationer
- Konsol
- skabe
- oprettet
- Oprettelse af
- skabelse
- Kunder
- data
- datalogi
- Standard
- Efterspørgsel
- indsætte
- indsat
- udpeget
- effektivt
- aktiveret
- ingeniør
- Indtast
- Ether (ETH)
- familie
- Funktionalitet
- Finde
- fokuserede
- efter
- Til
- Gratis
- fra
- funktion
- Git
- given
- Goes
- Have
- hjælpe
- hjælper
- Høj
- hiking
- Hvordan
- HTML
- http
- HTTPS
- IAM
- Identity
- forbedring
- in
- omfatter
- Forøg
- øget
- Stigninger
- stigende
- oplysninger
- instans
- anvisninger
- integration
- spørgsmål
- Varer
- jpg
- LÆR
- læring
- Niveau
- livscyklus
- ligesom
- GRÆNSE
- grænser
- Liste
- placering
- maskine
- machine learning
- lave
- administrere
- ledelse
- leder
- manuelt
- maksimal
- medium
- besked
- metrisk
- Metrics
- ML
- MLOps
- model
- modeller
- Overvåg
- skærme
- mere
- flere
- navn
- Navigation
- I nærheden af
- Behov
- Ny
- Nye funktioner
- næste
- notesbog
- underretning
- nummer
- of
- on
- organisation
- udendørs
- brød
- Parallel
- del
- særlig
- især
- plato
- Platon Data Intelligence
- PlatoData
- mulig
- Indlæg
- praksis
- tidligere
- forarbejdning
- Produkt
- produktchef
- produktion
- nå
- nået
- når
- realtid
- modtaget
- reducere
- region
- relaterede
- anmode
- anmodninger
- ressource
- Ressourcer
- omskoling
- vej
- Kør
- sagemaker
- Sam
- samme
- Videnskab
- senior
- Serverless
- tjeneste
- flere
- bør
- Vis
- Simpelt
- spillemaskiner
- løsninger
- nogle
- specifikke
- tilbringe
- udgifterne
- Stakke
- påbegyndt
- Steps
- hold
- hold
- skabelon
- terminal
- at
- deres
- derfor
- tærskel
- Gennem
- tid
- til
- emne
- Tog
- Kurser
- udløse
- udløst
- sand
- under
- Brug
- brug
- Bruger
- brugere
- Specifikation
- Vej..
- med
- Arbejde
- workflow
- ville
- Din
- zephyrnet