Amazon Sage Maker i clienti possono visualizzare e gestire i propri limiti di quota tramite Quote di servizio. Inoltre, possono visualizzare le metriche di utilizzo quasi in tempo reale e creare Amazon Cloud Watch metrica per visualizzare ed eseguire query a livello di codice sulle quote di SageMaker.
SageMaker ti aiuta a creare, addestrare e distribuire facilmente modelli di machine learning (ML). Per saperne di più, fare riferimento a Iniziare con Amazon SageMaker. Service Quotas semplifica la gestione dei limiti consentendoti di visualizzare e gestire le tue quote per SageMaker da una posizione centrale.
Con Service Quotas, puoi visualizzare il numero massimo di risorse, operazioni o elementi nel tuo account AWS o nella regione AWS. È inoltre possibile utilizzare le quote di servizio per richiedere un aumento delle quote regolabili.
Con il crescente utilizzo delle pratiche MLOps, e quindi la domanda di risorse designate per la sperimentazione e il riaddestramento del modello ML, più clienti devono eseguire più istanze, spesso dello stesso tipo di istanza contemporaneamente.
Molti team di data science lavorano spesso in parallelo, utilizzando contemporaneamente diverse istanze per l'elaborazione, l'addestramento e l'ottimizzazione. In precedenza, gli utenti a volte raggiungevano un limite di account regolabile per un particolare tipo di istanza e dovevano richiedere manualmente un aumento del limite ad AWS.
Per richiedere aumenti di quota manualmente dal Interfaccia utente delle quote di servizio, puoi scegliere la quota dall'elenco e scegliere Richiesta aumento quota. Per ulteriori informazioni, fare riferimento a Richiesta di un aumento della quota.
In questo post, mostriamo come utilizzare le nuove funzionalità per richiedere automaticamente aumenti del limite quando viene raggiunto un livello elevato di istanze.
Panoramica della soluzione
Il diagramma seguente illustra l'architettura della soluzione.
Questa architettura include il seguente flusso di lavoro:
- Un parametro CloudWatch monitora l'utilizzo della risorsa. Un allarme CloudWatch si attiva quando l'utilizzo delle risorse supera una determinata soglia preconfigurata.
- Viene inviato un messaggio a Servizio di notifica semplice Amazon (SNS Amazon).
- Il messaggio viene ricevuto da un AWS Lambda funzione.
- La funzione Lambda richiede l'aumento della quota.
Oltre a richiedere un aumento della quota per l'account specifico, la funzione Lambda può anche aggiungere l'aumento della quota al modello di organizzazione (fino a 10 quote). In questo modo, per impostazione predefinita, qualsiasi nuovo account creato in una determinata organizzazione AWS riceve le richieste di quote aumentate.
Prerequisiti
Completa i seguenti passaggi prerequisiti:
- Crea un file Account AWS e creare un Gestione dell'identità e dell'accesso di AWS (IAM) utente. Per le istruzioni, fare riferimento a Proteggi il tuo account AWS.
- installare il CLI di AWS SAM.
Distribuisci utilizzando AWS Serverless Application Model
Per distribuire l'applicazione utilizzando il Repository GitHub, eseguire il seguente comando nel terminale:
Dopo che la soluzione è stata distribuita, dovresti avere un nuovo allarme sulla console CloudWatch. Questo allarme monitora l'utilizzo delle istanze notebook SageMaker per l'istanza ml.t3.medium.
Se l'utilizzo delle risorse supera il 50%, scatta l'allarme e la funzione Lambda richiede un aumento.
Se l'account che possiedi fa parte di un'organizzazione AWS e disponi di modello di richiesta quota abilitato, dovresti vedere anche quegli aumenti sul modello, se il modello ha slot disponibili. In questo modo, anche i nuovi account di quell'organizzazione hanno gli aumenti configurati al momento della creazione.
Distribuisci utilizzando la console CloudWatch
Per distribuire l'applicazione utilizzando la console CloudWatch, completa i seguenti passaggi:
- Nella console CloudWatch, scegli Tutti gli allarmi nel pannello di navigazione.
- Scegli Crea allarme.
- Scegli Seleziona metrica.
- Scegli Impiego.
- Seleziona la metrica che desideri monitorare.
- Selezionare la condizione in cui si desidera attivare l'allarme.
Per ulteriori configurazioni possibili durante la configurazione dell'allarme, vedere Crea un allarme CloudWatch basato su una soglia statica.
- Configura l'argomento SNS per ricevere la notifica dell'allarme.
Puoi anche utilizzare Amazon SNS per attivare una funzione Lambda quando viene attivato l'allarme. Vedere Utilizzo di AWS Lambda con Amazon SNS per maggiori informazioni.
- Nel Nome dell'allarme, inserisci un nome.
- Scegli Avanti.
- Scegli Crea allarme.
ripulire
Per ripulire le risorse create come parte di questo post, assicurati di eliminare tutti gli stack creati. Per fare ciò, esegui il seguente comando:
Conclusione
In questo post, abbiamo mostrato come utilizzare la nuova integrazione di SageMaker con Service Quotas per automatizzare le richieste di aumento delle quote per le risorse SageMaker. In questo modo, i team di data science possono lavorare efficacemente in parallelo e ridurre i problemi legati all'indisponibilità delle istanze.
Puoi saperne di più sulle quote di Amazon SageMaker accedendo al file documentazione. Puoi anche saperne di più sulle quote di servizio qui.
Circa gli autori
Bruno Klein è un Machine Learning Engineer nel team AWS ProServe. Gli piace particolarmente creare automazioni e migliorare il ciclo di vita dei modelli in produzione. Nel tempo libero ama trascorrere il tempo all'aria aperta e fare escursioni.
Para Mehra è Senior Product Manager presso AWS. Si concentra sull'aiutare a costruire la formazione e l'elaborazione di Amazon SageMaker. Nel suo tempo libero, Paras ama passare il tempo con la sua famiglia e andare in bicicletta nella Bay Area. Lo trovi su LinkedIn.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :È
- $ SU
- 10
- 100
- 7
- 8
- a
- Chi siamo
- accesso
- Accedendo
- Il mio account
- conti
- azioni
- aggiunta
- regolabile
- allarme
- Tutti
- Consentire
- Amazon
- Amazon Sage Maker
- ed
- Applicazioni
- architettura
- RISERVATA
- in giro
- AS
- At
- automatizzare
- automaticamente
- disponibile
- AWS
- AWS Lambda
- basato
- Baia
- BE
- MIGLIORE
- best practice
- Al di là di
- costruire
- by
- Materiale
- CD
- centrale
- certo
- Scegli
- completamento di una
- condizione
- configurazioni
- consolle
- creare
- creato
- Creazione
- creazione
- Clienti
- dati
- scienza dei dati
- Predefinito
- Richiesta
- schierare
- schierato
- designato
- in maniera efficace
- abilitato
- ingegnere
- entrare
- Etere (ETH)
- famiglia
- Caratteristiche
- Trovare
- concentrato
- i seguenti
- Nel
- Gratis
- da
- function
- Idiota
- dato
- va
- Avere
- aiutare
- aiuta
- Alta
- escursionismo
- Come
- HTML
- http
- HTTPS
- IAM
- Identità
- miglioramento
- in
- inclusi
- Aumento
- è aumentato
- Aumenta
- crescente
- informazioni
- esempio
- istruzioni
- integrazione
- sicurezza
- elementi
- jpg
- IMPARARE
- apprendimento
- Livello
- ciclo di vita
- piace
- LIMITE
- limiti
- Lista
- località
- macchina
- machine learning
- make
- gestire
- gestione
- direttore
- manualmente
- massimo
- medie
- messaggio
- metrico
- Metrica
- ML
- MLOp
- modello
- modelli
- Monitorare
- monitor
- Scopri di più
- multiplo
- Nome
- Navigazione
- Vicino
- Bisogno
- New
- Nuove funzionalità
- GENERAZIONE
- taccuino
- notifica
- numero
- of
- on
- organizzazione
- all'aperto
- vetro
- Parallel
- parte
- particolare
- particolarmente
- Platone
- Platone Data Intelligence
- PlatoneDati
- possibile
- Post
- pratiche
- in precedenza
- lavorazione
- Prodotto
- product manager
- Produzione
- raggiungere
- a raggiunto
- raggiunge
- tempo reale
- ricevuto
- ridurre
- regione
- relazionato
- richiesta
- richieste
- risorsa
- Risorse
- riqualificazione
- strada
- Correre
- sagemaker
- Sam
- stesso
- Scienze
- anziano
- serverless
- servizio
- alcuni
- dovrebbero
- mostrare attraverso le sue creazioni
- Un'espansione
- slot
- soluzione
- alcuni
- specifico
- spendere
- Spendere
- Stacks
- iniziato
- Passi
- team
- le squadre
- modello
- terminal
- che
- I
- loro
- perciò
- soglia
- Attraverso
- tempo
- a
- argomento
- Treni
- Training
- innescare
- innescato
- vero
- per
- Impiego
- uso
- Utente
- utenti
- Visualizza
- Modo..
- con
- Lavora
- flusso di lavoro
- sarebbe
- Trasferimento da aeroporto a Sharm
- zefiro