Amazon Sage Maker klienci mogą przeglądać swoje limity kwot i zarządzać nimi Limity usług. Ponadto mogą wyświetlać i tworzyć wskaźniki wykorzystania w czasie zbliżonym do rzeczywistego Amazon Cloud Watch metryka przeglądać i programowo sprawdzać limity SageMaker.
SageMaker pomaga z łatwością budować, trenować i wdrażać modele uczenia maszynowego (ML). Aby dowiedzieć się więcej, patrz Pierwsze kroki z Amazon SageMaker. Service Quotas upraszcza zarządzanie limitami, umożliwiając przeglądanie i zarządzanie limitami dla SageMaker z centralnej lokalizacji.
Przydziały usług umożliwiają wyświetlanie maksymalnej liczby zasobów, działań lub elementów na koncie AWS lub w regionie AWS. Możesz także użyć limitów usług, aby poprosić o zwiększenie limitów regulowanych.
Wraz z rosnącym wykorzystaniem praktyk MLOps, a co za tym idzie zapotrzebowaniem na zasoby przeznaczone do eksperymentowania i ponownego szkolenia modeli ML, coraz więcej klientów musi uruchamiać wiele instancji, często tego samego typu w tym samym czasie.
Wiele zespołów zajmujących się analizą danych często pracuje równolegle, używając kilku wystąpień do jednoczesnego przetwarzania, szkolenia i dostrajania. Wcześniej użytkownicy czasami osiągali regulowany limit konta dla określonego typu instancji i musieli ręcznie zażądać zwiększenia limitu od AWS.
Aby zażądać zwiększenia przydziału ręcznie z Interfejs limitów usług, możesz wybrać przydział z listy i wybrać Poproś o zwiększenie limitu. Aby uzyskać więcej informacji, zobacz Prośba o zwiększenie limitu.
W tym poście pokazujemy, jak możesz wykorzystać nowe funkcje do automatycznego żądania zwiększenia limitu po osiągnięciu wysokiego poziomu instancji.
Omówienie rozwiązania
Poniższy schemat ilustruje architekturę rozwiązania.
Ta architektura obejmuje następujący przepływ pracy:
- Metryka CloudWatch monitoruje użycie zasobu. Alarm CloudWatch uruchamia się, gdy wykorzystanie zasobów przekroczy określony wstępnie skonfigurowany próg.
- Wiadomość jest wysyłana do Usługa prostego powiadomienia Amazon (Amazonskie SNS).
- Wiadomość jest odbierana przez an AWS Lambda funkcja.
- Funkcja Lambda żąda zwiększenia przydziału.
Oprócz żądania zwiększenia kwoty dla konkretnego konta, funkcja Lambda może również dodać zwiększenie kwoty do szablon organizacji (do 10 kwot). W ten sposób każde nowe konto utworzone w ramach danej organizacji AWS ma domyślnie zwiększone żądania kwot.
Wymagania wstępne
Wykonaj następujące wymagane kroki:
- Skonfiguruj Konto AWS i utwórz plik AWS Zarządzanie tożsamością i dostępem (IAM) użytkownik. Aby uzyskać instrukcje, patrz Zabezpiecz swoje konto AWS.
- Instalacja CLI AWS SAM.
Wdróż przy użyciu AWS Serverless Application Model
Aby wdrożyć aplikację przy użyciu GitHub repo, uruchom następujące polecenie w terminalu:
Po wdrożeniu rozwiązania powinieneś mieć nowy alarm na konsoli CloudWatch. Ten alarm monitoruje użycie instancji notatnika SageMaker dla instancji ml.t3.medium.
Jeśli zużycie zasobów przekroczy 50%, włączy się alarm, a funkcja Lambda zażąda zwiększenia.
Jeśli konto, które posiadasz, jest częścią organizacji AWS i posiadasz szablon wniosku o przydział włączone, powinieneś również zobaczyć te wzrosty na szablonie, jeśli szablon ma wolne gniazda. W ten sposób nowe konta z tej organizacji również mają skonfigurowane wzrosty podczas tworzenia.
Wdróż przy użyciu konsoli CloudWatch
Aby wdrożyć aplikację za pomocą konsoli CloudWatch, wykonaj następujące kroki:
- W konsoli CloudWatch wybierz Wszystkie alarmy w okienku nawigacji.
- Dodaj Utwórz alarm.
- Dodaj Wybierz dane.
- Dodaj Stosowanie.
- Wybierz metrykę, którą chcesz monitorować.
- Wybierz warunek, kiedy alarm ma zostać uruchomiony.
Aby uzyskać więcej możliwych konfiguracji podczas konfigurowania alarmu, patrz Utwórz alarm CloudWatch na podstawie statycznego progu.
- Skonfiguruj temat SNS, aby otrzymywać powiadomienia o alarmie.
Możesz także użyć Amazon SNS, aby uruchomić funkcję Lambda po wyzwoleniu alarmu. Widzieć Używanie AWS Lambda z Amazon SNS po więcej informacji.
- W razie zamówieenia projektu Nazwa alarmu, Wpisz imię.
- Dodaj Następna.
- Dodaj Utwórz alarm.
Sprzątać
Aby wyczyścić zasoby utworzone w ramach tego wpisu, usuń wszystkie utworzone stosy. Aby to zrobić, uruchom następujące polecenie:
Wnioski
W tym poście pokazaliśmy, jak możesz wykorzystać nową integrację z SageMaker z Service Quotas, aby zautomatyzować żądania zwiększenia limitów dla zasobów SageMaker. W ten sposób zespoły data science mogą skutecznie pracować równolegle i redukować problemy związane z niedostępnością instancji.
Możesz dowiedzieć się więcej o limitach Amazon SageMaker, uzyskując dostęp do dokumentacja. Możesz także dowiedzieć się więcej o limitach usług tutaj.
O autorach
Brunona Kleina jest inżynierem uczenia maszynowego w zespole AWS ProServe. Szczególnie lubi tworzyć automatyzacje i poprawiać cykl życia modeli w produkcji. W wolnym czasie lubi spędzać czas na świeżym powietrzu i wędrować.
Paras Mehra jest Senior Product Managerem w AWS. Skupia się na pomocy w budowaniu szkolenia i przetwarzania Amazon SageMaker. W wolnym czasie Paras lubi spędzać czas z rodziną i jeździć na rowerze szosowym po Bay Area. Możesz go znaleźć na LinkedIn.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :Jest
- $W GÓRĘ
- 10
- 100
- 7
- 8
- a
- O nas
- dostęp
- Dostęp
- Konto
- Konta
- działania
- dodatek
- nastawny
- alarm
- Wszystkie kategorie
- Pozwalać
- Amazonka
- Amazon Sage Maker
- i
- Zastosowanie
- architektura
- POWIERZCHNIA
- na około
- AS
- At
- zautomatyzować
- automatycznie
- dostępny
- AWS
- AWS Lambda
- na podstawie
- Zatoka
- BE
- BEST
- Najlepsze praktyki
- Poza
- budować
- by
- CAN
- CD
- centralny
- pewien
- Dodaj
- kompletny
- warunek
- konfiguracje
- Konsola
- Stwórz
- stworzony
- Tworzenie
- tworzenie
- Klientów
- dane
- nauka danych
- Domyślnie
- Kreowanie
- rozwijać
- wdrażane
- wyznaczony
- faktycznie
- włączony
- inżynier
- Wchodzę
- Eter (ETH)
- członków Twojej rodziny
- Korzyści
- Znajdź
- koncentruje
- następujący
- W razie zamówieenia projektu
- Darmowy
- od
- funkcjonować
- git
- dany
- Goes
- Have
- pomoc
- pomaga
- Wysoki
- turystyka
- W jaki sposób
- HTML
- http
- HTTPS
- IAM
- tożsamość
- poprawy
- in
- obejmuje
- Zwiększać
- wzrosła
- Zwiększenia
- wzrastający
- Informacja
- przykład
- instrukcje
- integracja
- problemy
- szt
- jpg
- UCZYĆ SIĘ
- nauka
- poziom
- wifecycwe
- lubić
- LIMIT
- Limity
- Lista
- lokalizacja
- maszyna
- uczenie maszynowe
- robić
- zarządzanie
- i konserwacjami
- kierownik
- ręcznie
- maksymalny
- średni
- wiadomość
- metryczny
- Metryka
- ML
- MLOps
- model
- modele
- monitor
- monitory
- jeszcze
- wielokrotność
- Nazwa
- Nawigacja
- Blisko
- Potrzebować
- Nowości
- Nowe funkcje
- Następny
- notatnik
- powiadomienie
- numer
- of
- on
- organizacja
- na zewnątrz
- chleb
- Parallel
- część
- szczególny
- szczególnie
- plato
- Analiza danych Platona
- PlatoDane
- możliwy
- Post
- praktyki
- poprzednio
- przetwarzanie
- Produkt
- product manager
- Produkcja
- dosięgnąć
- osiągnięty
- Osiąga
- w czasie rzeczywistym
- Odebrane
- zmniejszyć
- region
- związane z
- zażądać
- wywołań
- Zasób
- Zasoby
- przekwalifikowanie
- droga
- run
- sagemaker
- Sam
- taki sam
- nauka
- senior
- Bezserwerowe
- usługa
- kilka
- powinien
- pokazać
- Prosty
- automatach
- rozwiązanie
- kilka
- specyficzny
- wydać
- Spędzanie
- Półki na książki
- rozpoczęty
- Cel
- zespół
- Zespoły
- szablon
- terminal
- że
- Połączenia
- ich
- w związku z tym
- próg
- Przez
- czas
- do
- aktualny
- Pociąg
- Trening
- wyzwalać
- rozsierdzony
- prawdziwy
- dla
- Stosowanie
- posługiwać się
- Użytkownik
- Użytkownicy
- Zobacz i wysłuchaj
- Droga..
- w
- Praca
- workflow
- by
- Twój
- zefirnet