Studio Amazon SageMaker jest w pełni zintegrowanym środowiskiem programistycznym (IDE) do uczenia maszynowego (ML) częściowo opartym na JupyterLab 3. Studio zapewnia interfejs internetowy do interaktywnego wykonywania zadań programistycznych ML wymaganych do przygotowania danych oraz budowania, trenowania i wdrażania modeli ML. W Studio możesz ładować dane, dostosowywać modele ML, przechodzić między krokami w celu dostosowania eksperymentów, porównywać wyniki i wdrażać modele ML na potrzeby wnioskowania.
Połączenia Zestaw programistyczny AWS Cloud (AWS CDK) to platforma do tworzenia oprogramowania typu open source Tworzenie chmury AWS stosy poprzez automatyczne Szablon CloudFormation Pokolenie. Stos to zbiór zasobów AWS, które można programowo aktualizować, przenosić lub usuwać. CDK AWS konstrukty to elementy składowe aplikacji AWS CDK, reprezentujące plan definiowania architektur chmurowych.
Konfigurowanie Studio z AWS CDK stało się usprawnionym procesem. AWS CDK umożliwia używanie natywnych konstrukcji do definiowania i wdrażania Studio przy użyciu infrastruktury jako kodu (IaC), w tym AWS Zarządzanie tożsamością i dostępem (AWS IAM) i pożądane konfiguracje zasobów w chmurze, wszystko w jednym miejscu. To podejście programistyczne może być używane w połączeniu z innymi typowymi najlepszymi praktykami inżynierii oprogramowania, takimi jak zautomatyzowane wdrażanie kodu, testy i Potoki CI / CD. AWS CDK skraca czas wymagany do wykonania typowych zadań związanych z wdrażaniem infrastruktury, jednocześnie zmniejszając powierzchnię błędu ludzkiego poprzez automatyzację.
Ten wpis przeprowadzi Cię przez kroki, które należy wykonać, aby rozpocząć konfigurowanie i wdrażanie programu Studio w celu standaryzacji opracowywania modeli uczenia maszynowego i współpracy z innymi inżynierami i naukowcami zajmującymi się uczeniem maszynowym. Wszystkie przykłady w poście są napisane w języku programowania Python. Jednak AWS CDK oferuje wbudowaną obsługę wielu inne języki programowania jak JavaScript, Java i C#.
Wymagania wstępne
Aby rozpocząć, obowiązują następujące wymagania wstępne:
Sklonuj repozytorium GitHub
Po pierwsze klonować dotychczasowy Repozytorium GitHub.
Po pomyślnym pobraniu repozytorium możesz sprawdzić katalog cdk zawierający następujące zasoby:
- CDK – Zawiera główne zasoby cdk
- aplikacja.py – Gdzie zdefiniowany jest stos AWS CDK
- cdk.json – Zawiera metadane i flagi funkcji
Skrypty AWS CDK
Dwa główne pliki, na które chcemy spojrzeć w cdk
podkatalogi są sagemaker_studio_construct.py
i sagemaker_studio_stack.py
. Przyjrzyjmy się każdemu plikowi bardziej szczegółowo.
Plik konstrukcji Studio
Konstrukcja Studio jest zdefiniowana w pliku sagemaker_studio_construct.py
plik.
Konstrukcja Studio obejmuje wirtualna chmura prywatna (VPC), wymienieni użytkownicy, region AWS i bazowy domyślny typ instancji jako parametry. Ta konstrukcja AWS CDK pełni następujące funkcje:
- Tworzy domenę Studio (
SageMakerStudioDomain
) - Ustawia rolę IAM
sagemaker_studio_execution_role
wAmazonSageMakerFullAccess
uprawnienia wymagane do tworzenia zasobów. Uprawnienia muszą zostać jeszcze bardziej ograniczone, aby zachować zgodność z zasadą najmniejszych uprawnień w celu poprawy bezpieczeństwa. - Ustawia ustawienia aplikacji serwera Jupyter – przyjmuje
JUPYTER_SERVER_APP_IMAGE_NAME
, definiując obraz kontenera jupyter-server-3, który ma być używany. - Ustawia ustawienia aplikacji bramy jądra – przyjmuje
KERNEL_GATEWAY_APP_IMAGE_NAME
, definiując obraz kontenera datascience-2.0, który ma być używany. - Tworzy profil użytkownika dla każdego wymienionego użytkownika
Poniższy fragment kodu pokazuje odpowiednie zasoby AWS CloudFormation domeny Studio zdefiniowane w AWS CDK:
Poniższy fragment kodu pokazuje profile użytkowników utworzone z zasobów AWS CloudFormation:
Plik stosu Studio
Po zdefiniowaniu konstrukcji można ją dodać, tworząc instancję klasy i przekazując wymagane argumenty wewnątrz stosu. Stos tworzy zasoby AWS CloudFormation w ramach jednego spójnego wdrożenia. Oznacza to, że jeśli co najmniej jeden zasób w chmurze nie zostanie utworzony, stos CloudFormation wycofuje wszelkie wykonane zmiany. Poniższy fragment kodu konstrukcji Studio tworzy instancję wewnątrz stosu Studio:
Wdróż stos AWS CDK
Aby wdrożyć stos AWS CDK, uruchom następujące polecenia z katalogu głównego projektu w oknie terminala:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Przejrzyj zasoby, które AWS CDK tworzy na Twoim koncie AWS i wybierz tak, gdy pojawi się monit o wdrożenie stosu. Poczekaj na zakończenie wdrażania stosu. Zwykle zajmuje to mniej niż 5 minut; jednak dodanie większej liczby zasobów wydłuży czas wdrożenia. Stan wdrożenia można również sprawdzić na stronie Konsola AWS CloudFormation.
Po pomyślnym wdrożeniu stosu sprawdź jego informacje, przechodząc do Panelu sterowania programu Studio. Powinieneś zobaczyć utworzony profil użytkownika SageMaker Studio.
Jeśli ponownie wdrożysz stos, sprawdzi on zmiany, wykonując tylko niezbędne aktualizacje zasobów w chmurze. Na przykład można tego użyć do dodania użytkowników lub zmiany uprawnień tych użytkowników bez konieczności ponownego tworzenia wszystkich zdefiniowanych zasobów w chmurze.
Oczyszczanie
Aby usunąć stos, wykonaj następujące kroki:
- W konsoli AWS CloudFormation wybierz Półki na książki w okienku nawigacji.
- Otwórz stos, który chcesz usunąć.
- W okienku szczegółów stosu wybierz Usuń.
- Dodaj Usuń stos gdy pojawi się monit.
AWS CloudFormation usunie zasoby utworzone podczas wdrażania stosu. Może to zająć trochę czasu w zależności od ilości utworzonych zasobów.
Jeśli napotkasz jakiekolwiek problemy podczas wykonywania tych kroków czyszczenia, może być konieczne ręcznie usuń domenę Studio przed powtórzeniem czynności opisanych w tej sekcji.
Wnioski
W tym poście pokazaliśmy, jak korzystać z natywnych dla chmury zasobów IaC AWS, aby zbudować łatwy do ponownego wykorzystania szablon dla wdrożeń Studio. SageMaker Studio to w pełni zintegrowane internetowe IDE, które zapewnia wizualny interfejs do zadań programistycznych ML opartych na JupyterLab3. Dzięki stosom AWS CDK byliśmy w stanie zdefiniować konstrukcje do budowania komponentów chmury, które można łatwo modyfikować, edytować lub usuwać, wprowadzając zmiany w bazowym stosie CloudFormation.
Aby uzyskać więcej informacji na temat Amazon Studio, zobacz Studio Amazon SageMaker.
O autorach
Cory'ego Hairstona jest inżynierem oprogramowania w Amazon ML Solutions Lab. Z zapałem uczy się nowych technologii i wykorzystuje te informacje do tworzenia rozwiązań programowych wielokrotnego użytku. Jest zapalonym trójboistą, a wolny czas spędza na tworzeniu sztuki cyfrowej.
Marcelo Aberle jest inżynierem ML w organizacji AWS AI. Kieruje pracami MLOps w Amazon ML Solutions Lab, pomagając klientom projektować i wdrażać skalowalne systemy ML. Jego misją jest prowadzenie klientów w ich podróży ML w przedsiębiorstwie i przyspieszenie ich ścieżki ML do produkcji.
Yash Shah jest kierownikiem naukowym w Laboratorium rozwiązań Amazon ML. On i jego zespół naukowców stosowanych i inżynierów zajmujących się uczeniem maszynowym pracują nad szeregiem przypadków użycia uczenia maszynowego w służbie zdrowia, sporcie, motoryzacji i produkcji.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- Zdolny
- O nas
- przyśpieszyć
- dostęp
- Konto
- AI
- Wszystkie kategorie
- pozwala
- Amazonka
- Laboratorium rozwiązań Amazon ML
- Amazon Sage Maker
- Studio Amazon SageMaker
- ilość
- i
- Aplikacja
- aplikacje
- stosowany
- Aplikuj
- podejście
- ognisty
- POWIERZCHNIA
- argumenty
- Sztuka
- zautomatyzowane
- Automatyzacja
- motoryzacyjny
- AWS
- Tworzenie chmury AWS
- z powrotem
- na podstawie
- stają się
- zanim
- BEST
- Najlepsze praktyki
- pomiędzy
- Bloki
- Bootstrap
- budować
- Budowanie
- wbudowany
- Etui
- zmiana
- Zmiany
- ZOBACZ
- Dodaj
- Chmura
- kod
- ZGODNY
- współpraca
- kolekcja
- połączenie
- wspólny
- porównać
- kompletny
- składniki
- Konsola
- skonstruować
- Pojemnik
- zawiera
- kontrola
- panel sterowania
- Stwórz
- stworzony
- tworzy
- Tworzenie
- tworzenie
- Klientów
- dane
- Domyślnie
- definiowanie
- W zależności
- rozwijać
- wdrażane
- wdrażanie
- Wdrożenie
- wdrożenia
- Wnętrze
- detal
- detale
- oprogramowania
- cyfrowy
- Sztuka cyfrowa
- niepełnosprawny
- domena
- na dół
- każdy
- z łatwością
- starania
- spotkanie
- inżynier
- Inżynieria
- Inżynierowie
- Enterprise
- Środowisko
- błąd
- Eter (ETH)
- przykład
- przykłady
- nie
- Cecha
- facet
- filet
- Akta
- i terminów, a
- obserwuj
- następujący
- Framework
- Darmowy
- od
- w pełni
- Funkcje
- dalej
- Bramka
- generacja
- otrzymać
- GitHub
- będzie
- poprowadzi
- Przewodniki
- mający
- opieki zdrowotnej
- pomoc
- W jaki sposób
- How To
- Jednak
- HTML
- HTTPS
- człowiek
- IAC
- IAM
- tożsamość
- obraz
- wdrożenia
- ulepszony
- in
- Informacja
- Infrastruktura
- zainstalować
- przykład
- zintegrowany
- Interfejs
- problemy
- IT
- Java
- JAVASCRIPT
- podróż
- json
- laboratorium
- język
- prowadzący
- nauka
- lewarowanie
- Katalogowany
- załadować
- Popatrz
- maszyna
- uczenie maszynowe
- Główny
- Dokonywanie
- kierownik
- produkcja
- znaczy
- Metadane
- minuty
- Misja
- ML
- MLOps
- model
- modele
- zmodyfikowano
- jeszcze
- ruch
- wielokrotność
- rodzimy
- Nawigacja
- niezbędny
- Potrzebować
- Nowości
- Nowe technologie
- Oferty
- ONE
- open source
- Oprogramowanie typu open source
- organizacja
- Inne
- chleb
- płyta
- parametry
- część
- Przechodzący
- ścieżka
- wykonać
- wykonywania
- uprawnienia
- Miejsce
- plato
- Analiza danych Platona
- PlatoDane
- Post
- praktyki
- Przygotować
- warunki wstępne
- zasada
- prywatny
- wygląda tak
- Produkcja
- Profil
- profile
- Programowanie
- projektowanie
- zapewnia
- Python
- zasięg
- zmniejsza
- region
- składnica
- reprezentowanie
- wymagany
- wymagania
- Zasób
- Zasoby
- Efekt
- wielokrotnego użytku
- Rola
- rolki
- korzeń
- run
- sagemaker
- skalowalny
- nauka
- Naukowcy
- zakres
- Sekcja
- bezpieczeństwo
- SAMEGO SIEBIE
- służy
- zestaw
- ustawienie
- w panelu ustawień
- powinien
- Targi
- Tworzenie
- rozwoju oprogramowania
- Software Engineer
- Inżynieria oprogramowania
- Rozwiązania
- kilka
- SPORTOWE
- stos
- Półki na książki
- rozpoczęty
- Rynek
- Cel
- usprawniony
- studio
- Z powodzeniem
- taki
- wsparcie
- Powierzchnia
- system
- systemy
- Brać
- trwa
- zadania
- zespół
- Technologies
- szablon
- terminal
- Testy
- Połączenia
- ich
- Przez
- czas
- do
- Pociąg
- typowy
- zazwyczaj
- zasadniczy
- zaktualizowane
- Nowości
- posługiwać się
- Użytkownik
- Użytkownicy
- Wirtualny
- czekać
- Web-based
- Podczas
- będzie
- w ciągu
- bez
- Praca
- napisany
- Twój
- zefirnet