Студія Amazon SageMaker це повністю інтегроване середовище розробки (IDE) для машинного навчання (ML), частково засноване на JupyterLab 3. Studio надає веб-інтерфейс для інтерактивного виконання завдань розробки ML, необхідних для підготовки даних і створення, навчання та розгортання моделей ML. У Studio ви можете завантажувати дані, коригувати моделі ML, переходити між кроками, щоб коригувати експерименти, порівнювати результати та розгортати моделі ML для висновків.
Команда Набір хмарних розробок AWS (AWS CDK) — це платформа розробки програмного забезпечення з відкритим кодом для створення AWS CloudFormation стеки через автомат Шаблон CloudFormation покоління. Стек — це набір ресурсів AWS, які можна програмно оновлювати, переміщувати або видаляти. AWS CDK конструкти це будівельні блоки додатків AWS CDK, що представляють собою план для визначення хмарних архітектур.
Налаштування Studio з AWS CDK стало спрощеним процесом. AWS CDK дозволяє використовувати рідні конструкції для визначення та розгортання Studio за допомогою інфраструктури як коду (IaC), у тому числі Управління ідентифікацією та доступом AWS (AWS IAM) дозволи та бажані конфігурації хмарних ресурсів – усе в одному місці. Цей підхід до розробки можна використовувати в поєднанні з іншими поширеними передовими методами розробки програмного забезпечення, такими як автоматичне розгортання коду, тестування та Конвеєри CI/CD. AWS CDK скорочує час, необхідний для виконання типових завдань розгортання інфраструктури, одночасно зменшуючи площу поверхні для помилок людини завдяки автоматизації.
Ця публікація проведе вас через кроки, щоб розпочати налаштування та розгортання Studio для стандартизації розробки моделей машинного навчання та співпраці з колегами-інженерами та науковцями з машинного навчання. Усі приклади в публікації написані мовою програмування Python. Однак AWS CDK пропонує вбудовану підтримку кількох інші мови програмування наприклад JavaScript, Java і C#.
Передумови
Щоб розпочати роботу, необхідно виконати такі передумови:
Клонуйте репозиторій GitHub
По-перше, давайте клон GitHub сховище.
Коли репозиторій буде успішно отримано, ви можете перевірити каталог cdk, що містить такі ресурси:
- cdk – Містить основні ресурси cdk
- app.py – Де визначено стек AWS CDK
- cdk.json – Містить метадані та позначки функцій
Скрипти AWS CDK
Два основні файли, які ми хочемо розглянути в cdk
підкаталог є sagemaker_studio_construct.py
та sagemaker_studio_stack.py
. Розглянемо кожен файл докладніше.
Файл конструкції Studio
Конструкція Studio визначена в sagemaker_studio_construct.py
файлу.
Конструкція Studio приймає в себе віртуальна приватна хмара (VPC), перелічені користувачі, регіон AWS і основний тип екземпляра за замовчуванням як параметри. Ця конструкція AWS CDK виконує такі функції:
- Створює домен Studio (
SageMakerStudioDomain
) - Встановлює роль IAM
sagemaker_studio_execution_role
зAmazonSageMakerFullAccess
дозволи, необхідні для створення ресурсів. Дозволи потрібно зменшити, щоб дотримуватися принципу найменших привілеїв для покращення безпеки. - Встановлює параметри програми сервера Jupyter – приймає
JUPYTER_SERVER_APP_IMAGE_NAME
, що визначає використовуваний образ контейнера jupyter-server-3. - Встановлює налаштування програми шлюзу ядра – приймає
KERNEL_GATEWAY_APP_IMAGE_NAME
, що визначає використовуваний образ контейнера datascience-2.0. - Створює профіль користувача для кожного користувача зі списку
У наведеному нижче фрагменті коду показано відповідні ресурси домену Studio AWS CloudFormation, визначені в AWS CDK:
У наступному фрагменті коду показано профілі користувачів, створені з ресурсів AWS CloudFormation:
Файл стека студії
Після визначення конструкції ви можете додати її, створивши екземпляр класу та передавши необхідні аргументи всередину стека. Стек створює ресурси AWS CloudFormation як частину єдиного узгодженого розгортання. Це означає, що якщо принаймні один хмарний ресурс не вдається створити, стек CloudFormation відкочує всі внесені зміни. Наступний фрагмент коду конструкції Studio створено всередині стека Studio:
Розгорніть стек AWS CDK
Щоб розгорнути стек AWS CDK, виконайте такі команди з кореневого каталогу проекту у вікні терміналу:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Перегляньте ресурси, які AWS CDK створює у вашому обліковому записі AWS, і виберіть «Так», коли буде запропоновано розгорнути стек. Зачекайте, поки завершиться розгортання стека. Зазвичай це займає менше 5 хвилин; однак додавання додаткових ресурсів подовжить час розгортання. Ви також можете перевірити статус розгортання на Консоль AWS CloudFormation.
Після успішного розгортання стека перевірте його інформацію, перейшовши на панель керування Studio. Ви повинні побачити створений вами профіль користувача SageMaker Studio.
Якщо ви повторно розгорнете стек, він перевірить наявність змін, виконуючи лише необхідні оновлення хмарних ресурсів. Наприклад, це можна використовувати для додавання користувачів або зміни дозволів цих користувачів без необхідності повторно створювати всі визначені хмарні ресурси.
Прибирати
Щоб видалити стек, виконайте такі дії:
- На консолі AWS CloudFormation виберіть Стеки у навігаційній панелі.
- Відкрийте стек, який потрібно видалити.
- На панелі відомостей про стек виберіть видаляти.
- Вибирати Видалити стек коли з'являється підказка.
AWS CloudFormation видалить ресурси, створені під час розгортання стеку. Це може зайняти деякий час залежно від кількості створених ресурсів.
Якщо під час виконання цих кроків очищення у вас виникнуть проблеми, можливо, вам доведеться це зробити вручну видалити домен Studio перед повторенням кроків у цьому розділі.
Висновок
У цій публікації ми показали, як використовувати хмарні ресурси AWS IaC для створення шаблону, який можна легко використовувати багаторазово для розгортання Studio. SageMaker Studio — це повністю інтегрована веб-інтегрована IDE, яка надає візуальний інтерфейс для завдань розробки ML на основі JupyterLab3. За допомогою стеків AWS CDK ми змогли визначити конструкції для створення хмарних компонентів, які можна легко змінювати, редагувати або видаляти, вносячи зміни в базовий стек CloudFormation.
Додаткову інформацію про Amazon Studio див Студія Amazon SageMaker.
Про авторів
Корі Херстон є інженером-програмістом у Amazon ML Solutions Lab. Він завзято вивчає нові технології та використовує цю інформацію для створення багаторазових програмних рішень. Він затятий пауерліфтер і проводить свій вільний час, створюючи цифрове мистецтво.
Марсело Аберле є інженером ML в організації AWS AI. Він очолює зусилля MLOps в Amazon ML Solutions Lab, допомагаючи клієнтам проектувати та впроваджувати масштабовані системи ML. Його місія полягає в тому, щоб скеровувати клієнтів на шляху корпоративного машинного навчання та прискорювати їх шлях до виробництва.
Яш Шах є науковим менеджером у Лабораторія рішень Amazon ML. Він і його команда вчених-прикладників та інженерів машинного навчання працюють над низкою варіантів використання машинного навчання в охороні здоров’я, спорті, автомобілебудуванні та виробництві.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- Здатний
- МЕНЮ
- прискорювати
- доступ
- рахунки
- AI
- ВСІ
- дозволяє
- Amazon
- Лабораторія рішень Amazon ML
- Amazon SageMaker
- Студія Amazon SageMaker
- кількість
- та
- додаток
- застосування
- прикладної
- Застосовувати
- підхід
- полум'яний
- ПЛОЩА
- аргументація
- Art
- Автоматизований
- Автоматизація
- автомобільний
- AWS
- AWS CloudFormation
- назад
- заснований
- ставати
- перед тим
- КРАЩЕ
- передового досвіду
- між
- блоки
- Bootstrap
- будувати
- Створюємо
- вбудований
- випадків
- зміна
- Зміни
- перевірка
- Вибирати
- хмара
- код
- КОГЕРЕНТНИЙ
- співробітництво
- збір
- поєднання
- загальний
- порівняти
- повний
- Компоненти
- Консоль
- будувати
- Контейнер
- містить
- контроль
- панель управління
- створювати
- створений
- створює
- створення
- створення
- Клієнти
- дані
- дефолт
- визначаючи
- Залежно
- розгортання
- розгорнути
- розгортання
- розгортання
- розгортання
- дизайн
- деталь
- деталі
- розробка
- цифровий
- цифрове мистецтво
- інвалід
- домен
- вниз
- кожен
- легко
- зусилля
- зіткнення
- інженер
- Машинобудування
- Інженери
- підприємство
- Навколишнє середовище
- помилка
- Ефір (ETH)
- приклад
- Приклади
- зазнає невдачі
- особливість
- fellow
- філе
- Файли
- Перший
- стежити
- після
- Рамки
- Безкоштовна
- від
- повністю
- Функції
- далі
- шлюз
- покоління
- отримати
- GitHub
- буде
- керівництво
- Гід
- має
- охорона здоров'я
- допомогу
- Як
- How To
- Однак
- HTML
- HTTPS
- людина
- МАК
- IAM
- Особистість
- зображення
- здійснювати
- поліпшений
- in
- інформація
- Інфраструктура
- встановлювати
- екземпляр
- інтегрований
- інтерфейс
- питання
- IT
- Java
- JavaScript
- подорож
- json
- lab
- мова
- провідний
- вивчення
- використання
- Перераховані
- загрузка
- подивитися
- машина
- навчання за допомогою машини
- головний
- Робить
- менеджер
- виробництво
- засоби
- метадані
- протокол
- Місія
- ML
- MLOps
- модель
- Моделі
- модифікований
- більше
- рухатися
- множинний
- рідний
- навігація
- необхідно
- Необхідність
- Нові
- Нові технології
- Пропозиції
- ONE
- з відкритим вихідним кодом
- Програмне забезпечення з відкритим кодом
- організація
- Інше
- pane
- панель
- параметри
- частина
- Проходження
- шлях
- виконувати
- виконанні
- Дозволи
- місце
- plato
- Інформація про дані Платона
- PlatoData
- пошта
- практики
- Готувати
- передумови
- принцип
- приватний
- процес
- Production
- профіль
- Профілі
- Програмування
- проектів
- забезпечує
- Python
- діапазон
- знижує
- регіон
- доречний
- Сховище
- представляє
- вимагається
- Вимога
- ресурс
- ресурси
- результати
- багаторазовий
- Роль
- рулонах
- корінь
- прогін
- мудрець
- масштабовані
- наука
- Вчені
- сфера
- розділ
- безпеку
- SELF
- служить
- комплект
- установка
- налаштування
- Повинен
- Шоу
- Софтвер
- розробка програмного забезпечення
- Інженер-програміст
- розробка програмного забезпечення
- Рішення
- деякі
- SPORTS
- стек
- Стеки
- почалася
- Статус
- заходи
- обтічний
- студія
- Успішно
- такі
- підтримка
- поверхню
- система
- Systems
- Приймати
- приймає
- завдання
- команда
- Технології
- шаблон
- термінал
- Тести
- Команда
- їх
- через
- час
- до
- поїзд
- типовий
- типово
- що лежить в основі
- оновлений
- Updates
- використання
- користувач
- користувачі
- Віртуальний
- чекати
- Web-Based
- в той час як
- волі
- в
- без
- Work
- письмовий
- вашу
- зефірнет