Студия Amazon SageMaker полностью интегрированная среда разработки (IDE) для машинного обучения (ML), частично основанная на ЮпитерЛаб 3. Studio предоставляет веб-интерфейс для интерактивного выполнения задач разработки машинного обучения, необходимых для подготовки данных и создания, обучения и развертывания моделей машинного обучения. В Studio вы можете загружать данные, настраивать модели машинного обучения, переходить от одного шага к другому для корректировки экспериментов, сравнивать результаты и развертывать модели машинного обучения для получения логических выводов.
Ассоциация Комплект для разработки облачных сервисов AWS (AWS CDK) — это среда разработки программного обеспечения с открытым исходным кодом для создания AWS CloudFormation стеки через автоматический Шаблон CloudFormation поколение. Стек — это набор ресурсов AWS, которые можно программно обновлять, перемещать или удалять. CDK AWS конструкции являются строительными блоками приложений AWS CDK, представляющими собой схему для определения облачных архитектур.
Настройка Studio с помощью AWS CDK стала оптимизированным процессом. AWS CDK позволяет использовать собственные конструкции для определения и развертывания Studio с использованием инфраструктуры как кода (IaC), включая Управление идентификацией и доступом AWS (AWS IAM) и нужные конфигурации облачных ресурсов — все в одном месте. Этот подход к разработке можно использовать в сочетании с другими передовыми методами разработки программного обеспечения, такими как автоматизированное развертывание кода, тесты и Конвейеры CI / CD. AWS CDK сокращает время, необходимое для выполнения типичных задач по развертыванию инфраструктуры, а также уменьшает вероятность человеческой ошибки за счет автоматизации.
В этом посте вы узнаете, как начать работу с настройкой и развертыванием Studio для стандартизации разработки моделей машинного обучения и совместной работы с другими инженерами машинного обучения и учеными в области машинного обучения. Все примеры в посте написаны на языке программирования Python. Однако AWS CDK предлагает встроенную поддержку нескольких другие языки программирования как JavaScript, Java и C#.
Предпосылки
Для начала применяются следующие предварительные условия:
Клонировать репозиторий GitHub
Во-первых, давайте клонировать домен Репозиторий GitHub.
Когда репозиторий успешно загружен, вы можете проверить каталог cdk, содержащий следующие ресурсы:
- компакт-диск - Содержит основные ресурсы cdk
- app.py – Где определен стек AWS CDK
- cdk.json – Содержит метаданные и флаги функций
Скрипты AWS CDK
Два основных файла, которые мы хотим рассмотреть в cdk
подкаталог sagemaker_studio_construct.py
и sagemaker_studio_stack.py
. Рассмотрим каждый файл более подробно.
Файл конструкции студии
Конструкция Studio определена в sagemaker_studio_construct.py
.
Конструкция Studio включает в себя виртуальное частное облако (VPC), перечисленные пользователи, регион AWS и базовый тип экземпляра по умолчанию в качестве параметров. Эта конструкция AWS CDK выполняет следующие функции:
- Создает домен Studio (
SageMakerStudioDomain
) - Устанавливает роль IAM
sagemaker_studio_execution_role
AmazonSageMakerFullAccess
разрешения, необходимые для создания ресурсов. Разрешения должны быть дополнительно ограничены, чтобы следовать принципу наименьших привилегий для повышения безопасности. - Устанавливает настройки приложения сервера Jupyter — принимает
JUPYTER_SERVER_APP_IMAGE_NAME
, определяя используемый образ контейнера jupyter-server-3. - Устанавливает настройки приложения шлюза ядра — принимает
KERNEL_GATEWAY_APP_IMAGE_NAME
, определяющий образ контейнера datascience-2.0, который будет использоваться. - Создает профиль пользователя для каждого пользователя в списке
В следующем фрагменте кода показаны соответствующие ресурсы AWS CloudFormation домена Studio, определенные в AWS CDK:
В следующем фрагменте кода показаны профили пользователей, созданные из ресурсов AWS CloudFormation:
Студийный стек
После определения конструкции вы можете добавить ее, создав экземпляр класса и передав необходимые аргументы внутри стека. Стек создает ресурсы AWS CloudFormation как часть единого согласованного развертывания. Это означает, что если хотя бы один облачный ресурс не удается создать, стек CloudFormation откатывает любые выполненные изменения. Следующий фрагмент кода конструкции Studio создается внутри стека Studio:
Разверните стек AWS CDK
Чтобы развернуть стек AWS CDK, выполните следующие команды из корневого каталога проекта в окне терминала:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
Просмотрите ресурсы, которые AWS CDK создает в вашей учетной записи AWS, и ответьте «да», когда будет предложено развернуть стек. Дождитесь завершения развертывания стека. Обычно это занимает менее 5 минут; однако добавление дополнительных ресурсов продлит время развертывания. Вы также можете проверить статус развертывания на Консоль AWS CloudFormation.
После успешного развертывания стека проверьте его информацию, перейдя в панель управления Studio. Вы должны увидеть созданный вами профиль пользователя SageMaker Studio.
Если вы повторно развернете стек, он проверит наличие изменений, выполняя только необходимые обновления облачных ресурсов. Например, это можно использовать для добавления пользователей или изменения разрешений этим пользователям без необходимости воссоздавать все определенные облачные ресурсы.
уборка
Чтобы удалить стек, выполните следующие действия:
- В консоли AWS CloudFormation выберите Стеки в навигационной панели.
- Откройте стек, который вы хотите удалить.
- В области сведений о стеке выберите Удалить.
- Выберите Удалить стопку когда будет предложено.
AWS CloudFormation удалит ресурсы, созданные при развертывании стека. Это может занять некоторое время в зависимости от количества созданных ресурсов.
Если вы столкнетесь с какими-либо проблемами при выполнении этих шагов очистки, вам может потребоваться вручную удалить домен Studio прежде чем повторять шаги, описанные в этом разделе.
Заключение
В этом посте мы показали, как использовать облачные ресурсы IaC AWS для создания удобного для повторного использования шаблона для развертываний Studio. SageMaker Studio — это полностью интегрированная веб-среда разработки, предоставляющая визуальный интерфейс для задач разработки машинного обучения на основе JupyterLab3. С помощью стеков AWS CDK мы смогли определить конструкции для создания облачных компонентов, которые можно легко изменять, редактировать или удалять, внося изменения в базовый стек CloudFormation.
Дополнительные сведения об Amazon Studio см. Студия Amazon SageMaker.
Об авторах
Кори Хейрстон работает инженером-программистом в лаборатории решений Amazon ML. Он увлечен изучением новых технологий и использованием этой информации для создания многоразовых программных решений. Он заядлый пауэрлифтер и проводит свободное время, занимаясь цифровым искусством.
Марсело Аберле является инженером по машинному обучению в организации AWS AI. Он возглавляет работу по MLOps в лаборатории решений Amazon ML, помогая клиентам разрабатывать и внедрять масштабируемые системы машинного обучения. Его миссия состоит в том, чтобы направлять клиентов на пути к корпоративному машинному обучению и ускорить переход от машинного обучения к производству.
Яш-Шах является научным менеджером в Лаборатория решений Amazon ML. Он и его команда ученых-прикладников и инженеров по машинному обучению работают над рядом вариантов использования машинного обучения в здравоохранении, спорте, автомобилестроении и производстве.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- в состоянии
- О нас
- ускорять
- доступ
- Учетная запись
- AI
- Все
- позволяет
- Amazon
- Лаборатория решений Amazon ML
- Создатель мудреца Амазонки
- Студия Amazon SageMaker
- количество
- и
- приложение
- Приложения
- прикладной
- Применить
- подхода
- пылкий
- ПЛОЩАДЬ
- Аргументы
- Искусство
- Автоматизированный
- автоматизация
- автомобильный
- AWS
- AWS CloudFormation
- назад
- основанный
- становиться
- до
- ЛУЧШЕЕ
- лучшие практики
- между
- Блоки
- Начальная загрузка
- строить
- Строительство
- встроенный
- случаев
- изменение
- изменения
- проверка
- Выберите
- облако
- код
- ПОСЛЕДОВАТЕЛЬНЫЙ
- сотрудничество
- лыжных шлемов
- сочетание
- Общий
- сравнить
- полный
- компоненты
- Консоли
- строить
- Container
- содержит
- контроль
- панель управления
- Создайте
- создали
- создает
- Создающий
- создание
- Клиенты
- данным
- По умолчанию
- определяющий
- в зависимости
- развертывание
- развернуть
- развертывание
- развертывание
- развертывания
- Проект
- подробность
- подробнее
- Разработка
- Интернет
- цифровое искусство
- инвалид
- домен
- вниз
- каждый
- легко
- усилия
- столкновение
- инженер
- Проект и
- Инженеры
- Предприятие
- Окружающая среда
- ошибка
- Эфир (ETH)
- пример
- Примеры
- не удается
- Особенность
- человек
- Файл
- Файлы
- First
- следовать
- после
- Рамки
- Бесплатно
- от
- полностью
- Функции
- далее
- шлюз
- поколение
- получить
- GitHub
- будет
- инструкция
- Гиды
- имеющий
- здравоохранение
- помощь
- Как
- How To
- Однако
- HTML
- HTTPS
- человек
- МАК
- IAM
- Личность
- изображение
- осуществлять
- улучшенный
- in
- информация
- Инфраструктура
- устанавливать
- пример
- интегрированный
- Интерфейс
- вопросы
- IT
- Java
- JavaScript
- путешествие
- JSON
- лаборатория
- язык
- ведущий
- изучение
- Используя
- Включенный в список
- загрузка
- посмотреть
- машина
- обучение с помощью машины
- Главная
- Создание
- менеджер
- производство
- означает
- Метаданные
- минут
- Наша миссия
- ML
- млн операций в секунду
- модель
- Модели
- модифицировало
- БОЛЕЕ
- двигаться
- с разными
- родной
- Навигация
- необходимо
- Необходимость
- Новые
- Новые технологии
- Предложения
- ONE
- с открытым исходным кодом
- Программное обеспечение с открытым исходным кодом
- организация
- Другие контрактные услуги
- хлеб
- панель
- параметры
- часть
- Прохождение
- путь
- выполнять
- выполнения
- Разрешения
- Часть
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- После
- практиками
- Подготовить
- предпосылки
- принцип
- частная
- процесс
- Производство
- Профиль
- Профили
- Программирование
- проектов
- приводит
- Питон
- ассортимент
- снижает
- область
- соответствующие
- хранилище
- представляющий
- обязательный
- Требования
- ресурс
- Полезные ресурсы
- Итоги
- многоразовый
- Роли
- рулонах
- корень
- Run
- sagemaker
- масштабируемые
- Наука
- Ученые
- сфера
- Раздел
- безопасность
- SELF
- служит
- набор
- установка
- настройки
- должен
- Шоу
- Software
- разработка программного обеспечения
- Инженер-программист
- разработка программного обеспечения
- Решения
- некоторые
- Спорт
- стек
- Стеки
- и политические лидеры
- Статус:
- Шаги
- обтекаемый
- студия
- Успешно
- такие
- поддержка
- Поверхность
- система
- системы
- взять
- принимает
- задачи
- команда
- технологии
- шаблон
- Терминал
- тестов
- Ассоциация
- их
- Через
- время
- в
- Train
- типичный
- типично
- лежащий в основе
- обновление
- Updates
- использование
- Информация о пользователе
- пользователей
- Виртуальный
- ждать
- Web-Based
- в то время как
- будете
- в
- без
- Работа
- письменный
- ВАШЕ
- зефирнет