Создатель мудреца Амазонки клиенты могут просматривать и управлять своими квотами через Сервисные квоты. Кроме того, они могут просматривать показатели использования практически в реальном времени и создавать Amazon CloudWatch метрика для просмотра и программного запроса квот SageMaker.
SageMaker помогает с легкостью создавать, обучать и развертывать модели машинного обучения (ML). Чтобы узнать больше, см. Начало работы с Amazon SageMaker. Сервисные квоты упрощают управление лимитами, позволяя просматривать квоты для SageMaker и управлять ими из центрального места.
С помощью сервисных квот вы можете просмотреть максимальное количество ресурсов, действий или элементов в вашей учетной записи AWS или регионе AWS. Вы также можете использовать сервисные квоты, чтобы запросить увеличение регулируемых квот.
С ростом использования методов MLOps и, следовательно, спросом на ресурсы, предназначенные для экспериментов с моделями машинного обучения и переобучения, все больше клиентов должны запускать несколько экземпляров, часто экземпляров одного типа, в одно и то же время.
Многие группы специалистов по обработке и анализу данных часто работают параллельно, одновременно используя несколько экземпляров для обработки, обучения и настройки. Раньше пользователи иногда достигали регулируемого лимита учетной записи для определенного типа инстанса, и им приходилось вручную запрашивать увеличение лимита у AWS.
Чтобы запросить увеличение квоты вручную из Пользовательский интерфейс сервисных квот, вы можете выбрать квоту из списка и выбрать Запросить увеличение квоты. Для получения дополнительной информации см. Запрос увеличения квоты.
В этом посте мы покажем, как вы можете использовать новые функции для автоматического запроса увеличения лимита при достижении высокого уровня экземпляров.
Обзор решения
Следующая диаграмма иллюстрирует архитектуру решения.
Эта архитектура включает в себя следующий рабочий процесс:
- Метрика CloudWatch отслеживает использование ресурса. Аварийный сигнал CloudWatch срабатывает, когда использование ресурсов превышает определенный предварительно настроенный порог.
- Сообщение отправлено на Amazon Простая служба уведомлений (Амазон СНС).
- Сообщение получено AWS Lambda функции.
- Функция Lambda запрашивает увеличение квоты.
Помимо запроса на увеличение квоты для конкретной учетной записи, функция Lambda также может добавить увеличение квоты в шаблон организации (до 10 квот). Таким образом, для любой новой учетной записи, созданной в рамках данной организации AWS, по умолчанию запрашивается увеличенная квота.
Предпосылки
Выполните следующие обязательные шаги:
- Настроить Аккаунт AWS и создать Управление идентификацией и доступом AWS (IAM) пользователь. Инструкции см. Защитите свою учетную запись AWS.
- Установить Интерфейс командной строки AWS SAM.
Развертывание с использованием модели бессерверных приложений AWS
Чтобы развернуть приложение с помощью Репо GitHub, выполните в терминале следующую команду:
После развертывания решения на консоли CloudWatch должен появиться новый сигнал тревоги. Этот сигнал тревоги отслеживает использование экземпляров блокнотов SageMaker для экземпляра ml.t3.medium.
Если использование ресурсов превышает 50 %, срабатывает сигнал тревоги, и функция Lambda запрашивает увеличение.
Если ваша учетная запись является частью организации AWS и у вас есть образец запроса квоты включен, вы также должны увидеть эти увеличения в шаблоне, если в шаблоне есть свободные слоты. Таким образом, новые учетные записи из этой организации также имеют увеличение, настроенное при создании.
Развертывание с помощью консоли CloudWatch
Чтобы развернуть приложение с помощью консоли CloudWatch, выполните следующие действия:
- В консоли CloudWatch выберите Все будильники в навигационной панели.
- Выберите Создать будильник.
- Выберите Выберите показатель.
- Выберите Применение.
- Выберите показатель, который вы хотите отслеживать.
- Выберите условие, при котором вы хотите, чтобы срабатывал будильник.
Дополнительные возможные конфигурации при настройке сигнализации см. Создайте сигнал тревоги CloudWatch на основе статического порога.
- Настройте тему SNS, чтобы получать уведомления о тревоге.
Вы также можете использовать Amazon SNS для запуска функции Lambda при срабатывании будильника. Видеть Использование AWS Lambda с Amazon SNS чтобы получить больше информации.
- Что касается Название будильникавведите имя.
- Выберите Следующая.
- Выберите Создать будильник.
Убирать
Чтобы очистить ресурсы, созданные в рамках этого поста, обязательно удалите все созданные стеки. Для этого выполните следующую команду:
Заключение
В этом посте мы показали, как вы можете использовать новую интеграцию SageMaker с сервисными квотами для автоматизации запросов на увеличение квоты для ресурсов SageMaker. Таким образом, группы специалистов по обработке и анализу данных могут эффективно работать параллельно и уменьшать количество проблем, связанных с недоступностью экземпляров.
Вы можете узнать больше о квотах Amazon SageMaker, зайдя на документации. Вы также можете узнать больше о сервисных квотах здесь.
Об авторах
Бруно Кляйн является инженером по машинному обучению в команде AWS ProServe. Ему особенно нравится создавать автоматизацию и улучшать жизненный цикл моделей в производстве. В свободное время любит проводить время на природе и ходить в походы.
Парас Мехра является старшим менеджером по продуктам в AWS. Он сосредоточен на помощи в создании обучения и обработки Amazon SageMaker. В свободное время Парас любит проводить время со своей семьей и кататься на велосипеде по району залива. Вы можете найти его на LinkedIn.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :является
- $UP
- 10
- 100
- 7
- 8
- a
- О нас
- доступ
- доступа
- Учетная запись
- Учетные записи
- действия
- дополнение
- регулируемый
- Часы работы
- Все
- Позволяющий
- Amazon
- Создатель мудреца Амазонки
- и
- Применение
- архитектура
- ПЛОЩАДЬ
- около
- AS
- At
- автоматизировать
- автоматически
- доступен
- AWS
- AWS Lambda
- основанный
- залив
- BE
- ЛУЧШЕЕ
- лучшие практики
- Beyond
- строить
- by
- CAN
- CD
- центральный
- определенный
- Выберите
- полный
- состояние
- Конфигурации
- Консоли
- Создайте
- создали
- Создающий
- создание
- Клиенты
- данным
- наука о данных
- По умолчанию
- Спрос
- развертывание
- развернуть
- назначенный
- фактически
- включен
- инженер
- Enter
- Эфир (ETH)
- семья
- Особенности
- Найдите
- внимание
- после
- Что касается
- Бесплатно
- от
- функция
- идти
- данный
- идет
- Есть
- помощь
- помогает
- High
- пеший туризм
- Как
- HTML
- HTTP
- HTTPS
- IAM
- Личность
- улучшение
- in
- включает в себя
- Увеличение
- расширились
- Увеличивает
- повышение
- информация
- пример
- инструкции
- интеграции.
- вопросы
- пункты
- JPG
- УЧИТЬСЯ
- изучение
- уровень
- Жизненный цикл
- такое как
- ОГРАНИЧЕНИЯ
- рамки
- Список
- расположение
- машина
- обучение с помощью машины
- сделать
- управлять
- управление
- менеджер
- вручную
- максимальный
- средний
- сообщение
- метрический
- Метрика
- ML
- млн операций в секунду
- модель
- Модели
- монитор
- Мониторы
- БОЛЕЕ
- с разными
- имя
- Навигация
- Возле
- Необходимость
- Новые
- Новые функции
- следующий
- ноутбук
- уведомление
- номер
- of
- on
- организация
- на открытом воздухе
- хлеб
- Параллельные
- часть
- особый
- особенно
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- возможное
- После
- практиками
- предварительно
- обработка
- Продукт
- Менеджер по продукции
- Производство
- достигать
- достиг
- доходит до
- реального времени
- получила
- уменьшить
- область
- Связанный
- запросить
- Запросы
- ресурс
- Полезные ресурсы
- переквалификация
- Дорога
- Run
- sagemaker
- Сэм
- то же
- Наука
- старший
- Serverless
- обслуживание
- несколько
- должен
- показывать
- просто
- слоты
- Решение
- некоторые
- конкретный
- тратить
- Расходы
- Стеки
- и политические лидеры
- Шаги
- команда
- команды
- шаблон
- Терминал
- который
- Ассоциация
- их
- следовательно
- порог
- Через
- время
- в
- тема
- Train
- Обучение
- вызвать
- срабатывает
- правда
- под
- Применение
- использование
- Информация о пользователе
- пользователей
- Вид
- Путь..
- Работа
- рабочий
- бы
- ВАШЕ
- зефирнет