Amazon SageMaker клієнти можуть переглядати свої обмеження квот і керувати ними Квоти послуг. Крім того, вони можуть переглядати показники використання майже в реальному часі та створювати Amazon CloudWatch показники для перегляду та програмного запиту квот SageMaker.
SageMaker допомагає з легкістю створювати, тренувати та розгортати моделі машинного навчання (ML). Щоб дізнатися більше, зверніться до Початок роботи з Amazon SageMaker. Сервісні квоти спрощують керування лімітами, дозволяючи переглядати та керувати своїми квотами для SageMaker із центрального розташування.
За допомогою квот на обслуговування ви можете переглянути максимальну кількість ресурсів, дій або елементів у вашому обліковому записі AWS або регіоні AWS. Ви також можете використовувати квоти послуг, щоб подати запит на збільшення регульованих квот.
Зі збільшенням використання практик MLOps і, отже, попитом на ресурси, призначені для експериментування з моделлю ML та перенавчання, більше клієнтів потребують одночасного запуску кількох екземплярів, часто одного типу.
Багато команд з обробки даних часто працюють паралельно, використовуючи декілька екземплярів для одночасної обробки, навчання та налаштування. Раніше користувачі інколи досягали регулюваного ліміту облікового запису для певного типу екземпляра й змушені були вручну запитувати збільшення ліміту в AWS.
Для запиту збільшення квоти вручну з Інтерфейс користувача квот на обслуговування, ви можете вибрати квоту зі списку та вибрати Запит на збільшення квоти. Для отримання додаткової інформації див Запит на збільшення квоти.
У цій публікації ми покажемо, як ви можете використовувати нові функції для автоматичного запиту збільшення ліміту, коли досягається високий рівень екземплярів.
Огляд рішення
Наступна діаграма ілюструє архітектуру рішення.
Ця архітектура включає наступний робочий процес:
- Метрика CloudWatch відстежує використання ресурсу. Сигнал CloudWatch спрацьовує, коли використання ресурсів перевищує певний попередньо налаштований поріг.
- Повідомлення надіслано на адресу Служба простих сповіщень Amazon (Amazon SNS).
- Повідомлення отримує ан AWS Lambda функції.
- Функція Lambda запитує збільшення квоти.
Окрім запиту на збільшення квоти для певного облікового запису, функція Lambda також може додати збільшення квоти до шаблон організації (до 10 квот). Таким чином, будь-який новий обліковий запис, створений у певній організації AWS, за замовчуванням матиме збільшені запити на квоту.
Передумови
Виконайте такі необхідні кроки:
- Налаштуйте Обліковий запис AWS і створити Управління ідентифікацією та доступом AWS (IAM). Інструкції див Захистіть свій обліковий запис AWS.
- встановити AWS SAM CLI.
Розгорнути за допомогою безсерверної моделі додатків AWS
Щоб розгорнути програму за допомогою GitHub репо, виконайте таку команду в терміналі:
Після розгортання рішення у вас має з’явитися новий сигнал на консолі CloudWatch. Цей сигнал сповіщення відстежує використання екземплярів блокнота SageMaker для екземпляра ml.t3.medium.
Якщо використання вашого ресурсу перевищує 50%, спрацьовує сигналізація, а функція Lambda запитує збільшення.
Якщо ваш обліковий запис є частиною організації AWS і у вас є шаблон запиту квоти увімкнуто, ви також повинні побачити ці збільшення на шаблоні, якщо шаблон має вільні слоти. Таким чином, нові облікові записи цієї організації також мають збільшення, налаштовані під час створення.
Розгорнути за допомогою консолі CloudWatch
Щоб розгорнути програму за допомогою консолі CloudWatch, виконайте такі дії:
- На консолі CloudWatch виберіть Всі сигналізації у навігаційній панелі.
- Вибирати Створити будильник.
- Вибирати Виберіть показник.
- Вибирати Використання.
- Виберіть показник, який потрібно контролювати.
- Виберіть умову, коли ви бажаєте спрацювати будильник.
Більше можливих конфігурацій під час налаштування будильника див Створіть будильник CloudWatch на основі статичного порогу.
- Налаштуйте тему SNS для сповіщення про тривогу.
Ви також можете використовувати Amazon SNS для запуску функції Lambda, коли спрацьовує будильник. Побачити Використання AWS Lambda з Amazon SNS для отримання додаткової інформації.
- для Назва сигналізації, введіть ім'я.
- Вибирати МАЙБУТНІ.
- Вибирати Створити будильник.
Прибирати
Щоб очистити ресурси, створені в рамках цієї публікації, видаліть усі створені стеки. Для цього виконайте таку команду:
Висновок
У цій публікації ми показали, як можна використовувати нову інтеграцію SageMaker із квотами служб для автоматизації запитів на збільшення квот для ресурсів SageMaker. Таким чином, групи дослідження даних можуть ефективно працювати паралельно та зменшити проблеми, пов’язані з недоступністю екземплярів.
Ви можете дізнатися більше про квоти Amazon SageMaker, перейшовши на сторінку документація. Ви також можете дізнатися більше про квоти послуг тут.
Про авторів
Бруно Кляйн є інженером машинного навчання в команді AWS ProServe. Йому особливо подобається створювати засоби автоматизації та покращувати життєвий цикл моделей у виробництві. У вільний час любить проводити час на свіжому повітрі та в походах.
Парас Мехра є старшим менеджером із продуктів в AWS. Він зосереджений на тому, щоб допомогти створити навчання та обробку Amazon SageMaker. У вільний час Парас любить проводити час із сім’єю та кататися на велосипеді районом затоки. Ви можете знайти його на LinkedIn.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :є
- $UP
- 10
- 100
- 7
- 8
- a
- МЕНЮ
- доступ
- доступ до
- рахунки
- Рахунки
- дії
- доповнення
- регульований
- тривога
- ВСІ
- Дозволити
- Amazon
- Amazon SageMaker
- та
- додаток
- архітектура
- ПЛОЩА
- навколо
- AS
- At
- автоматизувати
- автоматично
- доступний
- AWS
- AWS Lambda
- заснований
- затока
- BE
- КРАЩЕ
- передового досвіду
- За
- будувати
- by
- CAN
- CD
- центральний
- певний
- Вибирати
- повний
- стан
- конфігурації
- Консоль
- створювати
- створений
- створення
- створення
- Клієнти
- дані
- наука про дані
- дефолт
- Попит
- розгортання
- розгорнути
- призначені
- фактично
- включений
- інженер
- Що натомість? Створіть віртуальну версію себе у
- Ефір (ETH)
- сім'я
- риси
- знайти
- увагу
- після
- для
- Безкоштовна
- від
- функція
- Git
- даний
- йде
- Мати
- допомогу
- допомагає
- Високий
- піший туризм
- Як
- HTML
- HTTP
- HTTPS
- IAM
- Особистість
- поліпшення
- in
- includes
- Augmenter
- збільшений
- Збільшує
- зростаючий
- інформація
- екземпляр
- інструкції
- інтеграція
- питання
- пунктів
- JPG
- УЧИТЬСЯ
- вивчення
- рівень
- Життєвий цикл
- як
- МЕЖА
- рамки
- список
- розташування
- машина
- навчання за допомогою машини
- зробити
- управляти
- управління
- менеджер
- вручну
- максимальний
- середа
- повідомлення
- метрика
- Метрика
- ML
- MLOps
- модель
- Моделі
- монітор
- монітори
- більше
- множинний
- ім'я
- навігація
- Близько
- Необхідність
- Нові
- Нові можливості
- наступний
- ноутбук
- сповіщення
- номер
- of
- on
- організація
- на відкритому повітрі
- pane
- Паралельні
- частина
- приватність
- особливо
- plato
- Інформація про дані Платона
- PlatoData
- це можливо
- пошта
- практики
- раніше
- обробка
- Product
- менеджер по продукції
- Production
- досягати
- досяг
- Досягає
- реального часу
- отримано
- зменшити
- регіон
- пов'язаний
- запросити
- запитів
- ресурс
- ресурси
- перепідготовка
- дорога
- прогін
- мудрець
- Сем
- то ж
- наука
- старший
- Без сервера
- обслуговування
- кілька
- Повинен
- Показувати
- простий
- ігрові автомати
- рішення
- деякі
- конкретний
- витрачати
- Витрати
- Стеки
- почалася
- заходи
- команда
- команди
- шаблон
- термінал
- Що
- Команда
- їх
- отже
- поріг
- через
- час
- до
- тема
- поїзд
- Навчання
- викликати
- спрацьовує
- правда
- при
- Використання
- використання
- користувач
- користувачі
- вид
- шлях..
- з
- Work
- робочий
- б
- вашу
- зефірнет