Amazon Lookout для видения — это служба машинного обучения (ML), которая выявляет дефекты и аномалии в визуальных представлениях с помощью компьютерного зрения (CV). С помощью Amazon Lookout for Vision производственные компании могут повысить качество и снизить эксплуатационные расходы, быстро выявляя различия в изображениях объектов в масштабе.
Многие корпоративные клиенты хотят выявлять недостающие компоненты в продуктах, повреждения транспортных средств или конструкций, неисправности в производственных линиях, незначительные дефекты кремниевых пластин и другие подобные проблемы. Amazon Lookout for Vision использует машинное обучение, чтобы видеть и понимать изображения с любой камеры, как человек, но с еще более высокой степенью точности и в гораздо большем масштабе. Amazon Lookout for Vision устраняет необходимость дорогостоящей и непоследовательной ручной проверки, улучшая при этом контроль качества, оценку дефектов и повреждений и соблюдение нормативных требований. Уже через несколько минут вы сможете начать использовать Amazon Lookout for Vision для автоматизации проверки изображений и объектов, при этом не требуется знаний в области машинного обучения.
В этом посте мы рассмотрим, как мы можем автоматизировать обнаружение аномалий в кремниевых пластинах и уведомлять операторов в режиме реального времени.
Обзор решения
Отслеживание качества продукции на производственной линии является сложной задачей. На некоторых этапах процесса используются изображения продукта, которые люди затем просматривают, чтобы обеспечить хорошее качество. Благодаря искусственному интеллекту вы можете автоматизировать эти задачи обнаружения аномалий, но после обнаружения аномалий может потребоваться вмешательство человека. Стандартный подход — отправка электронных писем при обнаружении проблемных продуктов. Эти электронные письма могут быть пропущены, что может привести к снижению качества на заводе-изготовителе.
В этом посте мы автоматизируем процесс обнаружения аномалий в кремниевых пластинах и уведомляем операторов в режиме реального времени с помощью автоматических телефонных звонков. Следующая диаграмма иллюстрирует нашу архитектуру. Разворачиваем статический сайт с помощью АМС Усиление, который служит точкой входа для нашего приложения. Всякий раз, когда новое изображение загружается через пользовательский интерфейс (1), AWS Lambda Функция вызывает модель Amazon Lookout for Vision (2) и предсказывает, является ли эта вафля аномальной или нет. Функция сохраняет каждое загруженное изображение в Простой сервис хранения Amazon (Амазонка S3) (3). Если пластина аномальна, функция отправляет достоверность прогноза в Амазон Коннект и вызывает оператора (4), который может предпринять дальнейшие действия (5).
Настройка Amazon Connect и связанного потока контактов
Чтобы настроить Amazon Connect и поток контактов, выполните следующие высокоуровневые шаги:
- Создайте экземпляр Amazon Connect.
- Настройте поток контактов.
- Заявите свой номер телефона.
Создайте экземпляр Amazon Connect
Первым шагом является создать экземпляр Amazon Connect. Для остальной части настройки мы используем значения по умолчанию, но не забываем создать логин администратора.
Создание экземпляра может занять несколько минут, после чего мы можем войти в экземпляр Amazon Connect, используя созданную нами учетную запись администратора.
Настройка потока контактов
В этом посте у нас есть предопределенный поток контактов, который мы можем импортировать. Дополнительные сведения об импорте существующего потока контактов см. Контактные потоки импорта / экспорта.
- Выберите файл
contact-flow/wafer-anomaly-detection
из Репо GitHub. - Выберите Импортировать.
Импортированный поток контактов выглядит примерно так, как показано на следующем снимке экрана.
- На странице сведений о потоке разверните Показать дополнительную информацию о потоке.
Здесь вы можете найти ARN потока контактов.
- Запишите идентификатор потока контактов и идентификатор контакт-центра, которые понадобятся позже.
Заявите свой номер телефона
Запрос номера легко и занимает всего несколько кликов. При запросе номера обязательно выберите ранее импортированный поток контактов.
Если в выбранной вами стране нет доступных номеров, создайте заявку в службу поддержки.
Обзор потока контактов
На следующем снимке экрана показан наш поток контактов.
Контактный поток выполняет следующие функции:
- Включить ведение журнала
- Установите выход Amazon Polly голос (для этого поста мы используем голос Кендры)
- Получите ввод от клиента с помощью DTMF (действительны только клавиши 1 и 2).
- В зависимости от ввода пользователя поток выполняет одно из следующих действий:
- Появится прощальное сообщение о том, что никаких действий предприниматься не будет, и выйти.
- Запросить прощальное сообщение о том, что действие будет выполнено, и выйти
- Сбой и предоставление резервного блока, в котором говорится, что машина выключится и выйдет
При желании вы можете усовершенствовать свою систему с помощью Amazon Lex бот.
Разверните решение
Теперь, когда вы настроили Amazon Connect, развернули поток контактов и отметили информацию, необходимую для остальной части развертывания, мы можем развернуть оставшиеся компоненты. В клонированном репозитории GitHub отредактируйте build.sh
script и запустите его из командной строки:
Предоставьте следующую информацию:
- Ваш регион
- Имя корзины S3, которое вы хотите использовать (убедитесь, что имя включает слово
sagemaker
). - Название проекта Amazon Lookout for Vision, который вы хотите использовать.
- Идентификатор вашего потока контактов
- Идентификатор вашего экземпляра Amazon Connect
- Номер, который вы заявили в Amazon Connect в формате E.164 (например, +132398765).
- Имя для AWS CloudFormation стек, который вы создаете, запустив этот скрипт
Затем этот скрипт выполняет следующие действия:
- Создайте для себя корзину S3
- Создайте ZIP-файлы для своей лямбда-функции.
- Загрузите шаблон CloudFormation и функцию Lambda в новую корзину S3.
- Создайте стек CloudFormation
После развертывания стека вы можете найти следующие ресурсы, созданные в консоли AWS CloudFormation.
Вы можете видеть, что Создатель мудреца Амазонки записная книжка называется amazon-lookout-vision-create-project
тоже создается.
Создание, обучение и развертывание модели Amazon Lookout for Vision
В этом разделе мы увидим, как создавать, обучать и развертывать модель Amazon Lookout for Vision с помощью Python SDK с открытым исходным кодом. Дополнительные сведения об Amazon Lookout for Vision Python SDK см. это сообщение в блоге.
Вы можете построить модель через Консоль управления AWS. Для программного развертывания выполните следующие шаги:
- На консоли SageMaker, на Экземпляры ноутбуков на странице откройте экземпляр блокнота SageMaker, который был создан ранее, выбрав Откройте Юпитер.
В экземпляре вы можете найти Репозиторий GitHub Amazon Lookout for Vision Python SDK автоматически клонируется.
- Перейдите в
amazon-lookout-for-vision-python-sdk/example
папку.
Папка содержит пример записной книжки, в которой описаны этапы создания, обучения и развертывания модели. Прежде чем приступить к работе, вам необходимо загрузить изображения, чтобы использовать их для обучения модели, в свой экземпляр записной книжки.
- В
example/
папку, создайте две новые папки с именамиgood
иbad
. - Перейдите в обе папки и соответственно загрузите изображения.
Примеры изображений находятся в загруженном репозитории GitHub.
- После загрузки изображений откройте
lookout_for_vision_example.ipynb
Блокнот.
Блокнот проведет вас через процесс создания вашей модели. Один важный шаг, который вы должны сделать в первую очередь, это предоставить следующую информацию:
Вы можете игнорировать раздел логического вывода, но вы также можете поиграть с этой частью блокнота. Поскольку вы только начинаете, вы можете уйти model_version
установлен в "1
».
Что касается input_bucket
и project_name
, используйте корзину S3 и имя проекта Amazon Lookout for Vision, которые предоставляются как часть build.sh
сценарий. Затем вы можете запустить каждую ячейку в записной книжке, которая успешно развернет модель.
Вы можете просмотреть показатели обучения с помощью SDK, но вы также можете найти их в консоли. Для этого откройте свой проект, перейдите к моделям и выберите модель, которую вы обучили. Метрики доступны на Показатели эффективности меню.
Теперь вы готовы развернуть статический веб-сайт, который может вызывать вашу модель по запросу.
Разверните статический веб-сайт
Ваш первый шаг — добавить конечную точку вашего Шлюз API Amazon к исходному коду вашего статического веб-сайта.
- В консоли API Gateway найдите REST API с именем
LookoutVisionAPI
. - Откройте API и выберите Стажировки.
- В раскрывающемся меню сцены (для этого поста DEV), выбрать POST
- Скопируйте значение для Вызвать URL.
Мы добавляем URL в исходный код HTML.
- Открыть файл
html/index.html
.
В конце файла вы можете найти раздел, который использует jQuery для запуска запроса AJAX. Один ключ называется url
, значением которого является пустая строка.
- Введите URL-адрес, который вы скопировали, в качестве нового
url
значение и сохраните файл.
Код должен выглядеть примерно так:
- Преобразовать
index.html
файл в ZIP-файл. - В консоли AWS Amplify выберите приложение
ObjectTracking
.
Страница внешней среды вашего приложения открывается автоматически.
- Выберите Развертывание без провайдера Git.
Вы можете улучшить эту часть, чтобы подключить AWS Amplify к Git и автоматизировать все развертывание.
- Выберите Подключить ветку.
- Что касается Имя среды¸ введите имя (для этого поста мы вводим
dev
). - Что касается Способ доставки, наведите на Перетащите.
- Выберите Выбрать файлы загрузить
index.html.zip
созданный вами файл. - Выберите Сохранить и развернуть.
После успешного развертывания вы можете использовать свое веб-приложение, выбрав домен, отображаемый в AWS Amplify.
Обнаружение аномалий
Поздравляем! Вы только что создали решение для автоматизации обнаружения аномалий в кремниевых пластинах и оповещения оператора о необходимости принятия соответствующих мер. Данные, которые мы используем для Amazon Lookout for Vision, представляют собой вафельную карту, взятую из Википедии. Было добавлено несколько «плохих» точек, чтобы имитировать реальные сценарии производства полупроводников.
После развертывания решения вы можете запустить тест, чтобы увидеть, как оно работает. Когда вы открываете домен AWS Amplify, вы видите веб-сайт, на котором можно загрузить изображение. В этом посте мы представляем результат обнаружения плохой пластины с так называемым шаблоном пончика. После загрузки изображения оно отображается на вашем веб-сайте.
Если изображение обнаружено как аномальное, Amazon Connect позвонит на ваш номер телефона, и вы сможете взаимодействовать со службой.
Заключение
В этом посте мы использовали Amazon Lookout for Vision для автоматизации обнаружения аномалий в кремниевых пластинах и оповещения оператора в режиме реального времени с помощью Amazon Connect, чтобы он мог принять необходимые меры.
Это решение не ограничивается только пластинами. Вы можете расширить его для отслеживания объектов на транспорте, продуктов в производстве и других бесконечных возможностей.
Об авторах
Толла Червенка является архитектором глобальных решений AWS, сертифицированным в области данных и аналитики. Она использует искусство возможного подхода для работы в обратном направлении от бизнес-целей для разработки преобразующих архитектур данных, управляемых событиями, которые позволяют принимать решения на основе данных. Кроме того, она увлечена созданием предписывающих решений для рефакторинга критически важных монолитных рабочих нагрузок с микросервисами, цепочками поставок и подключенными фабриками, которые используют услуги Интернета вещей, машинного обучения, больших данных и аналитики.
Майкл Валлнер является специалистом по глобальным данным в AWS Professional Services и стремится дать возможность клиентам на пути AI / ML в облаке стать AWSome. Помимо глубокого интереса к Amazon Connect, он любит спорт и готовит.
KРитивасан Баласубраманьян является главным консультантом Amazon Web Services. Он помогает корпоративным клиентам по всему миру пройти путь цифровой трансформации и помогает разрабатывать облачные решения.
- доступ
- Учетная запись
- Действие
- дополнительный
- Администратор
- Amazon
- Amazon Web Services
- аналитика
- обнаружение аномалии
- API
- приложение
- Применение
- архитектура
- около
- Искусство
- искусственный интеллект
- Автоматизированный
- AWS
- Блог
- Бот
- строить
- Строительство
- бизнес
- призывают
- Вызывать
- облако
- Облако родное
- код
- Компании
- Соответствие закону
- Компьютерное зрение
- доверие
- консультант
- приготовление
- Расходы
- Создающий
- Клиенты
- данным
- ученый данных
- Спрос
- обнаружение
- развивать
- Интернет
- цифровое преобразование
- Конечная точка
- Предприятие
- корпоративные клиенты
- Окружающая среда
- Расширьте
- First
- поток
- формат
- Бесплатно
- функция
- идти
- GitHub
- Глобальный
- хорошо
- Как
- How To
- HTTPS
- Людей
- определения
- изображение
- импортирующий
- Увеличение
- информация
- Интеллекта
- интерес
- КАТО
- IT
- Основные
- ключи
- изучение
- Кредитное плечо
- линия
- обучение с помощью машины
- управление
- производство
- карта
- Метрика
- Наша миссия
- ML
- модель
- номера
- открытый
- Откроется
- заказ
- Другие контрактные услуги
- шаблон
- прогноз
- представить
- Продукт
- Производство
- Продукция
- Проект
- Питон
- повышение
- читатель
- уменьшить
- Полезные ресурсы
- ОТДЫХ
- обзоре
- Run
- Бег
- sagemaker
- Шкала
- SDK
- полупроводник
- Услуги
- набор
- просто
- So
- Решения
- Спорт
- Начало
- и политические лидеры
- диск
- магазины
- успех
- успешный
- поставка
- цепочками поставок
- поддержка
- система
- тестXNUMX
- время
- трек
- Отслеживание
- Обучение
- трансформация
- трансфер
- ui
- ценностное
- Транспорт
- Вид
- видение
- Режимы
- Web
- веб-сервисы
- Вебсайт
- КТО
- Википедия.
- Работа
- работает