Amazon Lookout for Vision – це служба машинного навчання (ML), яка виявляє дефекти та аномалії у візуальних представленнях за допомогою комп’ютерного зору (CV). За допомогою Amazon Lookout for Vision компанії-виробники можуть підвищити якість і знизити експлуатаційні витрати, швидко визначаючи відмінності в зображеннях об’єктів у масштабі.
Багато корпоративних клієнтів хочуть виявити відсутні компоненти в продуктах, пошкодження транспортних засобів або конструкцій, нерівності у виробничих лініях, незначні дефекти кремнієвих пластин та інші подібні проблеми. Amazon Lookout for Vision використовує ML, щоб бачити та розуміти зображення з будь-якої камери так само, як і людина, але з ще вищим ступенем точності та в набагато більшому масштабі. Amazon Lookout for Vision позбавляє від необхідності дорогої та непослідовної перевірки вручну, одночасно покращуючи контроль якості, оцінку дефектів і пошкоджень, а також відповідність. За лічені хвилини ви можете почати використовувати Amazon Lookout for Vision для автоматизації перевірки зображень і об’єктів, не потребуючи досвіду ML.
У цій публікації ми розглянемо, як можна автоматизувати виявлення аномалій у кремнієвих пластинах і сповіщення операторів у режимі реального часу.
Огляд рішення
Відстеження якості продукції на виробничій лінії є складним завданням. На деяких стадіях процесу беруться зображення продукту, які потім перевіряють люди, щоб забезпечити хорошу якість. Завдяки штучному інтелекту ви можете автоматизувати ці завдання виявлення аномалій, але після виявлення аномалій може знадобитися втручання людини. Стандартним підходом є надсилання електронних листів у разі виявлення проблемних продуктів. Ці електронні листи можуть бути пропущені, що може спричинити втрату якості на заводі-виробнику.
У цій публікації ми автоматизуємо процес виявлення аномалій у кремнієвих пластинах і сповіщення операторів у режимі реального часу за допомогою автоматизованих телефонних дзвінків. Наступна схема ілюструє нашу архітектуру. Ми розгортаємо статичний веб-сайт за допомогою AWS Amplify, який служить точкою входу для нашої програми. Щоразу, коли нове зображення завантажується через інтерфейс користувача (1), an AWS Lambda функція викликає модель Amazon Lookout for Vision (2) і передбачає, чи є ця пластина аномальною чи ні. Функція зберігає кожне завантажене зображення Служба простого зберігання Amazon (Amazon S3) (3). Якщо пластина є аномальною, функція надсилає достовірність передбачення Amazon Connect і викликає оператора (4), який може виконати подальші дії (5).
Налаштування Amazon Connect і пов’язаного потоку контактів
Щоб налаштувати Amazon Connect і потік контактів, виконайте такі кроки високого рівня:
- Створіть екземпляр Amazon Connect.
- Налаштуйте потік контактів.
- Вимагайте свій номер телефону.
Створіть екземпляр Amazon Connect
Перший крок - це створити екземпляр Amazon Connect. Для решти налаштування ми використовуємо значення за замовчуванням, але не забудьте створити логін адміністратора.
Створення екземпляра може зайняти кілька хвилин, після чого ми зможемо ввійти в екземпляр Amazon Connect за допомогою облікового запису адміністратора, який ми створили.
Налаштування контактного потоку
У цій публікації ми маємо попередньо визначений потік контактів, який ми можемо імпортувати. Щоб отримати додаткові відомості про імпорт наявного потоку контактів, див Потоки контактів імпорту/експорту.
- Виберіть файл
contact-flow/wafer-anomaly-detection
від GitHub репо. - Вибирати Імпортувати.
Потік імпортованих контактів виглядає подібно до наступного знімка екрана.
- Розгорніть сторінку з інформацією про потік Показати додаткову інформацію про потік.
Тут ви можете знайти ARN потоку контактів.
- Запишіть ідентифікатор потоку контактів і ідентифікатор контакт-центру, які вам знадобляться пізніше.
Заявіть свій номер телефону
Заявка на номер легко і займає лише кілька кліків. Переконайтеся, що ви вибрали попередньо імпортований потік контактів під час отримання номера.
Якщо у вибраній країні немає доступних номерів, зверніться до служби підтримки.
Огляд потоку контактів
На наступному знімку екрана показано наш потік контактів.
Контактний потік виконує такі функції:
- Увімкнути ведення журналу
- Встановіть вихід Амазонка Поллі голос (для цієї публікації ми використовуємо голос Кендри)
- Отримайте дані від клієнта за допомогою DTMF (дійсні лише клавіші 1 і 2).
- На основі введення користувача потік виконує одну з таких дій:
- Запропонуйте прощальне повідомлення про те, що жодних дій не буде вжито, і вийдіть
- Підкажіть прощальне повідомлення про виконання дії та вийдіть
- Вийти з ладу та надати резервний блок із зазначенням, що машина вимкнеться та вийде
За бажанням ви можете покращити свою систему за допомогою Амазон Лекс бот.
Розгорніть рішення
Тепер, коли ви налаштували Amazon Connect, розгорнули потік контактів і записали інформацію, необхідну для решти розгортання, ми можемо розгорнути інші компоненти. У клонованому сховищі GitHub відредагуйте build.sh
скрипт і запустіть його з командного рядка:
Надайте наступну інформацію:
- Ваш регіон
- Назва сегмента S3, яку ви хочете використовувати (переконайтеся, що назва містить слово
sagemaker
). - Назва проекту Amazon Lookout for Vision, який ви хочете використовувати
- Ідентифікатор вашого потоку контактів
- Ваш ідентифікатор екземпляра Amazon Connect
- Номер, який ви заявили в Amazon Connect у форматі E.164 (наприклад, +132398765)
- Назва для AWS CloudFormation стек, створений за допомогою цього сценарію
Потім цей сценарій виконує такі дії:
- Створіть для себе відро S3
- Створіть файли .zip для вашої функції Lambda
- Завантажте шаблон CloudFormation і функцію Lambda у свій новий сегмент S3
- Створіть стек CloudFormation
Після розгортання стека ви можете знайти такі ресурси, створені на консолі AWS CloudFormation.
Ви можете бачити, що ан Amazon SageMaker зошит дзвонив amazon-lookout-vision-create-project
також створюється.
Створіть, навчіть і розгорніть модель Amazon Lookout for Vision
У цьому розділі ми побачимо, як створити, навчити та розгорнути модель Amazon Lookout for Vision за допомогою Python SDK з відкритим кодом. Додаткову інформацію про Amazon Lookout для Vision Python SDK див це повідомлення у блозі.
Ви можете створити модель за допомогою Консоль управління AWS. Для програмного розгортання виконайте такі кроки:
- На консолі SageMaker на Екземпляри ноутбуків перейдіть до екземпляра блокнота SageMaker, який було створено раніше, вибравши Відкрити Юпітер.
У екземплярі ви можете знайти GitHub сховище Amazon Lookout for Vision Python SDK автоматично клоновано.
- Перейдіть до
amazon-lookout-for-vision-python-sdk/example
папку.
Папка містить приклад блокнота, який допоможе вам створити, навчати та розгортати модель. Перш ніж почати, вам потрібно завантажити зображення, які використовуватимуться для навчання моделі, у ваш екземпляр блокнота.
- У
example/
створіть дві нові папки з іменамиgood
таbad
. - Перейдіть до обох папок і завантажте свої зображення відповідно.
Приклади зображень знаходяться в завантаженому репозиторії GitHub.
- Після завантаження зображень відкрийте файл
lookout_for_vision_example.ipynb
зошит.
Блокнот проведе вас через процес створення моделі. Один важливий крок, який ви повинні зробити спочатку, це надати таку інформацію:
Ви можете ігнорувати розділ висновків, але можете також пограти з цією частиною зошита. Оскільки ви тільки починаєте, ви можете піти model_version
встановлений в "1
".
для input_bucket
та project_name
, використовуйте сегмент S3 і назву проекту Amazon Lookout for Vision, які надаються як частина build.sh
сценарій. Потім ви можете запустити кожну клітинку в блокноті, що успішно розгорне модель.
Ви можете переглядати показники навчання за допомогою SDK, але ви також можете знайти їх на консолі. Для цього відкрийте свій проект, перейдіть до моделей і виберіть модель, яку ви навчили. Показники доступні на Показники ефективності Вкладка.
Тепер ви готові розгорнути статичний веб-сайт, який може викликати вашу модель на вимогу.
Розгорніть статичний веб-сайт
Ваш перший крок — додати кінцеву точку вашого API -шлюз Amazon до вихідного коду вашого статичного веб-сайту.
- На консолі API Gateway знайдіть виклик REST API
LookoutVisionAPI
. - Відкрийте API та виберіть стажування.
- У спадному меню сцени (для цієї публікації DEV), виберіть POST
- Скопіюйте значення для Викликати URL.
Ми додаємо URL-адресу до вихідного коду HTML.
- Відкрийте файл
html/index.html
.
У кінці файлу ви можете знайти розділ, який використовує jQuery для запуску запиту AJAX. Один ключ називається url
, яке має порожній рядок як значення.
- Введіть URL-адресу, яку ви скопіювали, як нову
url
значення та збережіть файл.
Код має виглядати приблизно так:
- перетворити
index.html
файл у файл .zip. - На консолі AWS Amplify виберіть програму
ObjectTracking
.
Сторінка зовнішнього середовища вашої програми відкривається автоматично.
- Select Розгорнути без постачальника Git.
Ви можете вдосконалити цю частину, щоб підключити AWS Amplify до Git і автоматизувати все розгортання.
- Вибирати Підключити гілку.
- для Назва середовища¸ введіть назву (для цієї публікації ми вводимо
dev
). - для Методвиберіть Перетягніть.
- Вибирати Виберіть файли щоб завантажити
index.html.zip
файл, який ви створили. - Вибирати Збережіть і розгорніть.
Після успішного розгортання ви можете використовувати свій веб-додаток, вибравши домен, який відображається в AWS Amplify.
Виявляти аномалії
Щиро вітаю! Ви щойно створили рішення для автоматизованого виявлення аномалій у кремнієвих пластинах і сповіщення оператора про вжиття відповідних заходів. Дані, які ми використовуємо для Amazon Lookout for Vision, — це пластинчаста карта, взята з Вікіпедії. Було додано кілька «поганих» місць, щоб імітувати реальні сценарії у виробництві напівпровідників.
Після розгортання рішення ви можете запустити тест, щоб побачити, як воно працює. Коли ви відкриваєте домен AWS Amplify, ви бачите веб-сайт, який дозволяє завантажити зображення. Для цієї публікації ми представляємо результат виявлення поганої пластини з так званим малюнком пончика. Після того як ви завантажите зображення, воно відобразиться на вашому веб-сайті.
Якщо зображення виявлено як аномалію, Amazon Connect дзвонить на ваш номер телефону, і ви можете взаємодіяти зі службою.
Висновок
У цьому дописі ми використовували Amazon Lookout для Vision, щоб автоматизувати виявлення аномалій у кремнієвих пластинах і сповістити оператора в режимі реального часу за допомогою Amazon Connect, щоб він міг вжити необхідних заходів.
Це рішення не пов’язане лише з вафлями. Ви можете поширити його на відстеження об’єктів на транспорті, продуктів на виробництві та інші безмежні можливості.
Про авторів
Толла Червенка є архітектором глобальних рішень AWS, сертифікованим у сфері даних і аналітики. Вона використовує мистецтво можливого підходу, щоб працювати у зворотному напрямку від бізнес-цілей, щоб розробити трансформаційні архітектури даних, керовані подіями, які дозволяють приймати рішення на основі даних. Крім того, вона захоплена створенням директивних рішень для рефакторингу критично важливих монолітних робочих навантажень для мікросервісів, ланцюжків поставок і підключених фабрик, які використовують IOT, машинне навчання, великі дані та аналітичні послуги.
Майкл Волнер є глобальним спеціалістом із вивчення даних із професійними послугами AWS і прагне надати клієнтам можливість стати AWSome у їхній подорожі AI/ML у хмарі. Окрім глибокого інтересу до Amazon Connect, він любить спорт і любить готувати.
Kритівасан Баласубраманіян є головним консультантом Amazon Web Services. Він допомагає глобальним корпоративним клієнтам у їхній подорожі цифрової трансформації та допомагає архітектору хмарних рішень.
- доступ
- рахунки
- дію
- Додатковий
- адмін
- Amazon
- Amazon Web Services
- аналітика
- виявлення аномалії
- API
- додаток
- додаток
- архітектура
- навколо
- Art
- штучний інтелект
- Автоматизований
- AWS
- Блог
- Бот
- будувати
- Створюємо
- бізнес
- call
- Викликати
- хмара
- Хмара рідна
- код
- Компанії
- дотримання
- Комп'ютерне бачення
- довіра
- консультант
- приготування
- витрати
- створення
- Клієнти
- дані
- вчений даних
- Попит
- Виявлення
- розвивати
- цифровий
- цифрове перетворення
- Кінцева точка
- підприємство
- корпоративні клієнти
- Навколишнє середовище
- Розширювати
- Перший
- потік
- формат
- Безкоштовна
- функція
- Git
- GitHub
- Глобальний
- добре
- Як
- How To
- HTTPS
- Людей
- ідентифікувати
- зображення
- імпорт
- Augmenter
- інформація
- Інтелект
- інтерес
- КАТО
- IT
- ключ
- ключі
- вивчення
- Важіль
- Лінія
- навчання за допомогою машини
- управління
- виробництво
- карта
- Метрика
- Місія
- ML
- модель
- номера
- відкрити
- Відкриється
- порядок
- Інше
- Викрійки
- прогноз
- представити
- Product
- Production
- Продукти
- проект
- Python
- якість
- підвищення
- читач
- зменшити
- ресурси
- REST
- огляд
- прогін
- біг
- мудрець
- шкала
- Sdk
- напівпровідник
- Послуги
- комплект
- простий
- So
- Рішення
- SPORTS
- старт
- почалася
- зберігання
- магазинів
- успіх
- успішний
- поставка
- ланцюжка поставок
- підтримка
- система
- тест
- час
- трек
- Відстеження
- Навчання
- Перетворення
- транспорт
- ui
- значення
- Транспортні засоби
- вид
- бачення
- Голос
- Web
- веб-сервіси
- веб-сайт
- ВООЗ
- Вікіпедія
- Work
- працює