Amazon Lookout para la visión es un servicio de aprendizaje automático (ML) que detecta defectos y anomalías en las representaciones visuales mediante visión por computadora (CV). Con Amazon Lookout for Vision, las empresas de fabricación pueden aumentar la calidad y reducir los costos operativos al identificar rápidamente las diferencias en las imágenes de los objetos a escala.
Muchos clientes empresariales desean identificar componentes faltantes en productos, daños a vehículos o estructuras, irregularidades en las líneas de producción, defectos minúsculos en las obleas de silicio y otros problemas similares. Amazon Lookout for Vision usa ML para ver y comprender imágenes de cualquier cámara como lo haría una persona, pero con un grado aún mayor de precisión y a una escala mucho mayor. Amazon Lookout for Vision elimina la necesidad de una inspección manual costosa e inconsistente, al tiempo que mejora el control de calidad, la evaluación de defectos y daños y el cumplimiento. En cuestión de minutos, puede comenzar a utilizar Amazon Lookout for Vision para automatizar la inspección de imágenes y objetos, sin necesidad de conocimientos especializados en ML.
En esta publicación, veremos cómo podemos automatizar la detección de anomalías en las obleas de silicio y notificar a los operadores en tiempo real.
Resumen de la solución
Hacer un seguimiento de la calidad de los productos en una línea de fabricación es una tarea desafiante. Algunos pasos del proceso toman imágenes del producto que los humanos luego revisan para asegurar una buena calidad. Gracias a la inteligencia artificial, puede automatizar estas tareas de detección de anomalías, pero puede ser necesaria la intervención humana después de que se detecten las anomalías. Un enfoque estándar es enviar correos electrónicos cuando se detectan productos problemáticos. Estos correos electrónicos pueden pasarse por alto, lo que podría causar una pérdida de calidad en una planta de fabricación.
En este post, automatizamos el proceso de detección de anomalías en obleas de silicio y notificamos a los operadores en tiempo real mediante llamadas telefónicas automatizadas. El siguiente diagrama ilustra nuestra arquitectura. Implementamos un sitio web estático usando AWS amplificar, que sirve como punto de entrada para nuestra aplicación. Siempre que se carga una nueva imagen a través de la interfaz de usuario (1), AWS Lambda La función invoca el modelo Amazon Lookout for Vision (2) y predice si esta oblea es anómala o no. La función almacena cada imagen cargada en Servicio de almacenamiento simple de Amazon (Amazon S3) (3). Si la oblea es anómala, la función envía la confianza de la predicción a Amazon conectar y llama a un operador (4), que puede tomar medidas adicionales (5).
Configuración de Amazon Connect y el flujo de contactos asociado
Para configurar Amazon Connect y el flujo de contactos, complete los siguientes pasos de alto nivel:
- Cree una instancia de Amazon Connect.
- Configure el flujo de contacto.
- Reclama tu número de teléfono.
Cree una instancia de Amazon Connect
El primer paso es crear una instancia de Amazon Connect. Para el resto de la configuración, usamos los valores predeterminados, pero no olvide crear un inicio de sesión de administrador.
La creación de la instancia puede tardar unos minutos, después de lo cual podemos iniciar sesión en la instancia de Amazon Connect con la cuenta de administrador que creamos.
Configurar el flujo de contacto
En esta publicación, tenemos un flujo de contacto predefinido que podemos importar. Para obtener más información sobre cómo importar un flujo de contactos existente, consulte Importar / exportar flujos de contacto.
- Elige el archivo
contact-flow/wafer-anomaly-detection
del desplegable Repositorio GitHub. - Elige Importa.
El flujo de contactos importados es similar a la siguiente captura de pantalla.
- En la página de detalles del flujo, expanda Mostrar información de flujo adicional.
Aquí puede encontrar el ARN del flujo de contacto.
- Registre la ID del flujo de contactos y la ID del centro de contactos, que necesitará más adelante.
Reclama tu número de teléfono
Reclamar un número es fácil y solo requiere unos pocos clics. Asegúrese de elegir el flujo de contacto importado anteriormente al reclamar el número.
Si no hay números disponibles en el país de su elección, genere un ticket de soporte.
Descripción general del flujo de contactos
La siguiente captura de pantalla muestra nuestro flujo de contactos.
El flujo de contactos realiza las siguientes funciones:
- Habilitar el registro
- Establecer la salida Amazon Polly voz (para esta publicación, usamos la voz de Kendra)
- Obtenga información del cliente mediante DTMF (solo las teclas 1 y 2 son válidas).
- Según la entrada del usuario, el flujo realiza una de las siguientes acciones:
- Indique un mensaje de despedida que indique que no se tomará ninguna medida y saldrá
- Indicar un mensaje de despedida indicando que se tomará una acción y salir
- Fallar y entregar un bloque de respaldo que indique que la máquina se apagará y saldrá
Opcionalmente, puede mejorar su sistema con un Amazon lex larva del moscardón.
Implementar la solución
Ahora que configuró Amazon Connect, implementó su flujo de contactos y anotó la información que necesita para el resto de la implementación, podemos implementar los componentes restantes. En el repositorio de GitHub clonado, edite el build.sh
script y ejecútelo desde la línea de comando:
Provee la siguiente informacion:
- Tu Región
- El nombre del bucket de S3 que desea usar (asegúrese de que el nombre incluya la palabra
sagemaker
). - El nombre del proyecto Amazon Lookout for Vision que desea utilizar.
- El ID de su flujo de contacto
- Su ID de instancia de Amazon Connect
- El número que ha reclamado en Amazon Connect en formato E.164 (por ejemplo, +132398765)
- Un nombre para el Formación en la nube de AWS pila que crea ejecutando este script
Este script luego realiza las siguientes acciones:
- Cree un bucket de S3 para usted
- Cree los archivos .zip para su función Lambda
- Cargue la plantilla de CloudFormation y la función Lambda a su nuevo bucket de S3
- Crea la pila de CloudFormation
Una vez implementada la pila, puede encontrar los siguientes recursos creados en la consola de AWS CloudFormation.
Puedes ver que un Amazon SageMaker cuaderno llamado amazon-lookout-vision-create-project
también se crea.
Cree, entrene e implemente el modelo Amazon Lookout for Vision
En esta sección, vemos cómo construir, entrenar e implementar el modelo de Amazon Lookout for Vision utilizando el SDK de Python de código abierto. Para obtener más información sobre Amazon Lookout for Vision Python SDK, consulte esta entrada del blog.
Puede construir el modelo a través del Consola de administración de AWS. Para la implementación programática, complete los siguientes pasos:
- En la consola de SageMaker, en el Instancias de cuaderno página, acceda a la instancia de cuaderno de SageMaker que se creó anteriormente seleccionando Abra Jupyter.
En la instancia, puede encontrar el Repositorio GitHub del SDK de Amazon Lookout for Vision Python clonado automáticamente.
- Navega por el
amazon-lookout-for-vision-python-sdk/example
carpeta.
La carpeta contiene un cuaderno de ejemplo que le guía a través de la creación, el entrenamiento y la implementación de un modelo. Antes de comenzar, debe cargar las imágenes que se usarán para entrenar el modelo en su instancia de notebook.
- En
example/
carpeta, cree dos nuevas carpetas con el nombregood
ybad
. - Navegue por ambas carpetas y cargue sus imágenes en consecuencia.
Las imágenes de ejemplo están en el repositorio de GitHub descargado.
- Después de cargar las imágenes, abra el
lookout_for_vision_example.ipynb
cuaderno.
El cuaderno lo guía a través del proceso de creación de su modelo. Un paso importante que debe hacer primero es proporcionar la siguiente información:
Puede ignorar la sección de inferencia, pero siéntase libre de jugar también con esta parte del cuaderno. Porque recién estás comenzando, puedes irte model_version
ajustado a "1
.
input_bucket
y project_name
, use el bucket de S3 y el nombre del proyecto de Amazon Lookout for Vision que se proporcionan como parte del build.sh
texto. Luego, puede ejecutar cada celda en el cuaderno, lo que implementa con éxito el modelo.
Puede ver las métricas de entrenamiento con el SDK, pero también puede encontrarlas en la consola. Para hacerlo, abra su proyecto, navegue hasta los modelos y elija el modelo que ha entrenado. Las métricas están disponibles en el Métricas de rendimiento .
Ahora está listo para implementar un sitio web estático que puede llamar a su modelo a pedido.
Implementar el sitio web estático
Su primer paso es agregar el punto final de su Puerta de enlace API de Amazon al código fuente de su sitio web estático.
- En la consola de API Gateway, busque la API REST llamada
LookoutVisionAPI
. - Abra la API y elija Cíclos.
- En el menú desplegable del escenario (para esta publicación, dev), elegir la PUBLICAR
- Copie el valor de Invocar URL.
Agregamos la URL al código fuente HTML.
- Abra el archivo
html/index.html
.
Al final del archivo, puede encontrar una sección que usa jQuery para activar una solicitud AJAX. Una clave se llama url
, que tiene una cadena vacía como valor.
- Ingrese la URL que copió como su nueva
url
valor y guarde el archivo.
El código debería tener un aspecto similar al siguiente:
- Convertir el
index.html
archivo a un archivo .zip. - En la consola de AWS Amplify, elija la aplicación
ObjectTracking
.
La página del entorno de front-end de su aplicación se abre automáticamente.
- Seleccione Implementar sin el proveedor de Git.
Puede mejorar esta pieza para conectar AWS Amplify a Git y automatizar toda su implementación.
- Elige Conectar rama.
- Nombre del entorno¸ ingrese un nombre (para esta publicación, ingresamos
dev
). - Método, seleccione Arrastrar y soltar.
- Elige Seleccionar archivos para subir el
index.html.zip
archivo que creó. - Elige Guardar e implementar.
Una vez que la implementación se haya realizado correctamente, puede utilizar su aplicación web eligiendo el dominio que se muestra en AWS Amplify.
Detecta anomalías
¡Felicidades! Acaba de crear una solución para automatizar la detección de anomalías en obleas de silicio y alertar al operador para que tome las medidas adecuadas. Los datos que utilizamos para Amazon Lookout for Vision son un mapa de obleas tomado de Wikipedia. Se han agregado algunos puntos "malos" para imitar escenarios del mundo real en la fabricación de semiconductores.
Después de implementar la solución, puede ejecutar una prueba para ver cómo funciona. Cuando abre el dominio de AWS Amplify, ve un sitio web que le permite cargar una imagen. Para esta publicación, presentamos el resultado de detectar una oblea defectuosa con el llamado patrón de rosquilla. Después de cargar la imagen, se muestra en su sitio web.
Si la imagen se detecta como una anomalía, Amazon Connect llama a su número de teléfono y puede interactuar con el servicio.
Conclusión
En esta publicación, usamos Amazon Lookout for Vision para automatizar la detección de anomalías en las obleas de silicio y alertar a un operador en tiempo real usando Amazon Connect para que pueda tomar las medidas necesarias.
Esta solución no se limita a las obleas. Puede extenderlo al seguimiento de objetos en el transporte, productos en la fabricación y otras infinitas posibilidades.
Acerca de los autores
Tolla Cherwenka es un arquitecto de soluciones globales de AWS certificado en datos y análisis. Ella utiliza un arte del enfoque posible para trabajar hacia atrás desde los objetivos comerciales para desarrollar arquitecturas de datos transformadoras impulsadas por eventos que permiten decisiones impulsadas por datos. Además, le apasiona crear soluciones prescriptivas para la refactorización en cargas de trabajo monolíticas de misión crítica para microservicios, cadena de suministro y fábricas conectadas que aprovechan IOT, aprendizaje automático, big data y servicios de análisis.
miguel wallner es un científico de datos global con AWS Professional Services y le apasiona permitir que los clientes en su viaje de IA / ML en la nube se conviertan en AWSome. Además de tener un profundo interés en Amazon Connect, le gustan los deportes y disfruta cocinar.
KRithivasan Balasubramaniyan es consultor principal de Amazon Web Services. Él permite a los clientes empresariales globales en su viaje de transformación digital y ayuda a diseñar soluciones nativas en la nube.
- de la máquina
- Mi Cuenta
- la columna Acción
- Adicionales
- Admin
- Amazon
- Amazon Web Services
- Analytics
- Detección de anomalías
- abejas
- applicación
- Aplicación
- arquitectura
- en torno a
- Arte
- inteligencia artificial
- Confirmación de Viaje
- AWS
- Blog
- Bot
- build
- Construir la
- llamar al
- Causar
- Soluciones
- nativo de la nube
- código
- Empresas
- compliance
- Visión por computador
- confianza
- consultor
- cocinar
- Precio
- Creamos
- Clientes
- datos
- científico de datos
- Demanda
- Detección
- desarrollar
- digital
- Transformación Digital
- Punto final
- Empresa
- clientes empresariales
- Entorno
- Expandir
- Nombre
- de tus señales
- formato
- Gratuito
- función
- Git
- GitHub
- Buscar
- candidato
- Cómo
- Como Hacer
- HTTPS
- Humanos
- Identifique
- imagen
- importador
- aumente
- información
- Intelligence
- intereses
- IOT
- IT
- Clave
- claves
- aprendizaje
- Apalancamiento
- línea
- máquina de aprendizaje
- Management
- Fabricación
- mapa
- Métrica
- Misión
- ML
- modelo
- números
- habiertos
- abre
- solicite
- Otro
- Patrón de Costura
- predicción
- presente
- Producto
- Producción
- Productos
- proyecto
- Python
- calidad
- aumento
- Testimoniales
- reducir
- Recursos
- RESTO
- una estrategia SEO para aparecer en las búsquedas de Google.
- Ejecutar
- correr
- sabio
- Escala
- Sdk
- semiconductor
- Servicios
- set
- sencillos
- So
- Soluciones
- Deportes
- comienzo
- fundó
- STORAGE
- tiendas
- comercial
- exitosos
- suministro
- cadena de suministro
- SOPORTE
- te
- test
- equipo
- seguir
- Seguimiento
- Formación
- de transporte
- ui
- propuesta de
- Vehículos
- Ver
- visión
- Voz
- web
- servicios web
- Página web
- QUIENES
- Wikipedia
- Actividades:
- funciona