Amazon Lookout pour Vision est un service d'apprentissage automatique (ML) qui détecte les défauts et les anomalies dans les représentations visuelles à l'aide de la vision par ordinateur (CV). Avec Amazon Lookout for Vision, les entreprises de fabrication peuvent améliorer la qualité et réduire les coûts opérationnels en identifiant rapidement les différences d'images d'objets à grande échelle.
De nombreuses entreprises clientes souhaitent identifier les composants manquants dans les produits, les dommages aux véhicules ou aux structures, les irrégularités dans les lignes de production, les défauts minuscules dans les plaquettes de silicium et d'autres problèmes similaires. Amazon Lookout for Vision utilise le ML pour voir et comprendre les images de n'importe quelle caméra comme le ferait une personne, mais avec un degré de précision encore plus élevé et à une échelle beaucoup plus grande. Amazon Lookout for Vision élimine le besoin d'une inspection manuelle coûteuse et incohérente, tout en améliorant le contrôle de la qualité, l'évaluation des défauts et des dommages et la conformité. En quelques minutes, vous pouvez commencer à utiliser Amazon Lookout for Vision pour automatiser l'inspection des images et des objets, sans aucune expertise en ML requise.
Dans cet article, nous examinons comment nous pouvons automatiser la détection des anomalies dans les plaquettes de silicium et notifier les opérateurs en temps réel.
Vue d'ensemble de la solution
Le suivi de la qualité des produits dans une ligne de fabrication est une tâche difficile. Certaines étapes du processus prennent des images du produit que les humains examinent ensuite afin d'assurer une bonne qualité. Grâce à l'intelligence artificielle, vous pouvez automatiser ces tâches de détection d'anomalies, mais une intervention humaine peut être nécessaire après la détection d'anomalies. Une approche standard consiste à envoyer des e-mails lorsque des produits problématiques sont détectés. Ces e-mails pourraient être ignorés, ce qui pourrait entraîner une perte de qualité dans une usine de fabrication.
Dans cet article, nous automatisons le processus de détection des anomalies dans les plaquettes de silicium et de notification des opérateurs en temps réel à l'aide d'appels téléphoniques automatisés. Le diagramme suivant illustre notre architecture. Nous déployons un site Web statique en utilisant AWS Amplifier, qui sert de point d'entrée à notre application. Chaque fois qu'une nouvelle image est téléchargée via l'interface utilisateur (1), un AWS Lambda La fonction appelle le modèle Amazon Lookout for Vision (2) et prédit si cette tranche est anormale ou non. La fonction stocke chaque image téléchargée dans Service de stockage simple Amazon (Amazon S3) (3). Si la tranche est anormale, la fonction envoie la confiance de la prédiction à Connexion Amazon et appelle un opérateur (4), qui peut prendre des mesures supplémentaires (5).
Configuration d'Amazon Connect et du flux de contacts associé
Pour configurer Amazon Connect et le flux de contacts, procédez comme suit:
- Créez une instance Amazon Connect.
- Configurez le flux de contact.
- Réclamez votre numéro de téléphone.
Créer une instance Amazon Connect
La première étape consiste à créer une instance Amazon Connect. Pour le reste de la configuration, nous utilisons les valeurs par défaut, mais n'oubliez pas de créer une connexion administrateur.
La création de l'instance peut prendre quelques minutes, après quoi nous pouvons nous connecter à l'instance Amazon Connect à l'aide du compte administrateur que nous avons créé.
Configuration du flux de contact
Dans cet article, nous avons un flux de contact prédéfini que nous pouvons importer. Pour plus d'informations sur l'importation d'un flux de contacts existant, voir Importer / exporter des flux de contacts.
- Choisissez le fichier
contact-flow/wafer-anomaly-detection
du GitHub repo. - Selectionnez L’.
Le flux de contacts importé ressemble à la capture d'écran suivante.
- Sur la page des détails du flux, développez Afficher des informations de flux supplémentaires.
Ici vous pouvez trouver l'ARN du flux de contact.
- Enregistrez l'ID du flux de contacts et l'ID du centre de contact, dont vous aurez besoin ultérieurement.
Réclamez votre numéro de téléphone
Réclamer un numéro est facile et ne prend que quelques clics. Assurez-vous de choisir le flux de contacts précédemment importé lors de la réclamation du numéro.
Si aucun numéro n'est disponible dans le pays de votre choix, créez un ticket d'assistance.
Présentation du flux de contacts
La capture d'écran suivante montre notre flux de contacts.
Le flux de contact remplit les fonctions suivantes:
- Activer la journalisation
- Réglez la sortie Amazon Polly voix (pour cet article, nous utilisons la voix de Kendra)
- Obtenez les commentaires des clients à l'aide de DTMF (seules les touches 1 et 2 sont valides).
- En fonction de l'entrée de l'utilisateur, le flux effectue l'une des opérations suivantes:
- Demander un message d'adieu indiquant qu'aucune action ne sera entreprise et quitter
- Demander un message d'au revoir indiquant qu'une action sera entreprise et quitter
- Échec et fournir un bloc de secours indiquant que la machine va s'arrêter et quitter
En option, vous pouvez améliorer votre système avec un Amazon Lex Bot.
Déployez la solution
Maintenant que vous avez configuré Amazon Connect, déployé votre flux de contacts et noté les informations dont vous avez besoin pour le reste du déploiement, nous pouvons déployer les composants restants. Dans le référentiel GitHub cloné, modifiez le build.sh
script et exécutez-le à partir de la ligne de commande:
fournissez les informations suivantes:
- Votre région
- Le nom du compartiment S3 que vous souhaitez utiliser (assurez-vous que le nom comprend le mot
sagemaker
). - Le nom du projet Amazon Lookout for Vision que vous souhaitez utiliser
- L'ID de votre flux de contacts
- Votre ID d'instance Amazon Connect
- Le numéro que vous avez réclamé dans Amazon Connect au format E.164 (par exemple, +132398765)
- Un nom pour le AWS CloudFormation pile que vous créez en exécutant ce script
Ce script effectue ensuite les actions suivantes:
- Créez un compartiment S3 pour vous
- Créez les fichiers .zip pour votre fonction Lambda
- Téléchargez le modèle CloudFormation et la fonction Lambda dans votre nouveau compartiment S3
- Créer la pile CloudFormation
Une fois la pile déployée, vous pouvez trouver les ressources suivantes créées sur la console AWS CloudFormation.
Vous pouvez voir qu'un Amazon Sage Maker cahier appelé amazon-lookout-vision-create-project
est également créé.
Créer, former et déployer le modèle Amazon Lookout for Vision
Dans cette section, nous voyons comment créer, entraîner et déployer le modèle Amazon Lookout for Vision à l'aide du SDK Python open-source. Pour plus d'informations sur le SDK Amazon Lookout for Vision Python, consultez ce blog.
Vous pouvez construire le modèle via le Console de gestion AWS. Pour le déploiement par programmation, procédez comme suit:
- Sur la console SageMaker, sur le Instances de bloc-notes page, accédez à l'instance de notebook SageMaker créée précédemment en sélectionnant Ouvrez Jupyter.
Dans l'instance, vous pouvez trouver le GitHub référentiel du SDK Amazon Lookout for Vision Python cloné automatiquement.
- Naviguez dans le
amazon-lookout-for-vision-python-sdk/example
dossier.
Le dossier contient un exemple de bloc-notes qui vous guide tout au long de la création, de la formation et du déploiement d'un modèle. Avant de commencer, vous devez télécharger les images à utiliser pour entraîner le modèle dans votre instance de notebook.
- Dans le
example/
dossier, créez deux nouveaux dossiers nommésgood
ainsi quebad
. - Naviguez dans les deux dossiers et téléchargez vos images en conséquence.
Des exemples d'images se trouvent dans le référentiel GitHub téléchargé.
- Après avoir téléchargé les images, ouvrez le
lookout_for_vision_example.ipynb
carnet.
Le cahier vous guide tout au long du processus de création de votre modèle. Une étape importante que vous devez d'abord faire est de fournir les informations suivantes:
Vous pouvez ignorer la section d'inférence, mais n'hésitez pas à jouer également avec cette partie du cahier. Parce que tu ne fais que commencer, tu peux partir model_version
mis à "1
».
Pour input_bucket
ainsi que project_name
, utilisez le compartiment S3 et le nom de projet Amazon Lookout for Vision fournis dans le cadre du build.sh
scénario. Vous pouvez ensuite exécuter chaque cellule du bloc-notes, qui déploie avec succès le modèle.
Vous pouvez afficher les métriques d'entraînement à l'aide du SDK, mais vous pouvez également les trouver sur la console. Pour ce faire, ouvrez votre projet, accédez aux modèles et choisissez le modèle que vous avez formé. Les métriques sont disponibles sur le Indicateurs de performance languette.
Vous êtes maintenant prêt à déployer un site Web statique qui peut appeler votre modèle à la demande.
Déployer le site Web statique
Votre première étape consiste à ajouter le point de terminaison de votre Passerelle d'API Amazon au code source de votre site Web statique.
- Sur la console API Gateway, recherchez l'API REST appelée
LookoutVisionAPI
. - Ouvrez l'API et choisissez Étapes.
- Dans le menu déroulant de la scène (pour cet article, dev), choisir la POSTEZ
- Copiez la valeur de Invoquer une URL.
Nous ajoutons l'URL au code source HTML.
- Ouvrez le fichier
html/index.html
.
À la fin du fichier, vous pouvez trouver une section qui utilise jQuery pour déclencher une requête AJAX. Une clé est appelée url
, qui a une chaîne vide comme valeur.
- Saisissez l'URL que vous avez copiée en tant que nouvelle
url
value et enregistrez le fichier.
Le code doit ressembler à ce qui suit:
- convertir le
index.html
fichier dans un fichier .zip. - Sur la console AWS Amplify, choisissez l'application
ObjectTracking
.
La page d'environnement frontal de votre application s'ouvre automatiquement.
- Sélectionnez Déployer sans fournisseur Git.
Vous pouvez améliorer cette pièce pour connecter AWS Amplify à Git et automatiser l'ensemble de votre déploiement.
- Selectionnez Connecter une succursale.
- Pour Nom de l'environnement¸ entrez un nom (pour ce message, nous entrons
dev
). - Pour Method , sélectionnez Glissez et déposez.
- Selectionnez Choisir des fichiers pour télécharger le
index.html.zip
fichier que vous avez créé. - Selectionnez Enregistrer et déployer.
Une fois le déploiement réussi, vous pouvez utiliser votre application Web en choisissant le domaine affiché dans AWS Amplify.
Détecter les anomalies
Toutes nos félicitations! Vous venez de construire une solution pour automatiser la détection des anomalies dans les plaquettes de silicium et alerter un opérateur pour qu'il prenne les mesures appropriées. Les données que nous utilisons pour Amazon Lookout for Vision sont une carte de tranche tirée de Wikipédia. Quelques «mauvais» points ont été ajoutés pour imiter des scénarios du monde réel dans la fabrication de semi-conducteurs.
Après avoir déployé la solution, vous pouvez exécuter un test pour voir comment cela fonctionne. Lorsque vous ouvrez le domaine AWS Amplify, vous voyez un site Web qui vous permet de télécharger une image. Pour cet article, nous présentons le résultat de la détection d'une mauvaise plaquette avec un soi-disant motif en anneau. Une fois que vous avez téléchargé l'image, elle s'affiche sur votre site Web.
Si l'image est détectée comme une anomalie, Amazon Connect appelle votre numéro de téléphone et vous pouvez interagir avec le service.
Conclusion
Dans cet article, nous avons utilisé Amazon Lookout for Vision pour automatiser la détection des anomalies dans les plaquettes de silicium et alerter un opérateur en temps réel à l'aide d'Amazon Connect afin qu'il puisse prendre les mesures nécessaires.
Cette solution ne se limite pas aux plaquettes. Vous pouvez l'étendre au suivi des objets dans le transport, aux produits en fabrication et à d'autres possibilités infinies.
À propos des auteurs
Tolla Tcherwenka est un architecte de solutions globales AWS qui est certifié en données et en analytique. Elle utilise un art de l'approche possible pour travailler à rebours à partir des objectifs commerciaux pour développer des architectures de données transformatives basées sur les événements qui permettent des décisions basées sur les données. De plus, elle est passionnée par la création de solutions prescriptives pour la refactorisation de charges de travail monolithiques critiques vers des microservices, une chaîne d'approvisionnement et des usines connectées qui exploitent l'IOT, l'apprentissage automatique, le Big Data et les services d'analyse.
Michel Waller est un scientifique mondial des données avec AWS Professional Services et se passionne pour permettre aux clients dans leur parcours AI / ML dans le cloud de devenir AWSome. En plus d'avoir un intérêt profond pour Amazon Connect, il aime le sport et aime cuisiner.
KRithivasan Balasubramaniyan est consultant principal chez Amazon Web Services. Il accompagne les entreprises mondiales dans leur parcours de transformation numérique et aide à concevoir des solutions natives cloud.
- accès
- Compte
- Action
- Supplémentaire
- admin
- Amazon
- Amazon Web Services
- analytique
- Détection d'une anomalie
- api
- appli
- Application
- architecture
- autour
- L'art
- intelligence artificielle
- Automatisation
- AWS
- Blog
- Bot
- construire
- Développement
- la performance des entreprises
- Appelez-nous
- Causes
- le cloud
- nuage natif
- code
- Sociétés
- conformité
- Vision par ordinateur
- confiance
- consultant
- cuisine
- Costs
- La création
- Clients
- données
- Data Scientist
- Demande
- Détection
- développer
- numérique
- Transformation numérique
- Endpoint
- Entreprise
- clients entreprise
- Environment
- Développer vous
- Prénom
- flux
- le format
- Test d'anglais
- fonction
- Git
- GitHub
- Global
- Bien
- Comment
- How To
- HTTPS
- Les êtres humains
- identifier
- image
- l'importation
- Améliore
- d'information
- Intelligence
- intérêt
- IOT
- IT
- clés / KEY :
- clés
- apprentissage
- Levier
- Gamme
- machine learning
- gestion
- fabrication
- Localisation
- Métrique
- Mission
- ML
- modèle
- numéros
- ouvert
- ouvre
- de commander
- Autre
- Patron de Couture
- prédiction
- représentent
- Produit
- Vidéo
- Produits
- Projet
- Python
- qualité
- augmenter
- Reader
- réduire
- Ressources
- REST
- Avis
- Courir
- pour le running
- sagemaker
- Escaliers intérieurs
- Sdk
- semi-conducteur
- Services
- set
- étapes
- So
- Solutions
- Sports
- Commencer
- j'ai commencé
- storage
- STORES
- succès
- réussi
- la quantité
- chaîne d'approvisionnement
- Support
- combustion propre
- tester
- fiable
- suivre
- Tracking
- Formation
- De La Carrosserie
- transport
- ui
- Plus-value
- Véhicules
- Voir
- vision
- Voix
- web
- services Web
- Site Web
- WHO
- Wikipédia
- Activités:
- vos contrats