Amazon Lookout voor visie is een machine learning (ML)-service die defecten en afwijkingen in visuele representaties opspoort met behulp van computer vision (CV). Met Amazon Lookout for Vision kunnen productiebedrijven de kwaliteit verhogen en de operationele kosten verlagen door snel verschillen in afbeeldingen van objecten op schaal te identificeren.
Veel zakelijke klanten willen ontbrekende componenten in producten, schade aan voertuigen of constructies, onregelmatigheden in productielijnen, minuscule defecten in siliciumwafers en andere soortgelijke problemen identificeren. Amazon Lookout for Vision gebruikt ML om beelden van elke camera te zien en te begrijpen zoals een persoon dat zou doen, maar met een nog hogere mate van nauwkeurigheid en op een veel grotere schaal. Amazon Lookout for Vision elimineert de noodzaak van kostbare en inconsistente handmatige inspectie, terwijl de kwaliteitscontrole, beoordeling van defecten en schade en naleving worden verbeterd. Binnen enkele minuten kun je Amazon Lookout for Vision gaan gebruiken om de inspectie van afbeeldingen en objecten te automatiseren, zonder dat er ML-expertise vereist is.
In dit bericht bekijken we hoe we het detecteren van afwijkingen in siliciumwafels en het in realtime op de hoogte brengen van operators kunnen automatiseren.
Overzicht oplossingen
Het bijhouden van de kwaliteit van producten in een productielijn is een uitdagende taak. Sommige processtappen maken foto's van het product die mensen vervolgens beoordelen om een goede kwaliteit te garanderen. Dankzij kunstmatige intelligentie kunt u deze anomaliedetectietaken automatiseren, maar menselijke tussenkomst kan nodig zijn nadat anomalieën zijn gedetecteerd. Een standaardaanpak is het versturen van e-mails wanneer problematische producten worden gedetecteerd. Deze e-mails kunnen over het hoofd worden gezien, wat kan leiden tot kwaliteitsverlies in een fabriek.
In dit bericht automatiseren we het proces van het detecteren van anomalieën in siliciumwafels en het in realtime op de hoogte stellen van operators met behulp van geautomatiseerde telefoontjes. Het volgende diagram illustreert onze architectuur. We implementeren een statische website met behulp van AWS versterken, dat dient als toegangspunt voor onze applicatie. Telkens wanneer een nieuwe afbeelding wordt geüpload via de gebruikersinterface (1), wordt an AWS Lambda functie roept het Amazon Lookout for Vision-model (2) aan en voorspelt of deze wafer abnormaal is of niet. De functie slaat elke geüploade afbeelding op Amazon eenvoudige opslagservice (Amazone S3) (3). Als de wafer abnormaal is, stuurt de functie het vertrouwen van de voorspelling naar Amazon Connect en belt een telefoniste (4), die verdere actie kan ondernemen (5).
Inrichten van Amazon Connect en de bijbehorende contactflow
Om Amazon Connect en de contactstroom te configureren, voltooit u de volgende stappen op hoog niveau:
- Maak een Amazon Connect-instantie.
- Stel de contactstroom in.
- Claim je telefoonnummer.
Maak een Amazon Connect-instantie
De eerste stap is om maak een Amazon Connect-instantie. Voor de rest van de installatie gebruiken we de standaardwaarden, maar vergeet niet om een beheerderslogin aan te maken.
Het maken van een instantie kan enkele minuten duren, waarna we kunnen inloggen op de Amazon Connect-instantie met het beheerdersaccount dat we hebben gemaakt.
Opzetten van de contactstroom
In dit bericht hebben we een vooraf gedefinieerde contactstroom die we kunnen importeren. Voor meer informatie over het importeren van een bestaande contactstroom, zie Contactstromen importeren / exporteren.
- Kies het bestand
contact-flow/wafer-anomaly-detection
van het GitHub repo. - Kies import.
De geïmporteerde contactstroom lijkt op de volgende schermafbeelding.
- Vouw uit op de pagina met stroomdetails Geef aanvullende stroominformatie weer.
Hier vind je het ARN van de contactstroom.
- Noteer de contactstroom-ID en contactcentrum-ID, die u later nodig heeft.
Claim je telefoonnummer
Een nummer claimen is eenvoudig en duurt slechts een paar klikken. Zorg ervoor dat u de eerder geïmporteerde contactstroom kiest terwijl u het nummer claimt.
Als er geen nummers beschikbaar zijn in het land van uw keuze, maak dan een ondersteuningsticket aan.
Overzicht contactstroom
De volgende schermafbeelding toont onze contactstroom.
De contactstroom vervult de volgende functies:
- Logboekregistratie inschakelen
- Stel de output in Amazon Polly stem (voor deze post gebruiken we de Kendra-stem)
- Ontvang klantinvoer met behulp van DTMF (alleen de toetsen 1 en 2 zijn geldig).
- Op basis van de invoer van de gebruiker doet de stroom een van de volgende dingen:
- Vraag een afscheidsbericht waarin staat dat er geen actie zal worden ondernomen en sluit af
- Vraag een afscheidsbericht waarin staat dat er actie zal worden ondernomen en sluit af
- Mislukken en een terugvalblok leveren waarin staat dat de machine wordt uitgeschakeld en afgesloten
Optioneel kunt u uw systeem uitbreiden met een Amazon-Lex bot.
Implementeer de oplossing
Nu je Amazon Connect hebt ingesteld, je contactstroom hebt geïmplementeerd en de informatie hebt genoteerd die je nodig hebt voor de rest van de implementatie, kunnen we de resterende componenten implementeren. Bewerk in de gekloonde GitHub-repository het build.sh
script en voer het uit vanaf de opdrachtregel:
Lever de volgende informatie:
- Uw regio
- De S3-bucketnaam die u wilt gebruiken (zorg ervoor dat de naam het woord
sagemaker
). - De naam van het Amazon Lookout for Vision-project dat u wilt gebruiken
- De ID van uw contactstroom
- Uw Amazon Connect-instantie-ID
- Het nummer dat je hebt geclaimd in Amazon Connect in E.164-indeling (bijvoorbeeld +132398765)
- Een naam voor de AWS CloudFormatie stack die u maakt door dit script uit te voeren
Dit script voert vervolgens de volgende acties uit:
- Maak een S3-bucket voor je
- Bouw de .zip-bestanden voor uw Lambda-functie
- Upload het CloudFormation-sjabloon en de Lambda-functie naar uw nieuwe S3-bucket
- Maak de CloudFormation-stack
Nadat de stapel is geïmplementeerd, kunt u de volgende bronnen vinden die zijn gemaakt op de AWS CloudFormation-console.
Je ziet dat een Amazon Sage Maker notebook genaamd amazon-lookout-vision-create-project
wordt ook gemaakt.
Bouw, train en implementeer het Amazon Lookout for Vision-model
In deze sectie zien we hoe u het Amazon Lookout for Vision-model kunt bouwen, trainen en implementeren met behulp van de open-source Python SDK. Zie voor meer informatie over de Amazon Lookout for Vision Python SDK deze blog post.
Je kunt het model bouwen via de AWS-beheerconsole. Voer voor programmatische implementatie de volgende stappen uit:
- Op de SageMaker-console, op de Notebook-exemplaren pagina, opent u de SageMaker-notebookinstantie die eerder is gemaakt door te kiezen Jupyter openen.
In de instantie vindt u de GitHub-repository van de Amazon Lookout for Vision Python SDK automatisch gekloond.
- Navigeer naar de
amazon-lookout-for-vision-python-sdk/example
map.
De map bevat een voorbeeldnotitieblok dat u begeleidt bij het bouwen, trainen en implementeren van een model. Voordat u aan de slag gaat, moet u de afbeeldingen uploaden die u wilt gebruiken om het model in uw notebookexemplaar te trainen.
- In het
example/
map, maakt u twee nieuwe mappen met de naamgood
enbad
. - Navigeer naar beide mappen en upload uw afbeeldingen dienovereenkomstig.
Voorbeeldafbeeldingen staan in de gedownloade GitHub-repository.
- Nadat je de afbeeldingen hebt geüpload, open je het
lookout_for_vision_example.ipynb
notebook.
Het notitieblok leidt u door het proces van het maken van uw model. Een belangrijke stap die u eerst moet doen, is de volgende informatie verstrekken:
Je kunt het inferentiegedeelte negeren, maar voel je vrij om ook met dit deel van het notitieboekje te spelen. Omdat je net begint, kun je vertrekken model_version
ingesteld op "1
'.
Voor input_bucket
en project_name
, gebruik de S3-bucket en Amazon Lookout for Vision-projectnaam die worden geleverd als onderdeel van de build.sh
script. U kunt vervolgens elke cel in de notebook uitvoeren, waardoor het model met succes wordt geïmplementeerd.
Je kunt de trainingsstatistieken bekijken met behulp van de SDK, maar je kunt ze ook vinden op de console. Open hiervoor uw project, navigeer naar de modellen en kies het model dat u hebt getraind. De statistieken zijn beschikbaar op de Prestatiestatistieken Tab.
U bent nu klaar om een statische website te implementeren die uw model op aanvraag kan aanroepen.
Implementeer de statische website
Uw eerste stap is het toevoegen van het eindpunt van uw Amazon API-gateway naar de broncode van uw statische website.
- Zoek op de API Gateway-console de REST API genaamd
LookoutVisionAPI
. - Open de API en kies stages.
- In het vervolgkeuzemenu van het podium (voor dit bericht, dev), kies de POST
- Kopieer de waarde voor Roep URL aan.
We voegen de URL toe aan de HTML-broncode.
- Open het bestand
html/index.html
.
Aan het einde van het bestand vindt u een sectie die jQuery gebruikt om een AJAX-verzoek te activeren. Eén sleutel wordt genoemd url
, die een lege string als waarde heeft.
- Voer de URL die u hebt gekopieerd in als uw nieuwe
url
waarde en sla het bestand op.
De code moet er ongeveer als volgt uitzien:
- Zet de
index.html
bestand naar een .zip-bestand. - Kies de app op de AWS Amplify-console
ObjectTracking
.
De front-end omgevingspagina van uw app wordt automatisch geopend.
- kies Implementeer zonder Git-provider.
U kunt dit stuk verbeteren om AWS Amplify met Git te verbinden en uw hele implementatie te automatiseren.
- Kies Sluit filiaal aan.
- Voor Omgevingsnaam¸ voer een naam in (voor dit bericht voeren we
dev
). - Voor Methodeselecteer Plaats en versleep.
- Kies Kies documenten om de te uploaden
index.html.zip
bestand dat u hebt gemaakt. - Kies Bewaar en implementeer.
Nadat de implementatie is gelukt, kunt u uw webtoepassing gebruiken door het domein te kiezen dat wordt weergegeven in AWS Amplify.
Detecteer afwijkingen
Gefeliciteerd! U heeft zojuist een oplossing gebouwd om de detectie van afwijkingen in siliciumwafels te automatiseren en een operator te waarschuwen om passende actie te ondernemen. De gegevens die we gebruiken voor Amazon Lookout for Vision zijn een wafelkaart afkomstig van Wikipedia. Er zijn een paar "slechte" plekken toegevoegd om scenario's uit de echte wereld in de productie van halfgeleiders na te bootsen.
Nadat u de oplossing hebt geïmplementeerd, kunt u een test uitvoeren om te zien hoe deze werkt. Wanneer u het AWS Amplify-domein opent, ziet u een website waarop u een afbeelding kunt uploaden. Voor deze post presenteren we het resultaat van het detecteren van een slechte wafel met een zogenaamd donutpatroon. Nadat je de afbeelding hebt geüpload, wordt deze weergegeven op je website.
Als de afbeelding wordt gedetecteerd als een afwijking, belt Amazon Connect uw telefoonnummer en kunt u communiceren met de service.
Conclusie
In dit bericht hebben we Amazon Lookout for Vision gebruikt om de detectie van afwijkingen in siliciumwafels te automatiseren en een operator in realtime te waarschuwen met behulp van Amazon Connect, zodat ze indien nodig actie kunnen ondernemen.
Deze oplossing is niet gebonden aan alleen wafels. U kunt het uitbreiden naar het volgen van objecten in transport, producten in productie en andere eindeloze mogelijkheden.
Over de auteurs
Tolla Tsjerwenka is een AWS Global Solutions Architect die gecertificeerd is in data en analyse. Ze gebruikt een kunst van de mogelijke benadering om terug te werken vanuit bedrijfsdoelen om transformatieve gebeurtenisgestuurde data-architecturen te ontwikkelen die datagestuurde beslissingen mogelijk maken. Bovendien is ze gepassioneerd door het creëren van prescriptieve oplossingen voor refactoring naar bedrijfskritische monolithische workloads naar microservices, supply chain en verbonden fabrieken die gebruikmaken van IOT, machine learning, big data en analyseservices.
Michaël Wallner is een wereldwijde datawetenschapper bij AWS Professional Services en wil klanten graag AWSome op hun AI / ML-reis in de cloud laten worden. Naast een grote interesse in Amazon Connect houdt hij van sporten en koken.
Krithivasan Balasubramaniyan is Principal Consultant bij Amazon Web Services. Hij helpt wereldwijde zakelijke klanten bij hun digitale transformatietraject en helpt bij het ontwerpen van cloud-native oplossingen.
- toegang
- Account
- Actie
- Extra
- beheerder
- Amazone
- Amazon Web Services
- analytics
- onregelmatigheidsdetectie
- api
- gebruiken
- Aanvraag
- architectuur
- rond
- Kunst
- kunstmatige intelligentie
- geautomatiseerde
- AWS
- Blog
- Bot
- bouw
- Gebouw
- bedrijfsdeskundigen
- Bellen
- Veroorzaken
- Cloud
- wolk native
- code
- Bedrijven
- nakoming
- Computer visie
- vertrouwen
- consultant
- koken
- Kosten
- Wij creëren
- Klanten
- gegevens
- data scientist
- Vraag
- Opsporing
- ontwikkelen
- digitaal
- Digitale Transformatie
- Endpoint
- Enterprise
- zakelijke klanten
- Milieu
- Uitvouwen
- Voornaam*
- stroom
- formaat
- Gratis
- functie
- Git
- GitHub
- Globaal
- goed
- Hoe
- How To
- HTTPS
- Mensen
- identificeren
- beeld
- importeren
- Laat uw omzet
- informatie
- Intelligentie
- belang
- iot
- IT
- sleutel
- toetsen
- leren
- Hefboomwerking
- Lijn
- machine learning
- management
- productie
- kaart
- Metriek
- Missie
- ML
- model
- nummers
- open
- opent
- bestellen
- Overige
- Patronen
- voorspelling
- presenteren
- Product
- Productie
- Producten
- project
- Python
- kwaliteit
- verhogen
- Lezer
- verminderen
- Resources
- REST
- beoordelen
- lopen
- lopend
- sagemaker
- Scale
- sdk
- halfgeleider
- Diensten
- reeks
- Eenvoudig
- So
- Oplossingen
- Sport
- begin
- gestart
- mediaopslag
- winkels
- succes
- geslaagd
- leveren
- toeleveringsketen
- ondersteuning
- system
- proef
- niet de tijd of
- spoor
- Tracking
- Trainingen
- Transformatie
- vervoer
- ui
- waarde
- Voertuigen
- Bekijk
- visie
- Stem
- web
- webservices
- Website
- WIE
- Wikipedia
- Mijn werk
- Bedrijven