Amazon Lookout für Vision ist ein ML-Dienst (Machine Learning), der mithilfe von Computer Vision (CV) Fehler und Anomalien in visuellen Darstellungen erkennt. Mit Amazon Lookout for Vision können produzierende Unternehmen die Qualität steigern und die Betriebskosten senken, indem sie schnell Unterschiede in den Bildern von Objekten im Maßstab erkennen.
Viele Unternehmenskunden möchten fehlende Komponenten in Produkten, Schäden an Fahrzeugen oder Strukturen, Unregelmäßigkeiten in Produktionslinien, winzige Defekte in Siliziumwafern und andere ähnliche Probleme identifizieren. Amazon Lookout for Vision verwendet ML, um Bilder von jeder Kamera wie eine Person zu sehen und zu verstehen, jedoch mit einem noch höheren Grad an Genauigkeit und in einem viel größeren Maßstab. Amazon Lookout for Vision macht kostspielige und inkonsistente manuelle Inspektionen überflüssig und verbessert gleichzeitig die Qualitätskontrolle, die Fehler- und Schadensbewertung sowie die Einhaltung. In wenigen Minuten können Sie Amazon Lookout for Vision verwenden, um die Inspektion von Bildern und Objekten zu automatisieren - ohne dass ML-Kenntnisse erforderlich sind.
In diesem Beitrag sehen wir uns an, wie wir das Erkennen von Anomalien in Siliziumwafern automatisieren und Bediener in Echtzeit benachrichtigen können.
Lösungsüberblick
Die Qualität der Produkte in einer Fertigungslinie im Auge zu behalten, ist eine herausfordernde Aufgabe. In einigen Prozessschritten werden Bilder des Produkts aufgenommen, die der Mensch dann überprüft, um eine gute Qualität sicherzustellen. Dank künstlicher Intelligenz können Sie diese Aufgaben zur Erkennung von Anomalien automatisieren. Nach der Erkennung von Anomalien kann jedoch ein menschliches Eingreifen erforderlich sein. Ein Standardansatz ist das Senden von E-Mails, wenn problematische Produkte erkannt werden. Diese E-Mails werden möglicherweise übersehen, was zu einem Qualitätsverlust in einer Produktionsanlage führen kann.
In diesem Beitrag automatisieren wir den Prozess der Erkennung von Anomalien in Siliziumwafern und der Benachrichtigung der Bediener in Echtzeit mithilfe automatisierter Telefonanrufe. Das folgende Diagramm zeigt unsere Architektur. Wir stellen eine statische Website mit bereit AWS verstärken, der als Einstiegspunkt für unsere Anwendung dient. Immer wenn ein neues Bild über die Benutzeroberfläche (1) hochgeladen wird, wird ein AWS Lambda Die Funktion ruft das Amazon Lookout for Vision-Modell (2) auf und sagt voraus, ob dieser Wafer anomal ist oder nicht. Die Funktion speichert jedes hochgeladene Bild in Amazon Simple Storage-Service (Amazon S3) (3). Wenn der Wafer anomal ist, sendet die Funktion das Vertrauen der Vorhersage an Amazon Connect und ruft einen Bediener (4) an, der weitere Maßnahmen ergreifen kann (5).
Einrichten von Amazon Connect und des zugehörigen Kontaktflusses
Um Amazon Connect und den Kontaktfluss zu konfigurieren, führen Sie die folgenden allgemeinen Schritte aus:
- Erstellen Sie eine Amazon Connect-Instanz.
- Richten Sie den Kontaktfluss ein.
- Fordern Sie Ihre Telefonnummer an.
Erstellen Sie eine Amazon Connect-Instanz
Der erste Schritt ist zu Erstellen Sie eine Amazon Connect-Instanz. Für den Rest des Setups verwenden wir die Standardwerte, vergessen Sie jedoch nicht, ein Administrator-Login zu erstellen.
Die Instanzerstellung kann einige Minuten dauern. Danach können wir uns mit dem von uns erstellten Administratorkonto bei der Amazon Connect-Instanz anmelden.
Einrichten des Kontaktflusses
In diesem Beitrag haben wir einen vordefinierten Kontaktfluss, den wir importieren können. Weitere Informationen zum Importieren eines vorhandenen Kontaktflusses finden Sie unter Kontaktflüsse importieren / exportieren.
- Wählen Sie die Datei aus
contact-flow/wafer-anomaly-detection
von dem GitHub Repo. - Auswählen Import.
Der importierte Kontaktfluss ähnelt dem folgenden Screenshot.
- Erweitern Sie auf der Seite mit den Flussdetails Zusätzliche Flussinformationen anzeigen.
Hier finden Sie die ARN des Kontaktflusses.
- Notieren Sie die Kontaktfluss-ID und die Contact Center-ID, die Sie später benötigen.
Fordern Sie Ihre Telefonnummer an
Eine Nummer beanspruchen ist einfach und dauert nur ein paar Klicks. Stellen Sie sicher, dass Sie den zuvor importierten Kontaktfluss auswählen, während Sie die Nummer beanspruchen.
Wenn in dem Land Ihrer Wahl keine Nummern verfügbar sind, erheben Sie ein Support-Ticket.
Kontaktflussübersicht
Der folgende Screenshot zeigt unseren Kontaktfluss.
Der Kontaktfluss führt folgende Funktionen aus:
- Aktiviere das Logging
- Stellen Sie den Ausgang ein Amazonas Polly Stimme (für diesen Beitrag verwenden wir die Kendra-Stimme)
- Erhalten Sie Kundeneingaben mit DTMF (nur die Schlüssel 1 und 2 sind gültig).
- Basierend auf den Benutzereingaben führt der Flow einen der folgenden Schritte aus:
- Fordern Sie eine Abschiedsnachricht auf, die besagt, dass keine Aktion ausgeführt wird, und beenden Sie das Programm
- Fordern Sie eine Abschiedsnachricht auf, die besagt, dass eine Aktion ausgeführt wird, und beenden Sie das Programm
- Schlagen Sie fehl und geben Sie einen Fallback-Block aus, der besagt, dass die Maschine heruntergefahren und beendet wird
Optional können Sie Ihr System mit einem erweitern Amazon Lex Bot
Stellen Sie die Lösung bereit
Nachdem Sie Amazon Connect eingerichtet, Ihren Kontaktfluss bereitgestellt und die Informationen notiert haben, die Sie für den Rest der Bereitstellung benötigen, können wir die verbleibenden Komponenten bereitstellen. Bearbeiten Sie im geklonten GitHub-Repository das build.sh
Skript und führen Sie es über die Befehlszeile aus:
stellen Sie folgende Informationen bereit:
- Ihre Region
- Der S3-Bucket-Name, den Sie verwenden möchten (stellen Sie sicher, dass der Name das Wort enthält
sagemaker
). - Der Name des Amazon Lookout for Vision-Projekts, das Sie verwenden möchten
- Die ID Ihres Kontaktflusses
- Ihre Amazon Connect-Instanz-ID
- Die Nummer, die Sie in Amazon Connect im E.164-Format beansprucht haben (z. B. +132398765)
- Ein Name für die AWS CloudFormation Stapel, den Sie durch Ausführen dieses Skripts erstellen
Dieses Skript führt dann die folgenden Aktionen aus:
- Erstellen Sie einen S3-Bucket für Sie
- Erstellen Sie die ZIP-Dateien für Ihre Lambda-Funktion
- Laden Sie die CloudFormation-Vorlage und die Lambda-Funktion in Ihren neuen S3-Bucket hoch
- Erstellen Sie den CloudFormation-Stapel
Nach der Bereitstellung des Stacks finden Sie die folgenden Ressourcen, die in der AWS CloudFormation-Konsole erstellt wurden.
Sie können sehen, dass ein Amazon Sage Maker Notizbuch genannt amazon-lookout-vision-create-project
wird auch erstellt.
Erstellen, trainieren und implementieren Sie das Amazon Lookout for Vision-Modell
In diesem Abschnitt erfahren Sie, wie Sie das Amazon Lookout for Vision-Modell mithilfe des Open-Source-Python-SDK erstellen, trainieren und bereitstellen. Weitere Informationen zum Amazon Lookout für Vision Python SDK finden Sie unter dieser Blog-Post.
Sie können das Modell über das erstellen AWS-Managementkonsole. Führen Sie für die programmgesteuerte Bereitstellung die folgenden Schritte aus:
- Auf der SageMaker-Konsole auf der Notebook-Instanzen Rufen Sie auf dieser Seite die zuvor erstellte SageMaker-Notebook-Instanz auf Öffne Jupyter.
In der Instanz finden Sie die GitHub-Repository des Amazon Lookout for Vision Python SDK wird automatisch geklont.
- Navigieren Sie in die
amazon-lookout-for-vision-python-sdk/example
-Ordner.
Der Ordner enthält ein Beispielnotizbuch, das Sie durch das Erstellen, Trainieren und Bereitstellen eines Modells führt. Bevor Sie beginnen, müssen Sie die Bilder hochladen, um das Modell in Ihre Notebook-Instanz zu trainieren.
- Im
example/
Ordner, erstellen Sie zwei neue Ordner mit dem Namengood
undbad
. - Navigieren Sie in beide Ordner und laden Sie Ihre Bilder entsprechend hoch.
Beispielbilder befinden sich im heruntergeladenen GitHub-Repository.
- Öffnen Sie nach dem Hochladen der Bilder die
lookout_for_vision_example.ipynb
Notebook.
Das Notizbuch führt Sie durch den Prozess der Erstellung Ihres Modells. Ein wichtiger Schritt, den Sie zuerst ausführen sollten, ist die Angabe der folgenden Informationen:
Sie können den Inferenzabschnitt ignorieren, aber Sie können auch mit diesem Teil des Notizbuchs herumspielen. Weil Sie gerade erst anfangen, können Sie gehen model_version
einstellen "1
".
Aussichten für input_bucket
und project_name
Verwenden Sie den S3-Bucket und den Amazon Lookout for Vision-Projektnamen, die als Teil des bereitgestellt werden build.sh
Skript. Sie können dann jede Zelle im Notizbuch ausführen, wodurch das Modell erfolgreich bereitgestellt wird.
Sie können die Trainingsmetriken mit dem SDK anzeigen, aber Sie können sie auch auf der Konsole finden. Öffnen Sie dazu Ihr Projekt, navigieren Sie zu den Modellen und wählen Sie das Modell aus, das Sie trainiert haben. Die Metriken sind auf der verfügbar Leistungsmetriken Tab.
Sie können jetzt eine statische Website bereitstellen, auf der Ihr Modell bei Bedarf aufgerufen werden kann.
Stellen Sie die statische Website bereit
Ihr erster Schritt ist das Hinzufügen des Endpunkts von Amazon API-Gateway zum Quellcode Ihrer statischen Website.
- Suchen Sie in der API-Gateway-Konsole die aufgerufene REST-API
LookoutVisionAPI
. - Öffnen Sie die API und wählen Sie Praktika.
- Im Dropdown-Menü der Bühne (für diesen Beitrag dev), wählen Sie das jetzt lesen
- Kopieren Sie den Wert für URL aufrufen.
Wir fügen die URL dem HTML-Quellcode hinzu.
- Öffnen Sie die Datei
html/index.html
.
Am Ende der Datei finden Sie einen Abschnitt, in dem mit jQuery eine AJAX-Anforderung ausgelöst wird. Ein Schlüssel heißt url
, dessen Wert eine leere Zeichenfolge ist.
- Geben Sie die URL ein, die Sie als Ihre neue kopiert haben
url
Wert und speichern Sie die Datei.
Der Code sollte ungefähr so aussehen:
- Konvertieren Sie die
index.html
Datei in eine ZIP-Datei. - Wählen Sie in der AWS Amplify-Konsole die App aus
ObjectTracking
.
Die Front-End-Umgebungsseite Ihrer App wird automatisch geöffnet.
- Auswählen Bereitstellung ohne Git-Anbieter.
Sie können dieses Teil verbessern, um AWS Amplify mit Git zu verbinden und Ihre gesamte Bereitstellung zu automatisieren.
- Auswählen Zweig verbinden.
- Aussichten für Umgebungsname¸ Geben Sie einen Namen ein (für diesen Beitrag geben wir ein
dev
). - Aussichten für VersandartWählen Drag & Drop.
- Auswählen
Wähle Dateien um das hochzuladen
index.html.zip
Datei, die Sie erstellt haben. - Auswählen Speichern und bereitstellen.
Nach erfolgreicher Bereitstellung können Sie Ihre Webanwendung verwenden, indem Sie die in AWS Amplify angezeigte Domäne auswählen.
Anomalien erkennen
Herzliche Glückwünsche! Sie haben gerade eine Lösung entwickelt, um die Erkennung von Anomalien in Siliziumwafern zu automatisieren und einen Bediener zu warnen, geeignete Maßnahmen zu ergreifen. Die Daten, die wir für Amazon Lookout for Vision verwenden, sind eine Waferkarte aus Wikipedia. Einige „schlechte“ Stellen wurden hinzugefügt, um reale Szenarien in der Halbleiterherstellung nachzuahmen.
Nach der Bereitstellung der Lösung können Sie einen Test ausführen, um zu sehen, wie es funktioniert. Wenn Sie die AWS Amplify-Domain öffnen, wird eine Website angezeigt, auf der Sie ein Bild hochladen können. In diesem Beitrag präsentieren wir das Ergebnis der Erkennung eines schlechten Wafers mit einem sogenannten Donut-Muster. Nachdem Sie das Bild hochgeladen haben, wird es auf Ihrer Website angezeigt.
Wenn das Bild als Anomalie erkannt wird, ruft Amazon Connect Ihre Telefonnummer an und Sie können mit dem Dienst interagieren.
Zusammenfassung
In diesem Beitrag haben wir Amazon Lookout for Vision verwendet, um die Erkennung von Anomalien in Siliziumwafern zu automatisieren und einen Bediener mithilfe von Amazon Connect in Echtzeit zu benachrichtigen, damit er bei Bedarf Maßnahmen ergreifen kann.
Diese Lösung ist nicht nur an Wafer gebunden. Sie können es auf die Objektverfolgung im Transportwesen, Produkte in der Fertigung und andere endlose Möglichkeiten ausweiten.
Über die Autoren
Tolla Tscherwenka ist ein AWS Global Solutions Architect, der für Daten und Analysen zertifiziert ist. Sie verwendet eine Kunst des möglichen Ansatzes, um von Geschäftszielen rückwärts zu arbeiten und transformative ereignisgesteuerte Datenarchitekturen zu entwickeln, die datengesteuerte Entscheidungen ermöglichen. Darüber hinaus entwickelt sie mit Leidenschaft Lösungen für die Umgestaltung unternehmenskritischer monolithischer Workloads zu Microservices, Lieferketten und verbundenen Fabriken, die IOT, maschinelles Lernen, Big Data und Analysedienste nutzen.
Michael Wallner ist ein Global Data Scientist bei AWS Professional Services und setzt sich leidenschaftlich dafür ein, dass Kunden auf ihrer AI / ML-Reise in der Cloud AWSome werden können. Neben seinem tiefen Interesse an Amazon Connect mag er Sport und kocht gerne.
KRithivasan Balasubramaniyan ist Principal Consultant bei Amazon Web Services. Er ermöglicht globalen Unternehmenskunden die digitale Transformation und hilft bei der Entwicklung von Cloud-nativen Lösungen.
- Zugang
- Konto
- Action
- Zusätzliche
- Administrator
- Amazon
- Amazon Web Services
- Analytik
- Anomalieerkennung
- Bienen
- App
- Anwendung
- Architektur
- um
- Kunst
- künstliche Intelligenz
- Automatisiert
- AWS
- Blog
- Wander- und Outdoorschuhen
- bauen
- Building
- Geschäft
- rufen Sie uns an!
- Verursachen
- Cloud
- Wolke native
- Code
- Unternehmen
- Compliance
- Computer Vision
- Vertrauen
- Berater
- Kochen
- Kosten
- Erstellen
- Kunden
- technische Daten
- Datenwissenschaftler
- Demand
- Entdeckung
- entwickeln
- digital
- Digitale Transformation
- Endpunkt
- Unternehmen
- Unternehmenskunden
- Arbeitsumfeld
- Erweitern Sie die Funktionalität der
- Vorname
- Fluss
- Format
- Frei
- Funktion
- Git
- GitHub
- Global
- gut
- Ultraschall
- Hilfe
- HTTPS
- Humans
- identifizieren
- Image
- Einfuhr
- Erhöhung
- Information
- Intelligenz
- Interesse
- iot
- IT
- Wesentliche
- Tasten
- lernen
- Hebelwirkung
- Line
- Maschinelles Lernen
- Management
- Herstellung
- Karte
- Metrik
- Ziel
- ML
- Modell
- Zahlen
- XNUMXh geöffnet
- öffnet
- Auftrag
- Andere
- Schnittmuster
- Prognose
- Gegenwart
- Produkt
- Produktion
- Produkte
- Projekt
- Python
- Qualität
- erhöhen
- Leser
- Veteran
- Downloads
- REST
- Überprüfen
- Führen Sie
- Laufen
- sagemaker
- Skalieren
- Sdk
- Halbleiter
- Leistungen
- kompensieren
- Einfacher
- So
- Lösungen
- Sports
- Anfang
- begonnen
- Lagerung
- Läden
- Erfolg
- erfolgreich
- liefern
- Supply Chain
- Support
- System
- Test
- Zeit
- verfolgen sind
- Tracking
- Ausbildung
- Transformation
- , des Transports
- ui
- Wert
- Fahrzeuge
- Anzeigen
- Seh-
- Stimme
- Netz
- Web-Services
- Webseite
- WHO
- Wikipedia
- Arbeiten
- Werk