Amazon Lookout dla wizji to usługa uczenia maszynowego (ML), która wykrywa defekty i anomalie w reprezentacjach wizualnych za pomocą widzenia komputerowego (CV). Dzięki Amazon Lookout for Vision firmy produkcyjne mogą podnieść jakość i obniżyć koszty operacyjne, szybko identyfikując różnice w obrazach obiektów na dużą skalę.
Wielu klientów korporacyjnych chce zidentyfikować brakujące komponenty w produktach, uszkodzenia pojazdów lub konstrukcji, nieprawidłowości na liniach produkcyjnych, drobne wady płytek krzemowych i inne podobne problemy. Amazon Lookout for Vision używa ML do oglądania i rozumienia obrazów z dowolnej kamery tak, jak robiłby to człowiek, ale z jeszcze większą dokładnością i na znacznie większą skalę. Amazon Lookout for Vision eliminuje potrzebę kosztownej i niespójnej kontroli ręcznej, jednocześnie poprawiając kontrolę jakości, ocenę defektów i uszkodzeń oraz zgodność. W ciągu kilku minut możesz zacząć używać Amazon Lookout for Vision do automatyzacji inspekcji obrazów i obiektów - bez konieczności posiadania doświadczenia w ML.
W tym poście przyjrzymy się, jak możemy zautomatyzować wykrywanie anomalii w płytkach krzemowych i powiadamianie operatorów w czasie rzeczywistym.
Omówienie rozwiązania
Śledzenie jakości produktów na linii produkcyjnej jest trudnym zadaniem. Niektóre etapy procesu robią zdjęcia produktu, które ludzie następnie przeglądają w celu zapewnienia dobrej jakości. Dzięki sztucznej inteligencji możesz zautomatyzować te zadania wykrywania anomalii, ale po wykryciu anomalii może być konieczna interwencja człowieka. Standardowym podejściem jest wysyłanie wiadomości e-mail w przypadku wykrycia problematycznych produktów. Te e-maile mogą zostać przeoczone, co może spowodować utratę jakości w zakładzie produkcyjnym.
W tym poście automatyzujemy proces wykrywania anomalii w płytkach krzemowych i powiadamiania operatorów w czasie rzeczywistym za pomocą automatycznych połączeń telefonicznych. Poniższy diagram ilustruje naszą architekturę. Wdrażamy statyczną stronę internetową przy użyciu Wzmocnienie AWS, który służy jako punkt wejścia do naszej aplikacji. Za każdym razem, gdy nowy obraz zostanie przesłany za pośrednictwem interfejsu użytkownika (1), plik AWS Lambda funkcja wywołuje model Amazon Lookout for Vision (2) i przewiduje, czy ta płytka jest anomalna, czy nie. Funkcja przechowuje każdy przesłany obraz do Usługa Amazon Simple Storage (Amazon S3) (3). Jeśli płytka jest anomalna, funkcja wysyła pewność prognozy do Amazon Połącz i wywołuje operatora (4), który może podjąć dalsze działania (5).
Konfiguracja Amazon Connect i powiązanego przepływu kontaktów
Aby skonfigurować Amazon Connect i przepływ kontaktów, wykonaj następujące ogólne kroki:
- Utwórz instancję Amazon Connect.
- Skonfiguruj przepływ kontaktów.
- Odbierz swój numer telefonu.
Utwórz instancję Amazon Connect
Pierwszym krokiem jest utwórz instancję Amazon Connect. Przez resztę konfiguracji używamy wartości domyślnych, ale nie zapomnij o utworzeniu loginu administratora.
Utworzenie instancji może zająć kilka minut, po czym możemy zalogować się do instancji Amazon Connect za pomocą utworzonego przez nas konta administratora.
Konfigurowanie przepływu kontaktów
W tym poście mamy predefiniowany przepływ kontaktów, który możemy zaimportować. Aby uzyskać więcej informacji na temat importowania istniejącego przepływu kontaktów, zobacz Import / eksport przepływów kontaktów.
- Wybierz plik
contact-flow/wafer-anomaly-detection
z GitHub repo. - Dodaj import.
Zaimportowany przepływ kontaktów wygląda podobnie do poniższego zrzutu ekranu.
- Na stronie szczegółów przepływu rozwiń Pokaż dodatkowe informacje o przepływie.
Tutaj można znaleźć ARN przepływu kontaktów.
- Zapisz identyfikator przepływu kontaktów i identyfikator centrum kontaktowego, które będą potrzebne później.
Odbierz swój numer telefonu
Przyjmowanie numeru jest łatwe i wymaga zaledwie kilku kliknięć. Podczas wybierania numeru pamiętaj, aby wybrać wcześniej zaimportowany przepływ kontaktów.
Jeśli w wybranym kraju nie są dostępne żadne numery, wyślij zgłoszenie do pomocy technicznej.
Przegląd przepływu kontaktów
Poniższy zrzut ekranu przedstawia nasz przepływ kontaktów.
Przepływ kontaktów spełnia następujące funkcje:
- Włącz logowanie
- Ustaw wyjście Amazon Polly głos (w tym poście używamy głosu Kendra)
- Uzyskaj dane wejściowe klienta za pomocą DTMF (tylko klucze 1 i 2 są ważne).
- Na podstawie danych wejściowych użytkownika przepływ wykonuje jedną z następujących czynności:
- Poproś o wiadomość pożegnalną z informacją, że żadne działanie nie zostanie podjęte i zakończ
- Poproś o wiadomość pożegnalną z informacją, że akcja zostanie podjęta i zakończ
- Niepowodzenie i dostarcz blokadę awaryjną stwierdzającą, że maszyna wyłączy się i zakończy pracę
Opcjonalnie możesz ulepszyć swój system za pomocą rozszerzenia Amazonka Lex nerw.
Wdróż rozwiązanie
Teraz, gdy skonfigurowałeś Amazon Connect, wdrożyłeś przepływ kontaktów i zanotowałeś informacje potrzebne do pozostałej części wdrożenia, możemy wdrożyć pozostałe komponenty. W sklonowanym repozytorium GitHub edytuj plik build.sh
script i uruchom go z linii poleceń:
Podaj następujące informacje:
- Twój region
- Nazwa zasobnika S3, której chcesz użyć (upewnij się, że nazwa zawiera słowo
sagemaker
). - Nazwa projektu Amazon Lookout for Vision, którego chcesz użyć
- Identyfikator przepływu kontaktów
- Twój identyfikator instancji Amazon Connect
- Numer, który zgłosiłeś w Amazon Connect w formacie E.164 (na przykład +132398765)
- Nazwa dla Tworzenie chmury AWS stos utworzony przez uruchomienie tego skryptu
Ten skrypt wykonuje następnie następujące czynności:
- Utwórz dla siebie wiadro S3
- Zbuduj pliki .zip dla swojej funkcji Lambda
- Prześlij szablon CloudFormation i funkcję Lambda do nowego zasobnika S3
- Utwórz stos CloudFormation
Po wdrożeniu stosu można znaleźć następujące zasoby utworzone na konsoli AWS CloudFormation.
Możesz zobaczyć, że plik Amazon Sage Maker Notatnik zadzwonił amazon-lookout-vision-create-project
jest również tworzony.
Twórz, trenuj i wdrażaj model Amazon Lookout for Vision
W tej sekcji pokazujemy, jak budować, trenować i wdrażać model Amazon Lookout for Vision przy użyciu zestawu SDK Python typu open source. Aby uzyskać więcej informacji na temat zestawu Amazon Lookout for Vision Python SDK, zobacz ten wpis na blogu.
Możesz zbudować model za pomocą Konsola zarządzania AWS. W przypadku wdrażania programowego wykonaj następujące kroki:
- Na konsoli SageMaker w Instancje notebooków przejdź do instancji notatnika SageMaker, która została utworzona wcześniej, wybierając Otwórz Jupyter.
W tym przypadku możesz znaleźć plik Repozytorium GitHub zestawu Amazon Lookout for Vision Python SDK został automatycznie sklonowany.
- Przejdź do
amazon-lookout-for-vision-python-sdk/example
teczka.
Folder zawiera przykładowy notatnik, który przeprowadzi Cię przez proces tworzenia, szkolenia i wdrażania modelu. Zanim zaczniesz, musisz przesłać obrazy, które posłużą do trenowania modelu w instancji notatnika.
- W
example/
folder, utwórz dwa nowe foldery o nazwachgood
ibad
. - Przejdź do obu folderów i odpowiednio prześlij swoje obrazy.
Przykładowe obrazy znajdują się w pobranym repozytorium GitHub.
- Po przesłaniu obrazów otwórz plik
lookout_for_vision_example.ipynb
notatnik.
Notatnik przeprowadzi Cię przez proces tworzenia modelu. Jednym z ważnych kroków, które należy wykonać w pierwszej kolejności, jest podanie następujących informacji:
Możesz zignorować sekcję wnioskowania, ale możesz też pobawić się tą częścią notatnika. Ponieważ dopiero zaczynasz, możesz odejść model_version
Ustawić "1
".
W razie zamówieenia projektu input_bucket
i project_name
, użyj zasobnika S3 i nazwy projektu Amazon Lookout for Vision, które są dostarczane jako część build.sh
scenariusz. Następnie można uruchomić każdą komórkę w notesie, która pomyślnie wdraża model.
Możesz przeglądać metryki szkolenia za pomocą SDK, ale możesz je również znaleźć na konsoli. Aby to zrobić, otwórz projekt, przejdź do modeli i wybierz wyszkolony model. Metryki są dostępne w Wskaźniki wydajności patka.
Teraz możesz wdrożyć statyczną witrynę internetową, która może wywoływać Twój model na żądanie.
Wdróż statyczną witrynę internetową
Pierwszym krokiem jest dodanie punktu końcowego Brama Amazon API do kodu źródłowego Twojej statycznej witryny internetowej.
- W konsoli API Gateway znajdź wywoływany interfejs API REST
LookoutVisionAPI
. - Otwórz API i wybierz Praktyki.
- W rozwijanym menu sceny (w tym poście dev), Wybierz POST
- Skopiuj wartość dla Wywołaj adres URL.
Dodajemy adres URL do kodu źródłowego HTML.
- Otwórz plik
html/index.html
.
Na końcu pliku można znaleźć sekcję, która używa jQuery do wyzwalania żądania AJAX. Wzywa się jeden klucz url
, której wartością jest pusty ciąg.
- Wprowadź adres URL skopiowany jako nowy
url
wartość i zapisz plik.
Kod powinien wyglądać podobnie do poniższego:
- przekonwertować
index.html
do pliku .zip. - W konsoli AWS Amplify wybierz aplikację
ObjectTracking
.
Strona środowiska frontonu Twojej aplikacji otwiera się automatycznie.
- Wybierz Wdróż bez dostawcy Git.
Możesz ulepszyć ten element, aby połączyć AWS Amplify z Git i zautomatyzować całe wdrożenie.
- Dodaj Połącz oddział.
- W razie zamówieenia projektu Nazwa środowiska¸ wprowadź nazwę (w przypadku tego postu wpisujemy
dev
). - W razie zamówieenia projektu Metoda wykonania, Wybierz Przeciągnij i upuść.
- Dodaj Wybierz pliki aby przesłać
index.html.zip
utworzony plik. - Dodaj Zapisz i wdróż.
Po pomyślnym wdrożeniu możesz korzystać z aplikacji internetowej, wybierając domenę wyświetlaną w AWS Amplify.
Wykryj anomalie
Gratulacje! Właśnie zbudowałeś rozwiązanie, które automatyzuje wykrywanie anomalii w płytkach krzemowych i ostrzega operatora, aby podjął odpowiednie działania. Dane, których używamy w Amazon Lookout for Vision, to mapa płatkowa zaczerpnięta z Wikipedii. Dodano kilka „złych” miejsc, aby naśladować rzeczywiste scenariusze w produkcji półprzewodników.
Po wdrożeniu rozwiązania możesz uruchomić test, aby zobaczyć, jak to działa. Po otwarciu domeny AWS Amplify zobaczysz witrynę, która umożliwia przesłanie obrazu. W tym poście przedstawiamy wynik wykrycia złego wafla z tzw. Wzorem pączka. Po przesłaniu obrazu jest on wyświetlany w Twojej witrynie.
Jeśli obraz zostanie wykryty jako anomalia, Amazon Connect zadzwoni na Twój numer telefonu i będziesz mieć możliwość interakcji z usługą.
Wnioski
W tym poście wykorzystaliśmy Amazon Lookout for Vision do zautomatyzowania wykrywania anomalii w płytkach krzemowych i ostrzegania operatora w czasie rzeczywistym za pomocą Amazon Connect, aby mógł podjąć niezbędne działania.
To rozwiązanie nie ogranicza się tylko do opłatków. Możesz go rozszerzyć o śledzenie obiektów w transporcie, produkty w produkcji i inne nieskończone możliwości.
O autorach
Tolla Czerwenka jest globalnym architektem rozwiązań AWS, który posiada certyfikaty w zakresie danych i analityki. Wykorzystuje sztukę możliwego podejścia, aby pracować wstecz od celów biznesowych, aby opracować transformacyjne architektury danych sterowane zdarzeniami, które umożliwiają podejmowanie decyzji opartych na danych. Ponadto pasjonuje się tworzeniem normatywnych rozwiązań do refaktoryzacji krytycznych dla misji monolitycznych obciążeń w mikrousługach, łańcuchu dostaw i połączonych fabrykach, które wykorzystują IOT, uczenie maszynowe, duże zbiory danych i usługi analityczne.
Michaela Wallnera jest globalnym badaczem danych w AWS Professional Services i pasjonuje się umożliwieniem klientom w ich podróży AI / ML w chmurze, aby stać się AWSome. Poza tym, że interesuje się Amazon Connect, lubi sport i lubi gotować.
Kritivasan Balasubramaniyan jest głównym konsultantem w Amazon Web Services. Umożliwia globalnym klientom korporacyjnym w ich drodze do cyfrowej transformacji i pomaga w projektowaniu rozwiązań natywnych dla chmury.
- dostęp
- Konto
- Działania
- Dodatkowy
- Admin
- Amazonka
- Amazon Web Services
- analityka
- wykrywanie anomalii
- api
- Aplikacja
- Zastosowanie
- architektura
- na około
- Sztuka
- sztuczna inteligencja
- zautomatyzowane
- AWS
- Blog
- Bot
- budować
- Budowanie
- biznes
- wezwanie
- Spowodować
- Chmura
- Chmura rodzimych
- kod
- Firmy
- spełnienie
- Wizja komputerowa
- pewność siebie
- konsultant
- gotowanie
- Koszty:
- Tworzenie
- Klientów
- dane
- naukowiec danych
- Kreowanie
- Wykrywanie
- rozwijać
- cyfrowy
- cyfrowy Transformacja
- Punkt końcowy
- Enterprise
- klienci korporacyjni
- Środowisko
- Rozszerzać
- i terminów, a
- pływ
- format
- Darmowy
- funkcjonować
- git
- GitHub
- Globalne
- dobry
- W jaki sposób
- How To
- HTTPS
- Ludzie
- zidentyfikować
- obraz
- importowanie
- Zwiększać
- Informacja
- Inteligencja
- odsetki
- Internet przedmiotów
- IT
- Klawisz
- Klawisze
- nauka
- Dźwignia
- Linia
- uczenie maszynowe
- i konserwacjami
- produkcja
- mapa
- Metryka
- Misja
- ML
- model
- z naszej
- koncepcja
- otwiera
- zamówienie
- Inne
- Wzór
- przepowiednia
- teraźniejszość
- Produkt
- Produkcja
- Produkty
- projekt
- Python
- jakość
- podnieść
- Czytelnik
- zmniejszyć
- Zasoby
- REST
- przeglądu
- run
- bieganie
- sagemaker
- Skala
- Sdk
- Semiconductor
- Usługi
- zestaw
- Prosty
- So
- Rozwiązania
- SPORTOWE
- początek
- rozpoczęty
- przechowywanie
- sklep
- sukces
- udany
- Dostawa
- łańcuch dostaw
- wsparcie
- system
- test
- czas
- śledzić
- Śledzenie
- Trening
- Transformacja
- transport
- ui
- wartość
- Pojazdy
- Zobacz i wysłuchaj
- wizja
- Głos
- sieć
- usługi internetowe
- Strona internetowa
- KIM
- Wikipedia
- Praca
- działa