Amazon Lookout cho Tầm nhìn là một dịch vụ máy học (ML) giúp phát hiện các lỗi và điểm bất thường trong các biểu diễn trực quan bằng cách sử dụng thị giác máy tính (CV). Với Amazon Lookout for Vision, các công ty sản xuất có thể nâng cao chất lượng và giảm chi phí vận hành bằng cách nhanh chóng xác định sự khác biệt về hình ảnh của các đối tượng trên quy mô lớn.
Nhiều khách hàng doanh nghiệp muốn xác định các thành phần bị thiếu trong sản phẩm, hư hỏng đối với phương tiện hoặc cấu trúc, sự bất thường trong dây chuyền sản xuất, khuyết tật rất nhỏ trong tấm silicon và các vấn đề tương tự khác. Amazon Lookout for Vision sử dụng ML để xem và hiểu hình ảnh từ bất kỳ máy ảnh nào giống như con người, nhưng với độ chính xác thậm chí còn cao hơn và ở quy mô lớn hơn nhiều. Amazon Lookout for Vision loại bỏ nhu cầu kiểm tra thủ công tốn kém và không nhất quán, đồng thời cải thiện kiểm soát chất lượng, đánh giá lỗi và hư hỏng cũng như tuân thủ. Chỉ trong vài phút, bạn có thể bắt đầu sử dụng Amazon Lookout for Vision để tự động kiểm tra hình ảnh và đối tượng—không yêu cầu chuyên môn về ML.
Trong bài đăng này, chúng tôi xem xét cách chúng tôi có thể tự động hóa việc phát hiện sự bất thường trong các tấm bán dẫn silicon và thông báo cho người vận hành trong thời gian thực.
Tổng quan về giải pháp
Theo dõi chất lượng sản phẩm trong dây chuyền sản xuất là một nhiệm vụ đầy thách thức. Một số bước quy trình chụp ảnh sản phẩm mà con người sau đó xem xét để đảm bảo chất lượng tốt. Nhờ có trí tuệ nhân tạo, bạn có thể tự động hóa các tác vụ phát hiện điểm bất thường này nhưng có thể cần phải có sự can thiệp của con người sau khi phát hiện điểm bất thường. Một cách tiếp cận tiêu chuẩn là gửi email khi phát hiện sản phẩm có vấn đề. Những email này có thể bị bỏ qua, điều này có thể làm giảm chất lượng trong nhà máy sản xuất.
Trong bài đăng này, chúng tôi tự động hóa quy trình phát hiện sự bất thường trong các tấm bán dẫn silicon và thông báo cho người vận hành trong thời gian thực bằng các cuộc gọi điện thoại tự động. Sơ đồ sau đây minh họa kiến trúc của chúng tôi. Chúng tôi triển khai một trang web tĩnh bằng cách sử dụng Amplify AWS, đóng vai trò là điểm vào cho ứng dụng của chúng tôi. Bất cứ khi nào một hình ảnh mới được tải lên qua giao diện người dùng (1), một AWS Lambda gọi mô hình Amazon Lookout for Vision (2) và dự đoán xem tấm wafer này có bất thường hay không. Chức năng lưu trữ từng hình ảnh được tải lên thành Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) (3). Nếu tấm wafer dị thường, hàm sẽ gửi độ tin cậy của dự đoán đến Kết nối Amazon và gọi cho người điều hành (4), người này có thể thực hiện thêm hành động (5).
Thiết lập Amazon Connect và quy trình liên hệ được liên kết
Để định cấu hình Amazon Connect và luồng liên hệ, bạn hoàn thành các bước cấp cao sau:
- Tạo một phiên bản Amazon Connect.
- Thiết lập luồng liên lạc.
- Yêu cầu số điện thoại của bạn.
Tạo phiên bản Amazon Connect
Bước đầu tiên là tạo một phiên bản Amazon Connect. Đối với phần còn lại của thiết lập, chúng tôi sử dụng các giá trị mặc định, nhưng đừng quên tạo thông tin đăng nhập quản trị viên.
Quá trình tạo phiên bản có thể mất vài phút, sau đó chúng tôi có thể đăng nhập vào phiên bản Amazon Connect bằng tài khoản quản trị viên mà chúng tôi đã tạo.
Thiết lập luồng liên hệ
Trong bài đăng này, chúng tôi có một luồng liên hệ được xác định trước mà chúng tôi có thể nhập. Để biết thêm thông tin về cách nhập luồng liên hệ hiện có, hãy xem Nhập / xuất luồng liên hệ.
- Chọn tập tin
contact-flow/wafer-anomaly-detection
từ Repo GitHub. - Chọn Nhập khẩu.
Luồng liên hệ đã nhập trông tương tự như ảnh chụp màn hình sau.
- Trên trang chi tiết dòng, mở rộng Hiển thị thông tin lưu lượng bổ sung.
Tại đây bạn có thể tìm thấy ARN của luồng liên hệ.
- Ghi lại ID luồng liên hệ và ID trung tâm liên hệ mà bạn cần sau này.
Yêu cầu số điện thoại của bạn
Yêu cầu một số thật dễ dàng và chỉ mất vài cú nhấp chuột. Đảm bảo chọn luồng liên hệ đã nhập trước đó trong khi yêu cầu số.
Nếu không có số điện thoại nào ở quốc gia bạn chọn, hãy yêu cầu hỗ trợ.
Tổng quan về luồng liên hệ
Ảnh chụp màn hình sau đây cho thấy luồng liên hệ của chúng tôi.
Dòng tiếp xúc thực hiện các chức năng sau:
- Bật ghi nhật ký
- Đặt đầu ra Amazon Polly giọng nói (đối với bài đăng này, chúng tôi sử dụng giọng nói của Kendra)
- Nhận đầu vào của khách hàng bằng DTMF (chỉ khóa 1 và 2 là hợp lệ).
- Dựa trên đầu vào của người dùng, quy trình thực hiện một trong các thao tác sau:
- Nhắc thông báo tạm biệt cho biết sẽ không có hành động nào được thực hiện và thoát
- Nhắc thông báo tạm biệt cho biết một hành động sẽ được thực hiện và thoát
- Không thành công và gửi khối dự phòng cho biết máy sẽ tắt và thoát
Theo tùy chọn, bạn có thể nâng cao hệ thống của mình bằng một Amazon bot.
Triển khai giải pháp
Bây giờ bạn đã thiết lập Amazon Connect, triển khai luồng liên hệ của mình và lưu ý thông tin bạn cần cho phần còn lại của quá trình triển khai, chúng tôi có thể triển khai các thành phần còn lại. Trong kho lưu trữ GitHub đã nhân bản, hãy chỉnh sửa build.sh
script và chạy nó từ dòng lệnh:
Cung cấp các thông tin sau:
- Khu vực của bạn
- Tên bộ chứa S3 bạn muốn sử dụng (đảm bảo tên này bao gồm từ
sagemaker
). - Tên của dự án Amazon Lookout for Vision mà bạn muốn sử dụng
- ID của luồng liên hệ của bạn
- ID phiên bản Amazon Connect của bạn
- Số bạn đã xác nhận trong Amazon Connect ở định dạng E.164 (ví dụ: +132398765)
- Một cái tên cho Hình thành đám mây AWS ngăn xếp bạn tạo bằng cách chạy tập lệnh này
Tập lệnh này sau đó thực hiện các hành động sau:
- Tạo một nhóm S3 cho bạn
- Tạo các tệp .zip cho hàm Lambda của bạn
- Tải mẫu CloudFormation và hàm Lambda lên bộ chứa S3 mới của bạn
- Tạo ngăn xếp CloudFormation
Sau khi ngăn xếp được triển khai, bạn có thể tìm thấy các tài nguyên sau được tạo trên bảng điều khiển AWS CloudFormation.
Bạn có thể thấy rằng một Amazon SageMaker máy tính xách tay được gọi là amazon-lookout-vision-create-project
cũng được tạo ra.
Xây dựng, đào tạo và triển khai mô hình Amazon Lookout for Vision
Trong phần này, chúng ta sẽ xem cách xây dựng, đào tạo và triển khai mô hình Amazon Lookout for Vision bằng SDK Python mã nguồn mở. Để biết thêm thông tin về Amazon Lookout for Vision Python SDK, xem bài viết trên blog này.
Bạn có thể xây dựng mô hình thông qua Bảng điều khiển quản lý AWS. Để triển khai theo chương trình, hãy hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, trên Trường hợp máy tính xách tay trang, hãy truy cập phiên bản sổ ghi chép SageMaker đã được tạo trước đó bằng cách chọn Mở Jupyter.
Trong ví dụ này, bạn có thể tìm thấy Kho GitHub của Amazon Lookout for Vision Python SDK được sao chép tự động.
- Điều hướng vào
amazon-lookout-for-vision-python-sdk/example
thư mục.
Thư mục chứa một sổ ghi chép ví dụ hướng dẫn bạn cách xây dựng, đào tạo và triển khai một mô hình. Trước khi bắt đầu, bạn cần tải lên các hình ảnh để sử dụng nhằm huấn luyện mô hình vào phiên bản sổ ghi chép của mình.
- Trong tạp chí
example/
thư mục, tạo hai thư mục mới có têngood
vàbad
. - Điều hướng vào cả hai thư mục và tải lên hình ảnh của bạn cho phù hợp.
Hình ảnh ví dụ nằm trong kho lưu trữ GitHub đã tải xuống.
- Sau khi bạn tải hình ảnh lên, hãy mở
lookout_for_vision_example.ipynb
sổ tay.
Sổ tay hướng dẫn bạn qua quá trình tạo mô hình của bạn. Một bước quan trọng bạn nên làm trước tiên là cung cấp các thông tin sau:
Bạn có thể bỏ qua phần suy luận, nhưng cũng có thể thử với phần này của sổ ghi chép. Bởi vì bạn chỉ mới bắt đầu, bạn có thể rời đi model_version
đặt thành “1
".
Trong input_bucket
và project_name
, hãy sử dụng bộ chứa S3 và tên dự án Amazon Lookout for Vision được cung cấp như một phần của build.sh
script. Sau đó, bạn có thể chạy từng ô trong sổ ghi chép để triển khai thành công mô hình.
Bạn có thể xem các chỉ số đào tạo bằng SDK nhưng bạn cũng có thể tìm thấy chúng trên bảng điều khiển. Để làm như vậy, hãy mở dự án của bạn, điều hướng đến các mô hình và chọn mô hình bạn đã đào tạo. Các chỉ số có sẵn trên Chỉ số hiệu suất tab.
Bây giờ bạn đã sẵn sàng để triển khai một trang web tĩnh có thể gọi mô hình của bạn theo yêu cầu.
Triển khai trang web tĩnh
Bước đầu tiên của bạn là thêm điểm cuối của Cổng API Amazon vào mã nguồn trang web tĩnh của bạn.
- Trên bảng điều khiển API Gateway, tìm API REST có tên
LookoutVisionAPI
. - Mở API và chọn Các giai đoạn.
- Trên menu thả xuống của sân khấu (đối với bài đăng này, dev), chọn POST
- Sao chép giá trị cho Gọi URL.
Chúng tôi thêm URL vào mã nguồn HTML.
- Mở tập tin
html/index.html
.
Ở cuối tệp, bạn có thể tìm thấy phần sử dụng jQuery để kích hoạt yêu cầu AJAX. Một khóa được gọi là url
, có một chuỗi rỗng làm giá trị của nó.
- Nhập URL bạn đã sao chép làm URL mới
url
giá trị và lưu tệp.
Mã sẽ trông giống như sau:
- chuyển đổi
index.html
thành tệp .zip. - Trên bảng điều khiển AWS Amplify, chọn ứng dụng
ObjectTracking
.
Trang môi trường giao diện người dùng của ứng dụng sẽ tự động mở ra.
- Chọn Triển khai mà không cần nhà cung cấp Git.
Bạn có thể cải tiến phần này để kết nối AWS Amplify với Git và tự động hóa toàn bộ quá trình triển khai của bạn.
- Chọn Kết nối chi nhánh.
- Trong Tên môi trường¸ nhập tên (đối với bài viết này, chúng tôi nhập
dev
). - Trong Phương pháp, lựa chọn Kéo và thả.
- Chọn Chọn tập tin tải lên
index.html.zip
tệp bạn đã tạo. - Chọn Lưu và triển khai.
Sau khi triển khai thành công, bạn có thể sử dụng ứng dụng web của mình bằng cách chọn miền hiển thị trong AWS Amplify.
Phát hiện sự bất thường
Xin chúc mừng! Bạn vừa xây dựng một giải pháp để tự động phát hiện các điểm bất thường trong tấm bán dẫn silicon và cảnh báo cho người vận hành để có hành động thích hợp. Dữ liệu chúng tôi sử dụng cho Amazon Lookout for Vision là bản đồ lát mỏng được lấy từ Wikipedia. Một số điểm “xấu” đã được thêm vào để mô phỏng các tình huống thực tế trong sản xuất chất bán dẫn.
Sau khi triển khai giải pháp, bạn có thể chạy thử nghiệm để xem giải pháp đó hoạt động như thế nào. Khi mở miền AWS Amplify, bạn sẽ thấy một trang web cho phép bạn tải hình ảnh lên. Đối với bài đăng này, chúng tôi trình bày kết quả phát hiện một tấm wafer xấu với cái gọi là mẫu bánh rán. Sau khi bạn tải lên hình ảnh, nó sẽ được hiển thị trên trang web của bạn.
Nếu hình ảnh được phát hiện là bất thường, Amazon Connect sẽ gọi đến số điện thoại của bạn và bạn có thể tương tác với dịch vụ.
Kết luận
Trong bài đăng này, chúng tôi đã sử dụng Amazon Lookout for Vision để tự động phát hiện các điểm bất thường trong tấm bán dẫn silicon và cảnh báo cho người vận hành theo thời gian thực bằng Amazon Connect để họ có thể hành động khi cần.
Giải pháp này không bị ràng buộc chỉ với các tấm wafer. Bạn có thể mở rộng nó để theo dõi đối tượng trong vận chuyển, sản phẩm trong sản xuất và các khả năng vô tận khác.
Về các tác giả
Tolla Cherwenka là một Kiến trúc sư giải pháp toàn cầu của AWS, người được chứng nhận về dữ liệu và phân tích. Cô ấy sử dụng một nghệ thuật về cách tiếp cận khả thi để làm việc ngược từ các mục tiêu kinh doanh để phát triển các kiến trúc dữ liệu theo hướng sự kiện có tính biến đổi nhằm cho phép đưa ra các quyết định dựa trên dữ liệu. Hơn nữa, cô ấy đam mê tạo ra các giải pháp theo quy định để tái cấu trúc nhằm truyền khối lượng công việc nguyên khối quan trọng cho các dịch vụ siêu nhỏ, chuỗi cung ứng và các nhà máy được kết nối tận dụng IOT, máy học, dữ liệu lớn và các dịch vụ phân tích.
Micheal Wallner là Nhà khoa học dữ liệu toàn cầu với Dịch vụ chuyên nghiệp của AWS và đam mê hỗ trợ khách hàng trong hành trình AI / ML của họ trên đám mây trở thành AWSome. Ngoài mối quan tâm sâu sắc đến Amazon Connect, anh ấy còn thích thể thao và thích nấu ăn.
Krithivasan Balasubramaniyan là Cố vấn chính tại Amazon Web Services. Anh ấy hỗ trợ các khách hàng doanh nghiệp toàn cầu trong hành trình chuyển đổi kỹ thuật số của họ và giúp kiến trúc các giải pháp gốc trên nền tảng đám mây.
- truy cập
- Tài khoản
- Hoạt động
- thêm vào
- quản trị viên
- đàn bà gan dạ
- Amazon Web Services
- phân tích
- phát hiện bất thường
- api
- ứng dụng
- Các Ứng Dụng
- kiến trúc
- xung quanh
- Nghệ thuật
- trí tuệ nhân tạo
- Tự động
- AWS
- Blog
- Bot
- xây dựng
- Xây dựng
- kinh doanh
- cuộc gọi
- Nguyên nhân
- đám mây
- Mây bản địa
- mã
- Các công ty
- tuân thủ
- Tầm nhìn máy tính
- sự tự tin
- chuyên gia tư vấn
- nấu ăn
- Chi phí
- Tạo
- khách hàng
- dữ liệu
- nhà khoa học dữ liệu
- Nhu cầu
- Phát hiện
- phát triển
- kỹ thuật số
- chuyển đổi kỹ thuật số
- Điểm cuối
- Doanh nghiệp
- khách hàng doanh nghiệp
- Môi trường
- Mở rộng
- Tên
- dòng chảy
- định dạng
- Miễn phí
- chức năng
- đi
- GitHub
- Toàn cầu
- tốt
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- Con người
- xác định
- hình ảnh
- nhập khẩu
- Tăng lên
- thông tin
- Sự thông minh
- quan tâm
- iốt
- IT
- Key
- phím
- học tập
- Tỉ lệ đòn bẩy
- Dòng
- học máy
- quản lý
- sản xuất
- bản đồ
- Metrics
- Sứ mệnh
- ML
- kiểu mẫu
- số
- mở
- mở ra
- gọi món
- Nền tảng khác
- Họa tiết
- dự đoán
- trình bày
- Sản phẩm
- Sản lượng
- Sản phẩm
- dự án
- Python
- chất lượng
- nâng cao
- Người đọc
- giảm
- Thông tin
- REST của
- xem xét
- chạy
- chạy
- nhà làm hiền triết
- Quy mô
- sdk
- bán dẫn
- DỊCH VỤ
- định
- Đơn giản
- So
- Giải pháp
- Thể thao
- Bắt đầu
- bắt đầu
- là gắn
- cửa hàng
- thành công
- thành công
- cung cấp
- chuỗi cung ứng
- hỗ trợ
- hệ thống
- thử nghiệm
- thời gian
- theo dõi
- Theo dõi
- Hội thảo
- Chuyển đổi
- giao thông vận tải
- ui
- giá trị
- Xe cộ
- Xem
- tầm nhìn
- Giọng nói
- web
- các dịch vụ web
- Website
- CHÚNG TÔI LÀ
- Wikipedia
- Công việc
- công trinh