亚马逊Lookout for Vision 是一种机器学习(ML)服务,可使用计算机视觉(CV)识别视觉表示中的缺陷和异常。 借助Amazon Lookout for Vision,制造公司可以通过快速识别大规模对象图像的差异来提高质量并降低运营成本。
许多企业客户希望确定产品中缺少的组件,车辆或结构的损坏,生产线中的不规则性,硅晶片的微小缺陷以及其他类似问题。 Amazon Lookout for Vision使用ML像人一样使用ML来查看和理解任何摄像机的图像,但是具有更高的准确性和更大的规模。 Amazon Lookout for Vision消除了对昂贵且不一致的手动检查的需求,同时改善了质量控制,缺陷和损坏评估以及合规性。 在几分钟之内,您可以开始使用Amazon Lookout for Vision自动检查图像和对象,而无需ML专业知识。
在本文中,我们将探讨如何自动检测硅晶片中的异常并实时通知操作员。
解决方案概述
跟踪生产线中产品的质量是一项艰巨的任务。 某些处理步骤会拍摄产品图像,然后人工检查以确保质量。 借助人工智能,您可以自动执行这些异常检测任务,但是在检测到异常之后可能需要人工干预。 一种标准方法是在检测到有问题的产品时发送电子邮件。 这些电子邮件可能会被忽略,从而可能导致制造工厂的质量下降。
在本文中,我们将自动检测硅晶片中的异常并使用自动电话实时通知操作员的过程。 下图说明了我们的体系结构。 我们使用以下方式部署静态网站 AWS放大,这是我们应用程序的入口点。 每当通过用户界面(1)上传新图像时, AWS Lambda 函数调用Amazon Lookout for Vision模型(2)并预测此晶圆是否异常。 该功能将每个上传的图像存储到 亚马逊简单存储服务 (Amazon S3)(3)。 如果晶片异常,该函数会将预测的置信度发送给 亚马逊通 并呼叫操作员(4),该操作员可以采取进一步的措施(5)。
设置Amazon Connect及其关联的联系流程
要配置Amazon Connect和联系流程,您需要完成以下高级步骤:
- 创建一个Amazon Connect实例。
- 设置联系流程。
- 索取您的电话号码。
创建一个Amazon Connect实例
第一步是要 创建一个Amazon Connect实例。 对于其余的设置,我们使用默认值,但不要忘记创建管理员登录名。
创建实例可能需要几分钟,然后我们可以使用创建的管理员帐户登录到Amazon Connect实例。
设置联系流程
在这篇文章中,我们有一个可以导入的预定义联系流程。 有关导入现有联系流的更多信息,请参见 进出口联系流程.
- 选择文件
contact-flow/wafer-anomaly-detection
来自 GitHub回购. - 进口.
导入的联系人流看起来类似于以下屏幕截图。
- 在流程详细信息页面上,展开 显示其他流程信息.
在这里,您可以找到联系流程的ARN。
- 记录联系流程ID和联系中心ID,稍后再使用。
索取您的电话号码
索取号码 很简单,只需单击几下。 索取该号码时,请确保选择先前导入的联系流程。
如果您选择的国家/地区没有可用的电话号码,请提出支持要求。
联络流程概述
以下屏幕截图显示了我们的联系流程。
联络流程执行以下功能:
- 启用记录
- 设定输出 亚马逊波莉 语音(对于本帖子,我们使用Kendra语音)
- 使用DTMF获得客户输入(仅键1和2有效)。
- 根据用户的输入,该流程执行以下操作之一:
- 提示再见消息,说明将不执行任何操作并退出
- 提示再见消息,说明将采取措施并退出
- 失败并提供一个后备块,表明计算机将关闭并退出
(可选)您可以使用 亚马逊Lex 机器人。
部署解决方案
既然您已经设置了Amazon Connect,已经部署了联系流程,并注意到了其余部署所需的信息,我们就可以部署其余的组件。 在克隆的GitHub存储库中,编辑 build.sh
脚本并从命令行运行它:
提供以下信息:
- 您所在的地区
- 您要使用的S3存储桶名称(确保名称中包含单词
sagemaker
). - 您要使用的Amazon Lookout for Vision项目的名称
- 您的联系流程的ID
- 您的Amazon Connect实例ID
- 您在Amazon Connect中以E.164格式声明的号码(例如+132398765)
- 的名称 AWS CloudFormation 通过运行此脚本创建的堆栈
然后,该脚本执行以下操作:
- 为您创建一个S3存储桶
- 为Lambda函数构建.zip文件
- 将CloudFormation模板和Lambda函数上传到新的S3存储桶
- 创建CloudFormation堆栈
部署堆栈后,您可以找到在AWS CloudFormation控制台上创建的以下资源。
您可以看到 亚马逊SageMaker 笔记本叫 amazon-lookout-vision-create-project
也被创建。
构建,培训和部署Amazon Lookout for Vision模型
在本部分中,我们将介绍如何使用开源Python SDK构建,训练和部署Amazon Lookout for Vision模型。 有关Amazon Lookout for Vision Python SDK的更多信息,请参阅 这个博文.
您可以通过 AWS管理控制台。 对于编程部署,请完成以下步骤:
- 在SageMaker控制台上,在 笔记本实例 页面上,访问通过选择以下内容先前创建的SageMaker笔记本实例 打开Jupyter。
在实例中,您可以找到 GitHub存储库 自动克隆了Amazon Lookout for Vision Python SDK。
- 导航到
amazon-lookout-for-vision-python-sdk/example
文件夹中。
该文件夹包含一个示例笔记本,可指导您构建,训练和部署模型。 在开始之前,您需要上传图像以用于将模型训练到笔记本实例中。
- 在
example/
文件夹,创建两个新文件夹,名为good
和bad
. - 导航到两个文件夹中,然后相应地上传图像。
示例图像位于下载的GitHub存储库中。
- 上传图像后,打开
lookout_for_vision_example.ipynb
笔记本电脑。
笔记本将引导您完成创建模型的过程。 您首先应该做的一个重要步骤是提供以下信息:
您可以忽略推论部分,但也可以随意使用笔记本的这一部分。 因为您才刚刚开始,所以可以离开 model_version
调成 ”1
“。
针对 input_bucket
和 project_name
,请使用S3存储桶和Amazon Lookout for Vision项目名称,这些名称是作为 build.sh
脚本。 然后,您可以运行笔记本中的每个单元,从而成功部署模型。
您可以使用SDK查看培训指标,但也可以在控制台上找到它们。 为此,请打开您的项目,导航到模型,然后选择您训练过的模型。 指标可在 性能指标 标签。
现在您已经准备好部署一个静态网站,该网站可以按需调用模型。
部署静态网站
第一步是添加您的端点 Amazon API网关 静态网站的源代码。
- 在API Gateway控制台上,找到名为的REST API。
LookoutVisionAPI
. - 打开API并选择 实习.
- 在舞台的下拉菜单中(对于此信息, 开发), 选择 解决方案&帖子
- 复制以下值 调用网址.
我们将URL添加到HTML源代码中。
- 打开文件
html/index.html
.
在文件末尾,您可以找到一个使用jQuery触发AJAX请求的部分。 一键叫 url
,其值为空字符串。
- 输入您复制为新网址的网址
url
值并保存文件。
该代码应类似于以下内容:
- 转换
index.html
文件转换为.zip文件。 - 在AWS Amplify控制台上,选择应用程序
ObjectTracking
.
您的应用程序的前端环境页面会自动打开。
- 选择 在没有Git提供程序的情况下进行部署.
您可以增强此功能,以将AWS Amplify连接到Git并自动执行整个部署。
- 连接分支.
- 针对 环境名称¸输入名称(对于该帖子,我们输入
dev
). - 针对 付款方式, 选择 拖放.
- 选择文件 上传
index.html.zip
您创建的文件。 - 保存并部署.
部署成功后,您可以通过选择AWS Amplify中显示的域来使用Web应用程序。
检测异常
恭喜你! 您刚刚构建了一种解决方案,可以自动检测硅晶片中的异常并警告操作员采取适当的措施。 我们用于Amazon Lookout for Vision的数据是取自Wikipedia的晶圆图。 添加了一些“坏”点来模仿半导体制造中的实际情况。
部署解决方案后,您可以运行测试以查看其工作方式。 当您打开AWS Amplify域时,您会看到一个网站,可让您上传图像。 在这篇文章中,我们介绍了检测带有所谓的甜甜圈图案的不良晶圆的结果。 上传图片后,它会显示在您的网站上。
如果检测到图像异常,Amazon Connect会拨打您的电话号码,您可以与该服务进行交互。
结论
在本文中,我们使用Amazon Lookout for Vision自动检测硅片中的异常,并使用Amazon Connect实时警告操作员,以便他们可以根据需要采取行动。
该解决方案不仅限于晶圆。 您可以将其扩展到运输中的对象跟踪,制造中的产品以及其他无穷无尽的可能性。
作者简介
托拉·切尔文卡(Tolla Cherwenka) 是一位AWS全球解决方案架构师,他获得了数据和分析认证。 她运用一种可行的方法,从业务目标中倒退,以开发可支持数据驱动决策的变革性事件驱动数据架构。 此外,她非常热衷于创建说明性解决方案,以将关键任务的整体工作负载重构为利用IOT,机器学习,大数据和分析服务的微服务,供应链和连接工厂。
迈克尔·沃尔纳 是AWS专业服务的全球数据科学家,并且热衷于使客户在云中进行AI / ML之旅成为AWSome。 除了对Amazon Connect感兴趣以外,他还喜欢运动并喜欢烹饪。
K里西瓦桑·巴拉苏布拉马尼扬(Rithivasan Balasubramaniyan) 是Amazon Web Services的首席顾问。 他帮助全球企业客户进行数字化转型,并帮助架构师开发云原生解决方案。
- ACCESS
- 账号管理
- 操作
- 额外
- 管理员
- Amazon
- 亚马逊网络服务
- 分析
- 异常检测
- API
- 应用
- 应用领域
- 架构
- 围绕
- 艺术
- 人工智能
- 自动化
- AWS
- 博客
- 博特
- 建立
- 建筑物
- 商业
- 呼叫
- 原因
- 云端技术
- 云本土
- 码
- 公司
- 符合
- 计算机视觉
- 信心
- 顾问
- 烹调
- 成本
- 创造
- 合作伙伴
- data
- 数据科学家
- 需求
- 检测
- 开发
- 数字
- 数字化改造
- 端点
- 企业
- 企业客户
- 环境
- 扩大
- 姓氏:
- 流
- 格式
- Free
- 功能
- 混帐
- GitHub上
- 全球
- 非常好
- 创新中心
- How To
- HTTPS
- 人类
- 鉴定
- 图片
- 输入
- 增加
- 信息
- 房源搜索
- 兴趣
- 物联网
- IT
- 键
- 键
- 学习
- 杠杆作用
- Line
- 机器学习
- 颠覆性技术
- 制造业
- 地图
- 指标
- 使命
- ML
- 模型
- 数字
- 打开
- 打开
- 秩序
- 其他名称
- 模式
- 预测
- 当下
- 产品
- 生产
- 热销产品
- 项目
- 蟒蛇
- 质量
- 提高
- 读者
- 减少
- 资源
- REST的
- 检讨
- 运行
- 运行
- sagemaker
- 鳞片
- SDK
- 半导体
- 特色服务
- 集
- 简易
- So
- 解决方案
- 运动
- 开始
- 开始
- 存储
- 商店
- 成功
- 成功
- 供应
- 供应链
- SUPPORT
- 系统
- test
- 次
- 跟踪时
- 跟踪
- 产品培训
- 转型
- 交通运输或是
- ui
- 折扣值
- 车辆
- 查看
- 愿景
- 音色
- 卷筒纸
- Web服务
- 您的网站
- WHO
- 维基百科上的数据
- 工作
- 合作