Amazon Lookout para Visão é um serviço de aprendizado de máquina (ML) que identifica defeitos e anomalias em representações visuais usando visão computacional (CV). Com o Amazon Lookout for Vision, as empresas de manufatura podem aumentar a qualidade e reduzir os custos operacionais, identificando rapidamente as diferenças nas imagens de objetos em escala.
Muitos clientes corporativos desejam identificar componentes ausentes em produtos, danos a veículos ou estruturas, irregularidades nas linhas de produção, defeitos minúsculos em pastilhas de silício e outros problemas semelhantes. O Amazon Lookout for Vision usa ML para ver e compreender imagens de qualquer câmera como uma pessoa faria, mas com um grau ainda maior de precisão e em uma escala muito maior. O Amazon Lookout for Vision elimina a necessidade de inspeção manual dispendiosa e inconsistente, enquanto melhora o controle de qualidade, avaliação de defeitos e danos e conformidade. Em minutos, você pode começar a usar o Amazon Lookout for Vision para automatizar a inspeção de imagens e objetos - sem a necessidade de experiência em ML.
Nesta postagem, veremos como podemos automatizar a detecção de anomalias em wafers de silício e notificar os operadores em tempo real.
Visão geral da solução
Acompanhar a qualidade dos produtos em uma linha de fabricação é uma tarefa desafiadora. Algumas etapas do processo obtêm imagens do produto que os humanos revisam para garantir a boa qualidade. Graças à inteligência artificial, você pode automatizar essas tarefas de detecção de anomalias, mas a intervenção humana pode ser necessária depois que as anomalias forem detectadas. Uma abordagem padrão é enviar e-mails quando produtos problemáticos são detectados. Esses e-mails podem ser esquecidos, o que pode causar uma perda de qualidade em uma fábrica.
Nesta postagem, automatizamos o processo de detecção de anomalias em wafers de silício e notificamos as operadoras em tempo real por meio de ligações telefônicas automatizadas. O diagrama a seguir ilustra nossa arquitetura. Implementamos um site estático usando Amplificar AWS, que serve como ponto de entrada para nosso aplicativo. Sempre que uma nova imagem é enviada por meio da IU (1), um AWS Lambda A função invoca o modelo Amazon Lookout for Vision (2) e prevê se esse wafer é anômalo ou não. A função armazena cada imagem enviada para Serviço de armazenamento simples da Amazon (Amazon S3) (3). Se a bolacha for anômala, a função envia a confiança da previsão para Amazon Conectar e chama um operador (4), que pode tomar outras medidas (5).
Configurando o Amazon Connect e o fluxo de contato associado
Para configurar o Amazon Connect e o fluxo de contato, você conclui as seguintes etapas de alto nível:
- Crie uma instância do Amazon Connect.
- Configure o fluxo de contato.
- Reivindique o seu número de telefone.
Crie uma instância do Amazon Connect
O primeiro passo é a criar uma instância Amazon Connect. Para o resto da configuração, usamos os valores padrão, mas não se esqueça de criar um login de administrador.
A criação da instância pode levar alguns minutos, após o qual podemos fazer login na instância do Amazon Connect usando a conta de administrador que criamos.
Configurando o fluxo de contato
Nesta postagem, temos um fluxo de contato predefinido que podemos importar. Para obter mais informações sobre como importar um fluxo de contato existente, consulte Importar / exportar fluxos de contato.
- Escolha o arquivo
contact-flow/wafer-anomaly-detection
do GitHub repo. - Escolha importação.
O fluxo de contato importado é semelhante à seguinte captura de tela.
- Na página de detalhes do fluxo, expanda Mostrar informações de fluxo adicionais.
Aqui você encontra o ARN do fluxo de contato.
- Registre a ID do fluxo de contato e a ID do centro de contato, de que você precisará mais tarde.
Reivindique o seu número de telefone
Reivindicando um número é fácil e leva apenas alguns cliques. Certifique-se de escolher o fluxo de contato importado anteriormente ao reivindicar o número.
Se nenhum número estiver disponível no país de sua escolha, abra um tíquete de suporte.
Visão geral do fluxo de contato
A captura de tela a seguir mostra nosso fluxo de contato.
O fluxo de contato executa as seguintes funções:
- Habilitar registro
- Defina a saída Amazon Polly voz (para este post, usamos a voz de Kendra)
- Obtenha a entrada do cliente usando DTMF (apenas as teclas 1 e 2 são válidas).
- Com base na entrada do usuário, o fluxo executa uma das seguintes ações:
- Solicita uma mensagem de adeus informando que nenhuma ação será realizada e saia
- Solicita uma mensagem de despedida informando que uma ação será executada e saia
- Falha e entrega um bloco substituto informando que a máquina irá desligar e sair
Opcionalmente, você pode aprimorar seu sistema com um Amazon-Lex robô.
Implante a solução
Agora que você configurou o Amazon Connect, implantou seu fluxo de contato e anotou as informações necessárias para o restante da implantação, podemos implantar os componentes restantes. No repositório GitHub clonado, edite o build.sh
script e execute-o na linha de comando:
Providencie a seguinte informação:
- Sua região
- O nome do intervalo S3 que você deseja usar (certifique-se de que o nome inclui a palavra
sagemaker
). - O nome do projeto Amazon Lookout for Vision que você deseja usar
- O ID do seu fluxo de contato
- Seu ID de instância do Amazon Connect
- O número que você reivindicou no Amazon Connect no formato E.164 (por exemplo, +132398765)
- Um nome para o Formação da Nuvem AWS pilha que você cria executando este script
Este script então executa as seguintes ações:
- Crie um bucket S3 para você
- Crie os arquivos .zip para sua função Lambda
- Faça upload do modelo CloudFormation e da função Lambda para seu novo bucket S3
- Crie a pilha CloudFormation
Depois que a pilha é implantada, você pode encontrar os seguintes recursos criados no console do AWS CloudFormation.
Você pode ver que um Amazon Sage Maker caderno chamado amazon-lookout-vision-create-project
também é criado.
Construir, treinar e implantar o modelo Amazon Lookout for Vision
Nesta seção, vemos como construir, treinar e implantar o modelo Amazon Lookout for Vision usando o Python SDK de código aberto. Para obter mais informações sobre o Amazon Lookout for Vision Python SDK, consulte este blog.
Você pode construir o modelo por meio do Console de gerenciamento da AWS. Para implantação programática, conclua as seguintes etapas:
- No console SageMaker, no Instâncias de notebook página, acesse a instância do bloco de notas SageMaker que foi criada anteriormente escolhendo Abra o Jupyter.
No caso, você pode encontrar o Repositório GitHub do Amazon Lookout for Vision Python SDK clonado automaticamente.
- Navegue para o
amazon-lookout-for-vision-python-sdk/example
pasta.
A pasta contém um exemplo de bloco de notas que o orienta na construção, treinamento e implantação de um modelo. Antes de começar, você precisa fazer upload das imagens a serem usadas para treinar o modelo em sua instância de notebook.
- No
example/
pasta, crie duas novas pastas chamadasgood
ebad
. - Navegue em ambas as pastas e carregue suas imagens de acordo.
Imagens de exemplo estão no repositório GitHub baixado.
- Depois de fazer upload das imagens, abra o
lookout_for_vision_example.ipynb
notebook.
O bloco de notas o orienta no processo de criação de seu modelo. Uma etapa importante que você deve fazer primeiro é fornecer as seguintes informações:
Você pode ignorar a seção de inferência, mas sinta-se à vontade para também brincar com esta parte do bloco de notas. Porque você está apenas começando, você pode sair model_version
definido como "1
".
Escolha input_bucket
e project_name
, use o intervalo S3 e o nome do projeto Amazon Lookout for Vision que são fornecidos como parte do build.sh
roteiro. Você pode então executar cada célula no notebook, o que implementa o modelo com sucesso.
Você pode visualizar as métricas de treinamento usando o SDK, mas também pode encontrá-las no console. Para fazer isso, abra seu projeto, navegue até os modelos e escolha o modelo que você treinou. As métricas estão disponíveis no Métricas de desempenho aba.
Agora você está pronto para implantar um site estático que pode chamar seu modelo sob demanda.
Implante o site estático
Sua primeira etapa é adicionar o ponto final de seu Gateway de API da Amazon ao código-fonte do seu site estático.
- No console do gateway de API, encontre a API REST chamada
LookoutVisionAPI
. - Abra a API e escolha estágios.
- No menu suspenso do palco (para esta postagem, dev), escolha o POST
- Copie o valor para Invocar URL.
Adicionamos a URL ao código-fonte HTML.
- Abra o arquivo
html/index.html
.
No final do arquivo, você pode encontrar uma seção que usa jQuery para acionar uma solicitação AJAX. Uma chave é chamada url
, que possui uma string vazia como valor.
- Insira o URL que você copiou como seu novo
url
valor e salve o arquivo.
O código deve ser semelhante ao seguinte:
- converter o
index.html
arquivo para um arquivo .zip. - No console do AWS Amplify, escolha o aplicativo
ObjectTracking
.
A página do ambiente front-end do seu aplicativo é aberta automaticamente.
- Selecionar Implantar sem provedor Git.
Você pode aprimorar esta peça para conectar o AWS Amplify ao Git e automatizar toda a sua implantação.
- Escolha Conectar filial.
- Escolha Nome do ambiente¸ insira um nome (para esta postagem, inserimos
dev
). - Escolha Forma, selecione Arraste e solte.
- Escolha Escolher os arquivos para fazer o upload do
index.html.zip
arquivo que você criou. - Escolha Salvar e implantar.
Depois que a implantação for bem-sucedida, você pode usar seu aplicativo da web escolhendo o domínio exibido no AWS Amplify.
Detectar anomalias
Parabéns! Você acabou de construir uma solução para automatizar a detecção de anomalias em wafers de silício e alertar um operador para tomar as medidas adequadas. Os dados que usamos para o Amazon Lookout for Vision são um mapa de wafer retirado da Wikipedia. Alguns pontos “ruins” foram adicionados para imitar cenários do mundo real na fabricação de semicondutores.
Depois de implantar a solução, você pode executar um teste para ver como funciona. Ao abrir o domínio AWS Amplify, você vê um site que permite o upload de uma imagem. Para esta postagem, apresentamos o resultado da detecção de um wafer ruim com o chamado padrão donut. Depois de fazer o upload da imagem, ela é exibida no seu site.
Se a imagem for detectada como uma anomalia, o Amazon Connect liga para o seu número de telefone e você pode interagir com o serviço.
Conclusão
Nesta postagem, usamos o Amazon Lookout for Vision para automatizar a detecção de anomalias em wafers de silício e alertar um operador em tempo real usando o Amazon Connect para que ele possa tomar as medidas necessárias.
Esta solução não está limitada apenas a wafers. Você pode estendê-lo ao rastreamento de objetos no transporte, produtos na fabricação e outras possibilidades infinitas.
Sobre os autores
Tolla Cherwenka é um arquiteto de soluções globais da AWS certificado em dados e análises. Ela usa a arte da abordagem possível para retroceder a partir das metas de negócios para desenvolver arquiteturas de dados transformadoras baseadas em eventos que permitem decisões baseadas em dados. Além disso, ela é apaixonada pela criação de soluções prescritivas para refatoração para cargas de trabalho monolíticas de missão crítica para microsserviços, cadeia de suprimentos e fábricas conectadas que aproveitam IOT, aprendizado de máquina, big data e serviços analíticos.
Michael Wallner é cientista de dados global com serviços profissionais da AWS e adora permitir que os clientes em sua jornada de IA / ML na nuvem se tornem AWSome. Além de ter um grande interesse no Amazon Connect, ele gosta de esportes e gosta de cozinhar.
Krithivasan Balasubramaniyan é consultor principal da Amazon Web Services. Ele capacita clientes corporativos globais em sua jornada de transformação digital e ajuda a arquitetar soluções nativas em nuvem.
- Acesso
- Conta
- Açao Social
- Adicional
- admin
- Amazon
- Amazon Web Services
- analítica
- detecção de anomalia
- api
- app
- Aplicação
- arquitetura
- por aí
- Arte
- inteligência artificial
- Automatizado
- AWS
- Blog
- Bot
- construir
- Prédio
- negócio
- chamada
- Causar
- Na nuvem
- Nativo da nuvem
- código
- Empresas
- compliance
- Visão de Computador
- confiança
- consultor
- cozinha
- custos
- Criar
- Clientes
- dados,
- cientista de dados
- Demanda
- Detecção
- desenvolver
- digital
- Transformação Digital
- Ponto final
- Empreendimento
- clientes corporativos
- Meio Ambiente
- Expandir
- Primeiro nome
- fluxo
- formato
- Gratuito
- função
- Git
- GitHub
- Global
- Bom estado, com sinais de uso
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- Humanos
- identificar
- imagem
- importador
- Crescimento
- INFORMAÇÕES
- Inteligência
- interesse
- iot
- IT
- Chave
- chaves
- aprendizagem
- Alavancagem
- Line
- aprendizado de máquina
- de grupos
- fabrica
- mapa,
- Métrica
- Missão
- ML
- modelo
- números
- aberto
- abre
- ordem
- Outros
- padrão
- predição
- presente
- Produto
- Produção
- Produtos
- projeto
- Python
- qualidade
- aumentar
- Leitor
- reduzir
- Recursos
- DESCANSO
- rever
- Execute
- corrida
- sábio
- Escala
- Sdk
- Semicondutor
- Serviços
- conjunto
- simples
- So
- Soluções
- Esportes
- começo
- começado
- armazenamento
- lojas
- sucesso
- bem sucedido
- supply
- cadeia de suprimentos
- ajuda
- .
- teste
- tempo
- pista
- Rastreamento
- Training
- Transformação
- transporte
- ui
- valor
- Veículos
- Ver
- visão
- voz
- web
- serviços web
- Site
- QUEM
- Wikipedia
- Atividades:
- trabalho