機械学習 (ML) により、製品の視覚的な異常を検出するタスクを自動化できる、より強力なテクノロジーが利用できるようになりました。ただし、このような ML ソリューションの実装には、複雑なインフラストラクチャの管理と設定、および適切な ML スキルが必要となるため、時間と費用がかかります。さらに、ML アプリケーションでは、異常検出の精度を確保し、継続的な改善を支援し、更新された予測でモデルを再トレーニングするために人間の監視が必要です。ただし、多くの場合、ML のみのシステムか人間のみのシステムのどちらかを選択する必要があります。企業は、より高い精度を達成するために人間が結果を監視しながら、ML システムをワークフローに統合するという、両方の長所を求めています。
この記事では、簡単に設定できる方法を紹介します Amazon Lookout For Vision プリント基板データセットを使用して視覚的異常検出モデルをトレーニングするには、人間参加型ワークフローを使用して予測をレビューします。 Amazon拡張AI (Amazon A2I)、人間の入力を組み込むためにデータセットを拡張し、モデルを再トレーニングします。
ソリューションの概要
Lookout for Vision は、コンピューター ビジョンを使用して製品の欠陥を特定し、製造ラインの品質検査プロセスを自動化するのに役立つ ML サービスです。ML の専門知識は必要ありません。わずか 30 個の製品画像 (通常 20 個、異常 10 個) から開始して、独自の ML モデルをトレーニングできます。 Lookout for Vision は、独自の ML モデルを使用して製品画像をほぼリアルタイムで分析し、製品の欠陥を検出します。これにより、工場担当者は診断して是正措置を講じることができます。
Amazon A2Iは、人間によるレビューに必要なワークフローを簡単に構築できるMLサービスです。 Amazon A2Iは、すべての開発者にヒューマンレビューを提供し、AWSで実行されているかどうかに関係なく、ヒューマンレビューシステムの構築や多数のヒューマンレビューアの管理に関連する差別化されていない重労働を取り除きます。
Lookout for Vision の使用を開始するには、プロジェクトを作成し、データセットを作成し、モデルをトレーニングし、テスト画像で推論を実行します。これらの手順を実行した後、Amazon A2I を使用して人間によるレビュープロセスを迅速に設定し、拡張されたデータセットまたは人間がレビューしたデータセットを使用してモデルを再トレーニングする方法を示します。付属品もご用意しております Jupyter Notebook.
アーキテクチャの概要
次の図は、ソリューションのアーキテクチャを示しています。
このソリューションには、次のワークフローがあります。
- ソースからのデータをアップロードします Amazon シンプル ストレージ サービス (Amazon S3)。
- Lookout for Vision を実行して、Amazon S3 パスからのデータを処理します。
- ダウンストリームレビューのために推論結果を Amazon S3 に保存します。
- Lookout for Vision を使用して、入力画像が破損しているかどうかを判断し、信頼レベルが 70% を超えていることを検証します。 70% を下回る場合、画像が破損しているかどうかを作業者が手動で判断するためのヒューマン ループが開始されます。
- 民間の職員が、検出された損傷を調査および検証し、フィードバックを提供します。
- 後続のモデルの再トレーニングのために、対応するフィードバックを使用してトレーニング データを更新します。
- 継続的にモデルを再トレーニングするには、再トレーニング サイクルを繰り返します。
前提条件
始める前に、次の手順を実行してJupyterノートブックをセットアップします。
- ノートブックインスタンスを作成する in アマゾンセージメーカー.
- ノートブックがアクティブなときに、 Jupyterを開く.
- Jupyterダッシュボードで、 新作、選択して ターミナル.
- ターミナルで、次のコードを入力します。
- この投稿のノートブックを開きます。
Amazon-Lookout-for-Vision-and-Amazon-A2I-Integration.ipynb
.
これで、ノートブックのセルを実行する準備ができました。
- セットアップ環境ステップを実行して、必要な Python SDK と変数をセットアップします。
最初のステップでは、以下を定義する必要があります。
- 地域 – プロジェクトが存在する地域
- プロジェクト名 – Lookout for Vision プロジェクトの名前
- バケット – モデルの結果を出力する Amazon S3 バケットの名前
- モデル_バージョン – モデルのバージョン (デフォルト設定は 1)
- 画像を保存するための S3 バケットを作成します。
- セクションのセルを実行して、データセットからマニフェスト ファイルを作成します。 データセットからマニフェスト ファイルを作成する ノートの中で。
Lookout for Vision は、このマニフェスト ファイルを使用して、ファイルの場所と、ファイルに関連付けられたラベルを特定します。
回路基板の画像を Amazon S3 にアップロードする
Lookout for Vision モデルをトレーニングするには、サンプル データセットをローカルの Jupyter ノートブックから Amazon S3 にコピーする必要があります。
Lookout forVisionプロジェクトを作成する
Lookout for Vision プロジェクトの作成方法には、次の XNUMX つのオプションがあります。Lookout for Vision コンソール、 AWSコマンドラインインターフェイス (AWS CLI)、または Boto3 SDK。この例では Boto3 SDK を選択しましたが、コンソールの方法も確認することを強くお勧めします。
SDK を使用して実行する手順は次のとおりです。
- プロジェクトを作成し (名前は最初に定義しました)、トレーニング データセットの場所をプロジェクトに指示します。これは、トレーニング用のマニフェスト ファイルを介して行われます。
- テスト データセットの場所をプロジェクトに指示します。これは、テスト用のマニフェスト ファイルを介して行われます。
この XNUMX 番目のステップはオプションです。一般に、テスト関連のコードはすべてオプションです。 Lookout for Vision はトレーニング データセットのみでも機能します。 AI モデルと ML モデルをトレーニングする場合、トレーニングとテストが一般的な (ベスト) プラクティスであるため、両方を使用します。
データセットからマニフェスト ファイルを作成する
Lookout for Vision は、このマニフェスト ファイルを使用して、ファイルの場所と、ファイルに関連付けられたラベルを特定します。次のコードを参照してください。
Lookout forVisionプロジェクトを作成する
次のコマンドは、Lookout for Vision プロジェクトを作成します。
モデルを作成してトレーニングする
このセクションでは、トレーニング データセットとテスト データセットの作成、モデルのトレーニング、モデルのホストの手順を説明します。
Amazon S3 の画像からトレーニング データセットとテスト データセットを作成する
Lookout for Vision プロジェクトを作成した後、マニフェスト ファイルとともに Amazon S3 にアップロードしたサンプル画像を使用してプロジェクト データセットを作成します。次のコードを参照してください。
モデルを訓練する
Lookout for Vision プロジェクトとデータセットを作成したら、最初のモデルをトレーニングできます。
トレーニングが完了すると、利用可能なモデル メトリクスを表示できます。
次のような出力が表示されるはずです。
メトリック | モデル アーン | Status: メッセージ | 性能 | モデルのパフォーマンス |
F1スコア | 1 | 訓練を受けた | 訓練は無事に終了しました。 | 0.93023 |
精度 | 1 | 訓練を受けた | 訓練は無事に終了しました。 | 0.86957 |
リコール | 1 | 訓練を受けた | 訓練は無事に終了しました。 | 1 |
モデルをホストする
新しくトレーニングされた Lookout for Vision モデルを使用する前に、それをホストする必要があります。
Lookout for Vision からの予測をレビューするために Amazon A2I をセットアップする
このセクションでは、信頼しきい値を下回る推論をレビューするために、Amazon A2I に人間によるレビュー ループを設定します。まずプライベート ワークフォースを作成し、ヒューマン タスク UI を作成する必要があります。
労働力を作る
次のことを行う必要があり 労働力を作る SageMaker コンソール経由。注意してください 従業員のARN そしてその値をノートブックのセルに入力します。
次のスクリーンショットは、という名前のプライベート チームの詳細を示しています。 lfv-a2i
およびそれに対応する ARN。
ヒューマンタスクUIを作成する
次に、ヒューマン タスク UI リソース、つまりリキッド HTML の UI テンプレートを作成します。この HTML ページは、ヒューマン ループが必要になるたびに人間のワーカーにレンダリングされます。 70 を超える事前に構築された UI については、 amazon-a2i-サンプル-タスク-uis GitHubレポ。
ノートブックのセクションに記載されている手順に従います。 ヒューマンタスクUIを作成する Web フォームを作成し、Amazon A2I API を初期化し、出力を検査するには:
ヒューマンタスクのワークフローを作成する
ワークフロー定義では、以下を指定できます。
- 前の手順で作成したワーカーテンプレートまたはヒューマンタスクUI。
- タスクが送信される従業員。 この投稿では、前提条件の手順で作成した個人の従業員です。
- 従業員が受け取る指示。
この投稿では Create Flow Definition
ワークフロー定義を作成するための API。人間によるレビューの結果は Amazon S3 バケットに保存され、クライアント アプリケーションからアクセスできます。セルを実行する ヒューマンタスクのワークフローを作成する ノートブックで出力を調べます。
予測を行い、信頼レベルのしきい値に基づいてヒューマンループを開始します。
このセクションでは、新しい画像の配列をループし、Lookout for Vision SDK を使用して、入力画像が破損しているかどうか、定義されたしきい値を上回っているか下回っているかを判断します。この投稿では、信頼度のしきい値を 70 に設定します。結果が 70 未満の場合は、作業者が画像が正常か異常かを手動で判断するヒューマン ループを開始します。次のコードを参照してください。
次のスクリーンショットに示す出力が得られるはずです。
レビューを完了し、ヒューマン ループのステータスを確認してください
推論結果が定義されたしきい値を下回る場合、ヒューマン ループが作成されます。これらのジョブのステータスを確認して、結果を待ちます。
作業チームは次のスクリーンショットを見て、画像の正しいラベルを選択します。
Amazon A2I ワークフローの結果を表示し、再トレーニングのためにオブジェクトを正しいフォルダーに移動します
作業チームのメンバーがヒューマン ループ タスクを完了したら、タスクの結果を使用して、新しいモデルをトレーニングするための正しいフォルダーに画像を分類しましょう。次のコードを参照してください。
Amazon A2I の拡張データセットに基づいてモデルを再トレーニングする
新しいモデル バージョンのトレーニングは、トレーニング フォルダーに追加された新しいイメージの数などに基づいて、必要に応じて手動で、スケジュールに従ってバッチ ジョブとしてトリガーできます。この例では、Lookout for Vision SDK を使用して、変更したデータセットに含まれた画像を使用してモデルを再トレーニングします。完全なノートブックについては、[GitHub-LINK] からダウンロードできる付属の Jupyter ノートブックに従ってください。
次のような出力が表示されるはずです。
新しく追加した画像を使用して新しいモデルをトレーニングしたので、モデルのメトリクスを確認してみましょう。最初のモデルと XNUMX 番目のモデルの結果を同時に示します。
次のような出力が表示されるはずです。この表には XNUMX つのモデルが示されています。ホストされたモデル (ModelVersion:1
) と再訓練されたモデル (ModelVersion:2
)。再トレーニングされたモデルのパフォーマンスは、人間がレビューしてラベルを付けた画像の方が優れています。
メトリック | モデルバージョン | Status: | ステータスメッセージ | モデルのパフォーマンス |
F1スコア | 2 | 訓練を受けた | 訓練は無事に終了しました。 | 0.98 |
精度 | 2 | 訓練を受けた | 訓練は無事に終了しました。 | 0.96 |
リコール | 2 | 訓練を受けた | 訓練は無事に終了しました。 | 1 |
F1スコア | 1 | 主催 | モデルは実行中です。 | 0.93023 |
精度 | 1 | 主催 | モデルは実行中です。 | 0.86957 |
リコール | 1 | 主催 | モデルは実行中です。 | 1 |
クリーンアップ
実行する モデルを停止してリソースをクリーンアップする セルを使用して、作成されたリソースをクリーンアップします。使用しなくなった Lookout for Vision プロジェクトを削除し、Amazon S3 からオブジェクトを削除してコストを節約します。次のコードを参照してください。
まとめ
この投稿では、Lookout for Vision と Amazon A2I を使用して、ビジネスに固有のオブジェクトの欠陥を検出するモデルをトレーニングし、その予測をラベラーによるヒューマン ワークフローに送信して結果をレビューおよび更新するための条件を定義する方法を説明しました。人間がラベル付けした出力を使用してトレーニング データセットを強化し、再トレーニングしてモデルの精度を向上させることができます。
にアクセスして、産業異常の検出と識別に向けた旅を始めましょう。 Lookout for Vision 開発者ガイド と Amazon A2I 開発者ガイド.
著者について
デニス・サーモン AWS のソリューションアーキテクトであり、人工知能と機械学習に情熱を持っています。ワシントン州シアトルに拠点を置くデニスは、Amazon Go および Amazon Books チームでシステム開発エンジニアとして働いた後、AWS の顧客が AWS クラウドでワークロードを実現できるよう支援することに注力しました。
アミット・グプタ AWSのAIサービスソリューションアーキテクトです。 彼は、適切に設計された機械学習ソリューションを大規模に顧客に提供することに情熱を注いでいます。
ニールセンダス Neelは、企業のお客様と協力して、ビジネス目標を達成するためにクラウドアプリケーションを設計、展開、拡張します。 He has worked on various ML use cases, ranging from anomaly detection to predictive product quality for manufacturing and logistics optimization.彼は、異常検出から製造およびロジスティクス最適化のための予測製品品質に至るまで、さまざまなMLユースケースに取り組んできました。 When he is not helping customers, he dabbles in golf and salsa dancing.彼が顧客を助けていないとき、彼はゴルフとサルサダンスに手を出します。
- '
- "
- 100
- 11
- 7
- 9
- アクティブ
- AI
- すべて
- 許可
- Amazon
- Amazon Go
- Amazon Webサービス
- 異常検出
- API
- API
- 申し込み
- 建築
- 人工知能
- 人工知能と機械学習
- AWS
- BEST
- ボード
- 本
- ビルド
- 建物
- ビジネス
- 例
- 変化する
- クラウド
- クラウドアプリケーション
- コード
- コマンドと
- 企業
- コンポーネント
- Computer Vision
- 信頼
- コンテンツ
- コスト
- カップル
- 作成
- 電流プローブ
- Customers
- ダッシュボード
- データ
- 設計
- 検出
- Developer
- 開発者
- 開発
- エンジニア
- Enterprise
- 企業顧客
- 環境
- 目
- 名
- フロー
- フォーム
- 形式でアーカイブしたプロジェクトを保存します.
- 未来
- Gitの
- GitHubの
- こちら
- ホスティング
- 認定条件
- How To
- HTTPS
- 識別
- 画像
- インダストリアル
- インフラ
- インテリジェンス
- IT
- ジョブ
- Jobs > Create New Job
- ジュピターノート
- 保管
- ラベル
- 大
- 学習
- レベル
- LINE
- 液体
- ローカル
- 場所
- 物流
- 機械学習
- 製造業
- メンバー
- メトリック
- ML
- 番号
- オプション
- パフォーマンス
- Personnel
- ポータル
- 精度
- 予測
- プライベート
- プロダクト
- 製品品質
- プロジェクト
- プロジェクト(実績作品)
- Python
- 品質
- RE
- リソースを追加する。
- リソース
- 応答
- 結果
- 再訓練
- 収益
- レビュー
- ラン
- ランニング
- セージメーカー
- 規模
- SDDK
- シアトル
- 見て
- サービス
- セッションに
- 設定
- 簡単な拡張で
- スキル
- So
- ソリューション
- Spot
- start
- 開始
- Status:
- ストレージ利用料
- 店舗
- サブドメイン
- システム
- 技術的
- テクノロジー
- test
- テスト
- ソース
- 時間
- トレーニング
- ui
- アップデイト
- 値
- 詳しく見る
- ビジョン
- wait
- ワシントン
- ウェブ
- Webサービス
- 以内
- 仕事
- 労働者
- ワークフロー
- 労働人口
- 作品