オーストラリア東部は世界で最も火災が発生しやすい地域の一つです。オーストラリアでは森林火災が定期的に発生していますが、2019年から2020年の森林火災危機では17万ヘクタール以上の土地(イギリスの面積より大きい)が燃え上がり、オーストラリア経済は不動産、インフラ、社会、環境コストで100億ドル以上の損失を被りました。 。
異常気象が激化する中、オーストラリアの山火事のリスクはすぐにはなくなることはありません。これは、オーストラリアのエネルギーネットワーク事業者が安全で信頼性の高い供給を維持する責任がかつてないほど大きくなっているということを意味します。
オーストラリアのエネルギー ネットワークには、880,000 万キロメートルを超える配電線と送電線 (地球の周囲を約 22 周分) と 7 万本の電柱が含まれています。山火事のリスクを軽減するには、送電線近くの極端な気候条件や植生を注意深く管理する必要があります。
この投稿では、AusNet が機械学習 (ML) をどのように使用するかについて説明します。 アマゾンセージメーカー 山火事の軽減に貢献します。
LiDAR による AusNet のイノベーション
AusNet は 54,000 キロメートルの送電線を管理し、ビクトリア州の 1.5 万以上の家庭や企業にエネルギーを供給しています。このネットワークの 62% は山火事の危険性が高い地域にあります。 AusNet は、エネルギー ネットワークを安全に維持し、植物がネットワークに損害を与えるリスクを最小限に抑えるための革新的なソリューションを開発しました。
2009 年以来、AusNet は航空および道路ベースのマッピング システムの両方を使用して、ネットワーク全体で高品質の LiDAR データをキャプチャしてきました。 LiDAR は、パルスレーザーの形の光を使用して距離と方向を測定するリモートセンシング方法です。オブジェクトの感知された点には、3D 座標情報 (x、y、z) のほかに、密度、リターン数、リターン数、GPS タイムスタンプなどの追加属性があります。これらの点は、すべての点情報の集合である 3D 点群として表現されます。処理により、LiDAR は AusNet のネットワーク資産の 3D モデルに変換され、山火事の安全のために刈り取る必要がある植生の成長を特定します。
LiDAR 分類の以前のプロセスでは、自動化を推進するために正確な地理情報システム (GIS) 資産の位置に大きく依存する、ビジネス ルール主導の推論が使用されていました。資産の位置が不正確であるか、単に存在しない LiDAR ポイントに正しくラベルを付けるには、カスタム構築のラベル付けツールを使用した手作業が必要でした。 LiDAR ポイントの手動補正と分類により、処理所要時間が増加し、拡張が困難になりました。
AusNet と Amazon Machine Learning
AusNet の地理空間チームは、Amazon Machine Learning Solutions Lab やプロフェッショナル サービスを含む Amazon ML スペシャリストと提携して、ML がどのように LiDAR ポイント分類を自動化し、不正確な GIS 位置データを手動で修正する面倒なプロセスを加速できるかを調査しました。
オーストラリア全土のさまざまなネットワーク構成を表す何兆もの捕捉された LiDAR ポイントを正確に分類するための年間コストは年間 700,000 万ドルを超え、これをネットワークのより広い領域に拡張する AusNet の能力を妨げていました。
AusNet と AWS が提携して使用 アマゾンセージメーカー この大規模な LiDAR データ コレクションのポイントごとの分類を自動化するためのディープ ラーニング モデルを実験および構築します。 Amazon SageMaker は、データサイエンティストや開発者が高品質の機械学習モデルを迅速に準備、構築、トレーニング、デプロイできるようにするフルマネージドサービスです。 AusNet と AWS チームは、3D 点群データを電線、建物、電柱、植生などのカテゴリに正確に分類するセマンティック セグメンテーション モデルの構築に成功しました。
AusNet と山火事軽減の成果
AWS と AusNet のコラボレーションは大成功を収め、ビジネスと山火事のリスク軽減の両方に次のような成果をもたらしました。
- LiDAR データを使用し、エンジニア、測量士、設計者が現場に出張する必要性を軽減することで、作業者の安全性が向上します。
- 結果として、80.53 つのセグメンテーション カテゴリすべてで 500,000% の精度が得られ、自動分類により AusNet は年間推定 XNUMX オーストラリア ドルを節約できました。
- 導体と植生の検出においてそれぞれ 91.66% と 92% の精度を実現し、XNUMX つの最も重要なセグメント クラスの自動分類を向上させました。
- 各データソースの固有の変動性を考慮しながら、ドローン、ヘリコプター、飛行機、地上車両から取得した LiDAR データを活用する柔軟性を提供
- GIS 参照データと手動修正プロセスへの依存を軽減することで、企業はより迅速に革新を進め、ネットワーク全体にわたって分析を拡張できるようになりました。
- ML の自動化を強化し、手動の GIS 修正プロセスへの依存を軽減することで、エネルギー ネットワーク全体にわたって分析を拡張できる機能を提供
次の表は、5 つのカテゴリにわたる、目に見えないデータに対するセマンティック セグメンテーション モデルのパフォーマンス (「精度」と「再現率」メトリクスを使用して測定され、高いほど優れています) を示しています。
ML モデルはヘリコプターのキャプチャからポイントを分類しました。
ソリューションの概要
ML Solutions Lab チームは、イノベーションと実験の推進を支援するために、経験豊富な ML 科学者とアーキテクトのチームを招集しました。業界全体にわたる最先端の ML 経験を活かし、チームは AusNet の地理空間チームと協力して、ビジネスにとって最も困難なテクノロジー上の問題のいくつかを解決しました。 SageMaker の深い ML 機能に基づいて、AusNet と AWS はわずか 8 週間でパイロットを完了することができました。
SageMaker の幅広さと奥深さは、AusNet と AWS の両方の開発者とデータ サイエンティストがプロジェクトで共同作業できるようにする上で重要な役割を果たしました。チームはコードとノートブックの共有機能を利用し、トレーニング用にオンデマンドの ML コンピューティング リソースに簡単にアクセスしました。 SageMaker の弾力性により、チームは迅速に反復できるようになりました。また、チームは、オンプレミスのハードウェアを購入するための先行投資をすることなく、さまざまなハードウェア構成が利用できることを利用して AWS で実験することができました。これにより、AusNet は適切なサイズの ML リソースを簡単に選択し、オンデマンドで実験を拡張できるようになりました。 GPU リソースの柔軟性と可用性は、特に ML タスクで最先端の実験が必要な場合に重要です。
データの探索と前処理コードの開発には SageMaker ノートブック インスタンスを使用し、大規模なワークロードには SageMaker の処理とトレーニング ジョブを使用しました。また、チームはハイパーパラメーター最適化 (HPO) を使用して、さまざまな構成とデータセット バージョンで複数のトレーニング ジョブを迅速に反復し、ハイパーパラメーターを微調整し、最高のパフォーマンスのモデルを見つけました。たとえば、データの不均衡の問題を克服するために、ダウン サンプリングと拡張手法を使用してさまざまなバージョンのデータセットを作成しました。異なるデータセットを使用して複数のトレーニング ジョブを並行して実行すると、適切なデータセットをすばやく見つけることができます。 SageMaker は、大規模で不均衡な点群データセットを使用して、実験とデータ変換の多くの構成を使用して迅速に反復する機能を提供しました。
ML エンジニアは、低コストのノートブック インスタンスを使用してデータとアルゴリズムの初期調査を実行し、その後、重いデータ操作をより強力な処理インスタンスにオフロードできます。秒単位の課金と自動ライフサイクル管理により、より高価なトレーニング インスタンスが自動的に開始および停止され、必要な期間だけアクティブなままになるため、使用効率が向上します。
チームは、10.8 ファイル、合計約 17.2 億 1,571 万ポイントにわたる 616 GiB の非圧縮データに対して、エポックあたり 33.6 分の速度でモデルをトレーニングすることができました。推論のために、チームは 15 のファイルにわたる 1.2 GiB の非圧縮データ、合計 22.1 億ポイントを 15,760 時間で処理できました。これは、償却された起動時間を含めて、XNUMX 秒あたり平均 XNUMX ポイントと推論されることになります。
セマンティック セグメンテーションの問題を解決する
ML モデルは固定翼キャプチャからポイントを分類しました。
ML モデルは、モバイル キャプチャからポイントを分類しました。
点群内のすべての点をカテゴリのセットからカテゴリに割り当てる問題は、 セマンティックセグメンテーション 問題。 AusNet の LiDAR データセットからの 3D 点群は、数百万の点で構成されています。 3D 点群内のすべての点に正確かつ効率的にラベルを付けるには、次の XNUMX つの課題に取り組む必要があります。
- 不均衡なデータ – クラスの不均衡は、現実世界の点群でよく見られる問題です。前のクリップで見られるように、ポイントの大部分は植生で構成されていますが、送電線または導体で構成されているポイントは大幅に少なく、ポイント全体の 1% 未満です。不均衡なデータセットを使用してトレーニングされたモデルは、主要なクラスに偏りやすく、マイナーなクラスではうまく機能しません。このクラスの不均衡は、屋外環境の LiDAR 点群データにおける一般的な問題です。このタスクでは、導体ポイントの分類において優れたパフォーマンスを発揮することが重要です。メジャー クラスとマイナー クラスの両方で適切に機能するモデルをトレーニングすることが最大の課題です。
- 大規模点群 – LiDAR センサーからの点群データの量は、広い空き領域をカバーできます。 AusNet の場合、点群ごとの点の数は数十万から数千万の範囲に及び、各点群ファイルは数百メガバイトからギガバイトまで変化します。ほとんどの点群セグメンテーション ML アルゴリズムでは、オペレーターがすべての点を入力として取得できないため、サンプリングが必要です。残念ながら、サンプリング手法の多くは計算量が多く、トレーニングと推論の両方が遅くなります。この作業では、大規模な点群で動作する最も効率的な ML アルゴリズムを選択する必要があります。
AWS と AusNet チームは、クラスの不均衡が深刻な問題を解決するために、クラスタリング ポイントを介した新しいダウンサンプリング戦略を発明しました。このダウンサンプリング戦略とクラスの重み付けなどの既存の緩和策は、不均衡なデータセットで正確なモデルをトレーニングする際の課題を解決するのに役立ち、推論パフォーマンスも向上しました。また、マイナー クラスを複製して別の場所に配置することで、アップサンプリング戦略も実験しました。このプロセスは、MLOps パイプライン内でさらにモデルをトレーニングするために新しく取得したデータセットに適用できるように、SageMaker 処理ジョブとして構築されました。
チームは、精度、点数の点での拡張性、効率を考慮して、さまざまな点群セグメンテーション モデルを研究しました。複数の実験を通じて、要件を満たす点群セマンティック セグメンテーション用の最先端の ML アルゴリズムを選択しました。また、モデルがさまざまなデータセットから学習できるように、拡張手法も採用しました。
実稼働アーキテクチャ
点群セグメンテーション ソリューションを展開するために、チームはトレーニングと推論に SageMaker を使用する ML パイプラインを設計しました。次の図は、運用アーキテクチャ全体を示しています。
トレーニング パイプラインは、SageMaker Processing のカスタム処理コンテナーを備えており、点群形式の変換、カテゴリの再マッピング、アップサンプリング、ダウンサンプリング、データセットの分割を実行します。トレーニング ジョブは、より大きなメモリ容量を備えた SageMaker のマルチ GPU インスタンスを利用して、より大きなバッチ サイズでのモデルのトレーニングをサポートします。
AusNet の LiDAR 分類ワークフローは、陸上および航空監視車両から最大テラバイトの点群データを取り込むことから始まります。 Amazon シンプル ストレージ サービス (アマゾンS3)。次に、データは処理され、点群分類のための推論パイプラインに渡されます。これをサポートするために、SageMaker Transform を使用してデータセット全体でバッチ推論を実行し、出力は信頼スコアを持つ分類された点群ファイルになります。次に、出力は AusNet の分類エンジンによって処理され、信頼スコアが分析されて資産管理レポートが生成されます。
このアーキテクチャの重要な側面の 1 つは、新しいデータセット、データ処理技術、モデルを実験するためのスケーラブルでモジュール式のアプローチを AusNet に提供することです。このアプローチにより、AusNet は変化する環境条件にソリューションを適応させ、将来の点群セグメンテーション アルゴリズムを採用することができます。
AusNet に関する結論と次のステップ
この投稿では、AusNet の地理空間チームが Amazon ML 科学者と提携して、分類タスクから GIS 位置データへの依存を完全に削除することで LiDAR ポイント分類を自動化する方法について説明しました。したがって、手動の GIS 修正によって発生する遅延が除去され、分類タスクがより高速かつスケーラブルになります。
「航空測量データに迅速かつ正確にラベルを付けることができることは、山火事のリスクを最小限に抑えるために非常に重要です。 Amazon Machine Learning Solutions Lab と協力して、データラベル付けの平均精度 80.53% を達成するモデルを作成することができました。新しいソリューションにより、手動でのラベル付け作業を最大 80% 削減できると期待しています」と AusNet のプロダクト マネージャー、ダニエル ペンドルベリー氏は述べています。
AusNet は、ML 分類モデルがネットワーク運用全体の効率を高める上で重要な役割を果たすことを想定しています。新しいセグメンテーション モデルで自動分類ライブラリを拡張することで、AusNet は膨大なデータセットをより生産的に利用して、ビクトリア州全域のコミュニティへの安全で信頼性の高いエネルギー供給を確保できます。
謝辞
著者らは、プロジェクトに参加し、LiDAR データセットとさまざまな ML アルゴリズムを使用した ML トレーニングに関する専門知識をもたらしてくれた AusNet の Sergiy Redko 氏、Claire Burrows 氏、William Manahan 氏、Sahil Deshpande 氏、Ross King 氏、Damian Bisignano 氏に感謝します。
Amazon MLソリューションラボ
Amazon MLソリューションラボ チームとMLエキスパートを組み合わせて、組織で最も価値の高いMLの機会を特定して実装できるようにします。 製品およびプロセスでのMLの使用を加速するための支援が必要な場合は、 Amazon MLソリューションラボ.
著者について
ダニエル・ペンドルベリー AusNet Services のプロダクト マネージャーであり、植生管理および資産メンテナンス分野の公益事業者への革新的な自動コンプライアンス製品の提供を専門としています。
ナサナエル・ウェルドン は、Ausnet Services の地理空間ソフトウェア開発者です。彼は大規模な地理空間データ処理システムの構築と調整を専門とし、公益事業、資源、環境分野にわたる経験を持っています。
デビッド・モタメド アマゾン ウェブ サービスのアカウント マネージャーです。オーストラリアのメルボルンに拠点を置き、企業顧客のデジタル変革の成功を支援しています。
サイモン・ジョンストン AI のリーダーであり、AI 戦略と経済を専門として、オーストラリアとニュージーランドのアマゾン ウェブ サービス AI/ML ビジネスを担当しています。 20 年以上の研究、管理、コンサルティングの経験 (米国、EU、APAC) で、新興企業、中小企業、大企業、およびより広範なエコシステムに関わる、業界主導の革新的な研究と商品化 AI ベンチャーの範囲をカバーしています。
デリック・チュー アマゾン ウェブ サービスのソリューション アーキテクトです。彼はオーストラリアのメルボルンに拠点を置き、企業顧客と緊密に連携してクラウドへの移行を加速させています。彼は、イノベーションとスケーラブルなアプリケーションの構築を通じて顧客が価値を生み出すのを支援することに情熱を持っており、特に AI と ML に興味を持っています。
キム・ムヒョン Amazon Machine Learning SolutionsLabのデータサイエンティストです。 彼は、機械学習とディープラーニングを適用することで顧客のさまざまなビジネス上の問題を解決し、顧客が熟練するのを支援します。
スジョイ・ロイ Amazon Machine Learning Solutions Lab の科学者であり、ビジネス上の問題に対する ML ベースのソリューションの構築と展開において 20 年以上の学術および業界の経験を持っています。彼は機械学習を適用して、通信、メディアとエンターテイメント、アドテック、リモート センシング、小売、製造などの業界の顧客の問題を解決してきました。
カン・ジヤン Amazon ML Solutions Lab のシニア ディープラーニング アーキテクトとして、複数の業界にわたる AWS の顧客の AI とクラウドの導入を支援しています。 Amazon ML Solutions Lab に参加する前は、AWS の最も先進的な企業顧客の 1 つでソリューションアーキテクトとして働き、AWS 上のさまざまな世界規模のクラウド ワークロードを設計していました。以前は、Samsung Electronics などの半導体、ネットワーキング、電気通信などの業界でソフトウェア開発者およびシステム アーキテクトとして働いていました。
エデン・ダシー は、AWS の強化学習プロフェッショナル サービス チームのリーダーです。 Eden は、顧客のための意思決定ソリューションの開発に熱心に取り組んでいます。彼は、サプライチェーンの最適化に重点を置いて産業顧客を支援することに特に興味を持っています。
- '
- 000
- 100
- 3d
- 7
- 会計
- アクティブ
- NEW
- 養子縁組
- 利点
- AI
- アルゴリズム
- アルゴリズム
- すべて
- 許可
- Amazon
- アマゾン機械学習
- アマゾンセージメーカー
- Amazon Webサービス
- 間で
- 分析論
- 建築
- AREA
- 周りに
- 資産
- 資産管理
- 資産
- オーストラリア
- 著者
- 自動化
- オートメーション
- 賃貸条件の詳細・契約費用のお見積り等について
- AWS
- BEST
- 請求
- 10億
- ビルド
- 建物
- ビジネス
- ビジネス
- 容量
- 資本
- 挑戦する
- 分類
- クラウド
- クラウドの採用
- コード
- 環境、テクノロジーを推奨
- コマンドと
- コミュニティ
- 企業
- コンプライアンス
- 計算
- 導体
- 信頼
- コンサルティング
- コンテナ
- 変換
- コスト
- 危機
- Customers
- データ
- データ処理
- データサイエンティスト
- 意思決定
- 深い学習
- 遅らせる
- 需要
- Developer
- 開発者
- デジタル
- 運転
- ドローン
- Economics
- 経済
- エコシステム
- 効率
- 電子
- エネルギー
- エンジニア
- イングランド
- Enterprise
- 企業顧客
- エンターテインメント
- 環境の
- EU
- イベント
- 詳細
- 拡大
- 体験
- 実験
- 専門家
- 特徴
- 柔軟性
- フォーカス
- フォーム
- 形式でアーカイブしたプロジェクトを保存します.
- 未来
- グローバル
- 良い
- GPS
- GPU
- 成長性
- Hardware
- ヘリコプター
- ヘリコプター
- ハイ
- 認定条件
- HTTPS
- 巨大な
- 何百
- 識別する
- 含めて
- インダストリアル
- 産業
- 産業を変えます
- 情報
- インフラ
- 革新的手法
- 革新的な
- 関心
- 調べる
- 問題
- IT
- ジョブ
- Jobs > Create New Job
- キー
- 神様です。
- ラベリング
- 労働
- 大
- レーザー
- つながる
- LEARN
- 学習
- 対処
- 光
- 場所
- 長い
- 機械学習
- 主要な
- 大多数
- 作成
- 管理
- 製造業
- だけど
- メディア
- メルボルン
- メトリック
- 百万
- 未成年者
- ML
- MLアルゴリズム
- MLOps
- モバイル
- モジュラー
- ネットワーク
- ネットワーキング
- ニュージーランド
- 開いた
- 業務執行統括
- 機会
- その他
- アウトドア
- パフォーマンス
- パイロット
- プレーン
- 電力
- プロダクト
- 生産
- 製品
- プロジェクト
- 財産
- 範囲
- 減らします
- 強化学習
- 依存
- レポート
- 要件
- 研究
- リソース
- 小売
- 収益
- リスク
- ロール
- ラン
- ランニング
- 安全な
- 安全性
- セージメーカー
- サムスン
- 節約
- スケーラビリティ
- 規模
- 科学者たち
- セクター
- 半導体関連装置
- サービス
- セッションに
- 簡単な拡張で
- サイズ
- 中小企業
- So
- 社会
- ソフトウェア
- ソリューション
- 解決する
- 専門にする
- 開始
- スタートアップ
- ストレージ利用料
- 戦略
- 成功
- 供給
- サプライチェーン
- サポート
- 監視
- Survey
- システム
- テクニック
- テクノロジー
- 電話会社
- 電気通信
- 世界
- 時間
- トレーニング
- 変換
- 旅行
- 数兆
- us
- 公益事業
- 値
- 車
- ベンチャーズ
- ウェブ
- Webサービス
- 翼
- 以内
- 仕事
- 労働者の安全
- ワークフロー
- 作品
- 世界
- X
- 年
- 年