호주 동부는 세계에서 가장 화재가 발생하기 쉬운 지역 중 하나입니다. 산불은 호주에서 정기적으로 발생하지만 2019-2020년 산불 위기는 17만 헥타르 이상의 토지(영국 크기보다 큼)를 불태우고 호주 경제에 재산, 기반 시설, 사회 및 환경 비용 사이에서 100억 달러 이상의 손실을 입혔습니다. .
점점 더 극단적인 기상 현상이 발생하면서 호주의 산불 위험이 곧 사라지지 않을 것입니다. 이는 안전하고 신뢰할 수 있는 공급을 유지해야 하는 호주 에너지 네트워크 운영자의 책임이 그 어느 때보다 커졌음을 의미합니다.
호주 에너지 네트워크에는 880,000km가 넘는 배전 및 전송 라인(지구 둘레를 약 22회)과 7만 개의 전신주가 포함되어 있습니다. 산불 위험을 완화하려면 극한 기후 조건과 송전선 근처의 초목 성장을 주의 깊게 관리해야 합니다.
이 게시물에서는 AusNet이 머신 러닝(ML)을 사용하는 방법과 아마존 세이지 메이커 산불 완화에 도움이 됩니다.
LiDAR를 통한 AusNet 혁신
AusNet은 54,000km의 전력선을 관리하고 1.5만 개 이상의 빅토리아 시대 가정과 기업에 에너지를 공급합니다. 이 네트워크의 62%는 산불 위험이 높은 지역에 있습니다. AusNet은 에너지 네트워크를 안전하게 유지하고 식물이 네트워크를 손상시키는 위험을 최소화하는 혁신적인 솔루션을 개발했습니다.
2009년부터 AusNet은 항공 및 도로 기반 매핑 시스템을 모두 사용하여 네트워크 전체에서 고품질 LiDAR 데이터를 캡처해 왔습니다. LiDAR는 펄스 레이저 형태의 빛을 사용하여 거리와 방향을 측정하는 원격 감지 방법입니다. 물체의 감지 지점에는 3차원 좌표 정보(x, y, z)와 밀도, 반환 횟수, 반환 횟수, GPS 타임스탬프 등과 같은 추가 속성이 있습니다. 이러한 포인트는 모든 포인트 정보의 모음인 3D 포인트 클라우드로 표시됩니다. 처리 시 LiDAR는 AusNet 네트워크 자산의 3D 모델로 변환되어 산불 안전을 위해 다듬어야 하는 초목 성장을 식별합니다.
LiDAR 분류를 위한 이전 프로세스는 자동화를 추진하기 위해 정확한 GIS(지리 정보 시스템) 자산 위치에 크게 의존하는 비즈니스 규칙 기반 추론을 사용했습니다. 자산 위치가 정확하지 않거나 단순히 존재하지 않는 LiDAR 지점에 올바르게 레이블을 지정하려면 맞춤형 레이블 지정 도구를 사용한 수동 노동 노력이 필요했습니다. LiDAR 포인트의 수동 수정 및 분류는 처리 처리 시간을 증가시키고 확장을 어렵게 만들었습니다.
AusNet 및 Amazon 기계 학습
AusNet의 Geospatial 팀은 Amazon Machine Learning Solutions Lab 및 Professional Services를 비롯한 Amazon ML 전문가와 협력하여 ML이 LiDAR 포인트 분류를 자동화하고 부정확한 GIS 위치 데이터를 수동으로 수정하는 번거로운 프로세스를 가속화할 수 있는 방법을 조사했습니다.
호주 전역의 다양한 네트워크 구성을 나타내는 수조 개의 캡처된 LiDAR 포인트를 정확하게 분류하는 연간 비용은 연간 $700,000를 초과했으며 AusNet이 이를 네트워크의 더 넓은 영역으로 확장하는 능력을 저해했습니다.
AusNet과 AWS가 협력하여 사용 아마존 세이지 메이커 이 대규모 LiDAR 데이터 컬렉션의 포인트별 분류를 자동화하기 위해 딥 러닝 모델을 실험하고 구축합니다. Amazon SageMaker는 데이터 과학자와 개발자가 고품질 기계 학습 모델을 신속하게 준비, 구축, 교육 및 배포할 수 있도록 지원하는 완전 관리형 서비스입니다. AusNet과 AWS 팀은 3D 포인트 클라우드 데이터를 도체, 건물, 기둥, 초목 등의 범주로 정확하게 분류하는 의미론적 세분화 모델을 성공적으로 구축했습니다.
AusNet 및 산불 완화에 대한 결과
AWS와 AusNet 간의 협업은 큰 성공을 거두었으며 비즈니스 및 산불 위험 감소 모두에 대해 다음과 같은 결과를 얻었습니다.
- LiDAR 데이터를 사용하고 엔지니어, 측량사 및 설계자가 현장으로 이동할 필요성을 줄여 작업자 안전 향상
- 80.53개 세분화 범주 모두에서 500,000%의 정확도를 제공하여 자동 분류를 통해 AusNet에서 연간 약 AUD $XNUMX를 절약했습니다.
- 도체 및 식생 감지에서 각각 91.66% 및 92% 정확도를 제공하여 가장 중요한 두 세그먼트 클래스의 자동 분류 개선
- 각 데이터 소스의 고유한 가변성을 고려하면서 드론, 헬리콥터, 비행기 및 지상 기반 차량에서 얻은 LiDAR 데이터를 활용할 수 있는 유연성 제공
- 기업이 GIS 참조 데이터 및 수동 수정 프로세스에 대한 의존도를 줄여 전체 네트워크에서 더 빠르게 혁신하고 분석을 확장할 수 있도록 지원
- 향상된 ML 자동화 및 수동 GIS 수정 프로세스에 대한 의존도 감소를 통해 전체 에너지 네트워크에서 분석을 확장할 수 있는 기능 제공
다음 표는 XNUMX가지 범주에 걸쳐 보이지 않는 데이터("정밀도" 및 "회상" 메트릭을 사용하여 측정됨)에 대한 의미론적 세분화 모델의 성능을 보여줍니다.
헬리콥터 캡처에서 ML 모델 분류 지점:
솔루션 개요
ML Solutions Lab 팀은 고도로 숙련된 ML 과학자와 설계자로 구성된 팀을 불러들여 혁신과 실험을 지원했습니다. 업계 전반에 걸친 최첨단 ML 경험을 통해 팀은 AusNet의 Geospatial 팀과 협력하여 비즈니스에서 가장 까다로운 기술 문제를 해결했습니다. SageMaker의 심층 ML 기능을 기반으로 AusNet과 AWS는 단 8주 만에 파일럿을 완료할 수 있었습니다.
SageMaker의 폭과 깊이는 AusNet과 AWS의 개발자와 데이터 과학자가 프로젝트에서 협업할 수 있도록 하는 데 핵심적인 역할을 했습니다. 팀은 코드 및 노트북 공유 기능을 활용하고 교육을 위해 주문형 ML 컴퓨팅 리소스에 쉽게 액세스했습니다. SageMaker의 탄력성 덕분에 팀은 빠르게 반복할 수 있었습니다. 또한 팀은 온프레미스 하드웨어를 구입하기 위해 선행 자본에 투자할 필요 없이 AWS에서 실험하기 위해 다양한 하드웨어 구성의 가용성을 활용할 수 있었습니다. 이를 통해 AusNet은 적절한 크기의 ML 리소스를 쉽게 선택하고 필요에 따라 실험을 확장할 수 있었습니다. GPU 리소스의 유연성과 가용성은 특히 ML 작업에 최첨단 실험이 필요한 경우 중요합니다.
데이터 탐색 및 사전 처리 코드 개발에는 SageMaker 노트북 인스턴스를 사용하고 대규모 워크로드에는 SageMaker 처리 및 교육 작업을 사용했습니다. 팀은 또한 하이퍼파라미터 최적화(HPO)를 사용하여 다양한 구성 및 데이터 세트 버전으로 여러 훈련 작업을 빠르게 반복하여 하이퍼파라미터를 미세 조정하고 최고의 성능 모델을 찾았습니다. 예를 들어, 데이터 불균형 문제를 극복하기 위해 다운 샘플링 및 증대 방법을 사용하여 다양한 버전의 데이터 세트를 만들었습니다. 다른 데이터세트로 여러 훈련 작업을 병렬로 실행하면 올바른 데이터세트를 빠르게 찾을 수 있습니다. 크고 불균형한 포인트 클라우드 데이터 세트를 통해 SageMaker는 다양한 실험 및 데이터 변환 구성을 사용하여 빠르게 반복할 수 있는 기능을 제공했습니다.
ML 엔지니어는 저렴한 노트북 인스턴스를 사용하여 데이터 및 알고리즘의 초기 탐색을 수행한 다음 무거운 데이터 작업을 보다 강력한 처리 인스턴스로 오프로드할 수 있습니다. 초당 청구 및 자동 수명 주기 관리를 통해 더 비싼 교육 인스턴스가 자동으로 시작 및 중지되고 필요한 기간 동안만 활성 상태를 유지하므로 활용 효율성이 높아집니다.
팀은 총 약 10.8억 17.2만 포인트에 달하는 1,571개 파일에서 616GiB의 비압축 데이터에 대해 에포크당 33.6분의 속도로 모델을 훈련할 수 있었습니다. 추론을 위해 팀은 15시간 동안 총 1.2억 포인트에 달하는 22.1개 파일에서 15,760GiB의 압축되지 않은 데이터를 처리할 수 있었습니다. 이는 분할 시작 시간을 포함하여 초당 평균 XNUMX포인트를 추론하는 것으로 해석됩니다.
의미론적 분할 문제 해결
고정 날개 캡처에서 ML 모델 분류 포인트:
ML 모델은 모바일 캡처에서 포인트를 분류했습니다.
포인트 클라우드의 모든 점을 범주 집합의 범주에 할당하는 문제를 a 시맨틱 세그먼테이션 문제. LiDAR 데이터 세트의 AusNet의 3D 포인트 클라우드는 수백만 개의 포인트로 구성됩니다. 3D 포인트 클라우드의 모든 포인트에 정확하고 효율적으로 레이블을 지정하려면 두 가지 문제를 해결해야 합니다.
- 불균형 데이터 – 클래스 불균형은 실제 포인트 클라우드에서 일반적인 문제입니다. 앞의 클립에서 볼 수 있듯이 대부분의 지점은 초목으로 구성되어 있으며 전력선이나 전선으로 구성된 지점은 총 지점의 1% 미만입니다. 불균형 데이터 세트를 사용하여 훈련된 모델은 메이저 클래스로 쉽게 편향되고 마이너 클래스에서는 제대로 작동하지 않습니다. 이러한 클래스 불균형은 실외 환경에 대한 LiDAR 포인트 클라우드 데이터의 일반적인 문제입니다. 이 작업을 위해서는 도체 점을 분류하는 데 좋은 성능을 내는 것이 중요합니다. 메이저 클래스와 마이너 클래스 모두에서 잘 작동하는 모델을 훈련시키는 것이 가장 큰 도전입니다.
- 대규모 포인트 클라우드 – LiDAR 센서의 포인트 클라우드 데이터의 양은 넓은 개방 영역을 커버할 수 있습니다. AusNet의 경우 포인트 클라우드당 포인트 수는 수십만에서 수천만까지 다양하며 각 포인트 클라우드 파일은 수백 메가바이트에서 최대 기가바이트까지 다양합니다. 오퍼레이터가 모든 포인트를 입력으로 사용할 수 없기 때문에 대부분의 포인트 클라우드 세분화 ML 알고리즘에는 샘플링이 필요합니다. 불행히도 많은 샘플링 방법은 계산량이 많아 훈련과 추론이 모두 느려집니다. 이 작업에서는 대규모 포인트 클라우드에서 작동하는 가장 효율적인 ML 알고리즘을 선택해야 합니다.
AWS와 AusNet 팀은 심하게 불균형한 클래스 문제를 해결하기 위해 클러스터링 포인트를 통해 새로운 다운샘플링 전략을 개발했습니다. 클래스 가중치와 같은 기존 완화와 함께 이 다운샘플링 전략은 불균형한 데이터 세트로 정확한 모델을 훈련하는 문제를 해결하는 데 도움이 되었고 추론 성능도 향상되었습니다. 또한 마이너 클래스를 복제하고 다른 위치에 배치하여 업샘플링 전략을 실험했습니다. 이 프로세스는 MLOps 파이프라인 내에서 추가 모델 교육을 위해 새로 획득한 데이터 세트에 적용될 수 있도록 SageMaker 처리 작업으로 구축되었습니다.
연구팀은 정확도, 포인트 개수 측면의 확장성, 효율성을 고려한 다양한 포인트 클라우드 세분화 모델을 연구했다. 여러 실험을 통해 요구 사항을 충족하는 포인트 클라우드 의미론적 세분화를 위한 최첨단 ML 알고리즘을 선택했습니다. 또한 모델이 다양한 데이터 세트에서 학습할 수 있도록 증강 방법을 채택했습니다.
프로덕션 아키텍처
포인트 클라우드 세분화 솔루션을 출시하기 위해 팀은 교육 및 추론을 위해 SageMaker를 사용하여 ML 파이프라인을 설계했습니다. 다음 다이어그램은 전체 프로덕션 아키텍처를 보여줍니다.
교육 파이프라인은 데이터세트의 포인트 클라우드 형식 변환, 카테고리 재매핑, 업샘플링, 다운샘플링 및 분할을 수행하는 SageMaker Processing의 사용자 지정 처리 컨테이너를 특징으로 합니다. 훈련 작업은 더 큰 배치 크기로 모델 훈련을 지원하기 위해 메모리 용량이 더 큰 SageMaker의 다중 GPU 인스턴스를 활용합니다.
AusNet의 LiDAR 분류 워크플로는 지상 및 항공 감시 차량에서 최대 테라바이트의 포인트 클라우드 데이터를 수집하는 것으로 시작됩니다. 아마존 단순 스토리지 서비스 (아마존 S3). 그런 다음 데이터가 처리되어 포인트 클라우드 분류를 위한 추론 파이프라인으로 전달됩니다. 이를 지원하기 위해 SageMaker Transform을 사용하여 데이터 세트 전체에서 일괄 추론을 실행하며 출력은 신뢰도 점수가 있는 포인트 클라우드 파일로 분류됩니다. 그런 다음 출력은 AusNet의 분류 엔진에 의해 처리되어 신뢰도 점수를 분석하고 자산 관리 보고서를 생성합니다.
아키텍처의 주요 측면 중 하나는 AusNet에 새로운 데이터 세트, 데이터 처리 기술 및 모델을 실험할 수 있는 확장 가능한 모듈식 접근 방식을 제공한다는 것입니다. 이 접근 방식을 통해 AusNet은 변화하는 환경 조건에 맞게 솔루션을 조정하고 미래의 포인트 클라우드 분할 알고리즘을 채택할 수 있습니다.
AusNet의 결론 및 다음 단계
이 게시물에서는 AusNet의 Geospatial 팀이 Amazon ML 과학자와 협력하여 분류 작업에서 GIS 위치 데이터에 대한 종속성을 완전히 제거하여 LiDAR 포인트 분류를 자동화한 방법에 대해 논의했습니다. 따라서 수동 GIS 수정으로 인해 발생하는 지연을 제거하여 분류 작업을 더 빠르고 확장 가능하게 만듭니다.
“항공 측량 데이터에 빠르고 정확하게 레이블을 지정할 수 있는 것은 산불 위험을 최소화하는 데 중요한 부분입니다. Amazon Machine Learning Solutions Lab과 협력하여 데이터 레이블 지정에서 80.53%의 평균 정확도를 달성한 모델을 만들 수 있었습니다. 새로운 솔루션으로 수동 라벨링 작업을 최대 80%까지 줄일 수 있을 것으로 기대하고 있습니다.”라고 AusNet의 제품 관리자인 Daniel Pendlebury가 말했습니다.
AusNet은 네트워크 운영 전반에 걸쳐 효율성을 높이는 데 중요한 역할을 하는 ML 분류 모델을 구상합니다. 새로운 세분화 모델로 자동 분류 라이브러리를 확장함으로써 AusNet은 방대한 데이터 세트를 보다 생산적으로 활용하여 빅토리아 전역의 커뮤니티에 안전하고 안정적인 에너지 공급을 보장할 수 있습니다.
감사의
저자는 프로젝트에 참여하고 다양한 ML 알고리즘을 사용하여 LiDAR 데이터 세트 및 ML 교육에 대한 도메인 전문 지식을 제공한 AusNet의 Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King 및 Damian Bisignano에게 감사드립니다.
Amazon ML 솔루션 랩
Amazon ML 솔루션 랩 팀을 ML 전문가와 연결하여 조직에서 가장 가치있는 ML 기회를 식별하고 구현하는 데 도움을줍니다. 제품 및 프로세스에서 ML 사용을 가속화하는 데 도움이 필요한 경우 Amazon ML 솔루션 랩.
저자에 관하여
다니엘 펜들버리 AusNet Services의 제품 관리자는 식물 관리 및 자산 유지 관리 분야의 유틸리티에 혁신적이고 자동화된 규정 준수 제품을 제공하는 것을 전문으로 합니다.
나다나엘 웰던 Ausnet Services의 지리정보 소프트웨어 개발자입니다. 그는 유틸리티, 자원 및 환경 부문 전반에 걸친 경험을 바탕으로 대규모 지리 공간 데이터 처리 시스템을 구축하고 조정하는 것을 전문으로 합니다.
데이비드 모타메드 Amazon Web Services의 계정 관리자입니다. 호주 멜버른에 기반을 두고 있는 그는 기업 고객이 디지털 혁신 여정에서 성공할 수 있도록 지원합니다.
사이먼 존스턴 AI 리더이며 호주와 뉴질랜드 전역의 Amazon Web Services AI/ML 비즈니스를 책임지고 있으며 AI 전략 및 경제를 전문으로 합니다. 20년 이상의 연구, 관리 및 컨설팅 경험(미국, EU, APAC)은 신생 기업/중소기업/대기업 및 더 넓은 생태계 전반에 걸쳐 혁신적이고 업계 주도적인 연구 및 상용화 AI 벤처를 포괄합니다.
데릭 추 Amazon Web Services의 솔루션 아키텍트입니다. 그는 호주 멜버른에 기반을 두고 있으며 기업 고객과 긴밀하게 협력하여 클라우드에서의 여정을 가속화합니다. 그는 혁신을 통해 고객이 가치를 창출하고 확장 가능한 애플리케이션을 구축하도록 돕는 데 열정적이며 AI 및 ML에 특히 관심이 있습니다.
김무현 Amazon Machine Learning Solutions Lab의 데이터 과학자입니다. 머신 러닝과 딥 러닝을 적용하여 고객의 다양한 비즈니스 문제를 해결하고 숙련도를 높일 수 있도록 도와줍니다.
수조이 로이 비즈니스 문제에 대한 ML 기반 솔루션을 구축 및 배포한 20년 이상의 학계 및 업계 경험을 보유한 Amazon Machine Learning Solutions Lab의 과학자입니다. 그는 통신, 미디어 및 엔터테인먼트, AdTech, 원격 감지, 소매 및 제조와 같은 산업에서 고객 문제를 해결하기 위해 기계 학습을 적용했습니다.
강 지양 Amazon ML Solutions Lab의 수석 딥 러닝 아키텍트이며 AI 및 클라우드 도입을 통해 여러 산업 분야의 AWS 고객을 지원합니다. Amazon ML Solutions Lab에 합류하기 전에 그는 AWS의 가장 앞선 엔터프라이즈 고객 중 한 곳에서 솔루션 설계자로 일하면서 AWS에서 다양한 글로벌 규모의 클라우드 워크로드를 설계했습니다. 이전에는 반도체, 네트워킹, 통신 등의 산업 분야에서 삼성전자와 같은 회사에서 소프트웨어 개발자 및 시스템 설계자로 근무했습니다.
에덴 두티 AWS의 강화 학습 전문 서비스 팀의 책임자입니다. Eden은 고객을 위한 의사 결정 솔루션 개발에 열정적입니다. 그는 특히 공급망 최적화에 중점을 둔 산업 고객을 돕는 데 관심이 있습니다.
- '
- 000
- 100
- 3d
- 7
- 계정
- 회계
- 활동적인
- 추가
- 양자
- 이점
- AI
- 연산
- 알고리즘
- All
- 허용
- 아마존
- 아마존 머신 러닝
- 아마존 세이지 메이커
- Amazon Web Services
- 중
- 분석
- 어플리케이션
- 아키텍처
- 지역
- 약
- 유산
- 자산 관리
- 자산
- 호주
- 작성자
- 자동화
- 자동화
- 유효성
- AWS
- BEST
- 청구
- 억원
- 빌드
- 건물
- 사업
- 사업
- 생산 능력
- 자본
- 도전
- 분류
- 클라우드
- 클라우드 채택
- 암호
- 협동
- 공통의
- 커뮤니티
- 기업
- compliance
- 계산
- 지휘자
- 자신
- 컨설팅
- 컨테이너
- 매출 상승
- 비용
- 위기
- 고객
- 데이터
- 데이터 처리
- 데이터 과학자
- 의사 결정
- 깊은 학습
- 지연
- 수요
- 개발자
- 개발자
- 디지털
- 디지털 전환
- 운전
- 드론
- 경제적
- 경제
- 생태계
- 효율성
- 전자
- 에너지
- 엔지니어
- 영국
- Enterprise
- 기업 고객
- 엔터테인먼트
- 환경
- EU
- 이벤트
- 펼치기
- 확대
- 경험
- 실험
- 전문가
- 특징
- 유연성
- 초점
- 형태
- 체재
- 미래
- 글로벌
- 좋은
- GPS를
- GPU
- 성장
- 하드웨어
- 헬리콥터
- 헬리콥터
- 높은
- 방법
- HTTPS
- 거대한
- 수백
- 확인
- 포함
- 산업
- 산업
- 산업
- 정보
- 인프라
- 혁신
- 혁신적인
- 관심
- 조사
- 문제
- IT
- 일
- 작업
- 키
- 왕
- 레이블링
- 노동
- 넓은
- 레이저
- 리드
- 배우다
- 배우기
- 거래
- 빛
- 위치
- 긴
- 기계 학습
- 주요한
- 과반수
- 유튜브 영상을 만드는 것은
- 구축
- 제조
- 측정
- 미디어
- 멜버른
- 통계
- 백만
- 미성년자
- ML
- ML 알고리즘
- MLOps
- 모바일
- 모델
- 모듈러
- 네트워크
- 네트워킹
- 뉴질랜드
- 열 수
- 행정부
- 기회
- 기타
- 집 밖의
- 성능
- 조종사
- 비행기들
- 힘
- 프로덕트
- 생산
- 제품
- 프로젝트
- 재산
- 범위
- 감소
- 강화 학습
- 신뢰
- 신고
- 요구조건 니즈
- 연구
- 자료
- 소매
- 반품
- 위험
- 롤
- 달리기
- 달리는
- 가장 안전한 따뜻함
- 안전
- 현자
- 삼성
- 절약
- 확장성
- 규모
- 과학자
- 부문
- 반도체
- 서비스
- 세트
- 단순, 간단, 편리
- 크기
- 중소기업
- So
- 사회적
- 소프트웨어
- 솔루션
- 풀다
- 전문적으로
- 시작
- 시작
- 저장
- 전략
- 성공
- 공급
- 공급망
- SUPPORT
- 감시
- 설문조사
- 체계
- 시스템은
- 기법
- Technology
- 통신
- 통신
- 세계
- 시간
- 트레이닝
- 변환
- 여행
- 수조
- us
- 유용
- 가치
- 차량
- 벤처
- 웹
- 웹 서비스
- 비행
- 이내
- 작업
- 근로자 안전
- 워크플로우
- 일
- 세계
- X
- year
- 년