Australia Timur adalah salah satu wilayah yang paling rawan kebakaran di dunia. Meskipun kebakaran hutan adalah kejadian biasa di Australia, krisis kebakaran hutan 2019โ2020 membakar lebih dari 17 juta hektar lahan (lebih besar dari ukuran Inggris), merugikan ekonomi Australia lebih dari $100 miliar antara biaya properti, infrastruktur, sosial, dan lingkungan. .
Dengan peristiwa cuaca yang semakin ekstrem, risiko kebakaran hutan di Australia tidak akan hilang dalam waktu dekat. Ini berarti tanggung jawab operator jaringan energi Australia untuk menjaga pasokan yang aman dan andal tidak pernah sebesar ini.
Jaringan energi Australia mencakup lebih dari 880,000 kilometer jalur distribusi dan transmisi (sekitar 22 perjalanan mengelilingi lingkar bumi) dan 7 juta tiang listrik. Kondisi iklim ekstrim dan pertumbuhan vegetasi di dekat saluran listrik harus dikelola dengan hati-hati untuk mengurangi risiko kebakaran hutan.
Dalam posting ini, kita membahas bagaimana AusNet menggunakan pembelajaran mesin (ML) dan Amazon SageMaker untuk membantu mengurangi kebakaran hutan.
Inovasi AusNet dengan LiDAR
AusNet mengelola 54,000 kilometer saluran listrik dan membawa energi ke lebih dari 1.5 juta rumah dan bisnis Victoria. 62% dari jaringan ini terletak di area risiko kebakaran hutan yang tinggi. AusNet telah mengembangkan solusi inovatif untuk menjaga jaringan energinya dengan aman dan meminimalkan risiko vegetasi yang menyebabkan kerusakan pada jaringan.
Sejak 2009, AusNet telah menangkap data LiDAR berkualitas tinggi di seluruh jaringan menggunakan sistem pemetaan berbasis jalan dan udara. LiDAR adalah metode penginderaan jauh yang menggunakan cahaya dalam bentuk laser berdenyut untuk mengukur jarak dan arah. Titik yang dirasakan dari suatu objek memiliki informasi koordinat 3D (x, y, z) serta atribut tambahan seperti kepadatan, jumlah pengembalian, nomor pengembalian, stempel waktu GPS, dan sebagainya. Titik-titik tersebut direpresentasikan sebagai awan titik 3D, yang merupakan kumpulan semua informasi titik. Setelah diproses, LiDAR diubah menjadi model 3D dari aset jaringan AusNet, yang mengidentifikasi pertumbuhan vegetasi yang perlu dipangkas untuk keselamatan kebakaran hutan.
Proses klasifikasi LiDAR sebelumnya menggunakan inferensi berbasis aturan bisnis, dengan sangat bergantung pada lokasi aset Sistem Informasi Geografis (GIS) yang akurat untuk mendorong otomatisasi. Upaya kerja manual menggunakan alat pelabelan yang dibuat khusus diperlukan untuk memberi label dengan benar pada titik LiDAR di mana lokasi aset tidak akurat atau sama sekali tidak ada. Koreksi manual dan klasifikasi titik LiDAR meningkatkan waktu pemrosesan dan mempersulit penskalaan.
Pembelajaran Mesin AusNet dan Amazon
Tim Geospasial AusNet bermitra dengan spesialis Amazon ML, termasuk Amazon Machine Learning Solutions Lab dan Layanan Profesional, untuk menyelidiki bagaimana ML dapat mengotomatiskan klasifikasi titik LiDAR dan mempercepat proses berat untuk mengoreksi data lokasi GIS yang tidak akurat secara manual.
Biaya tahunan untuk mengklasifikasikan triliunan titik LiDAR yang ditangkap secara akurat yang mewakili konfigurasi jaringan berbeda di sekitar Australia melebihi $700,000 per tahun dan menghambat kemampuan AusNet untuk memperluas ini ke area jaringan yang lebih luas.
AusNet dan AWS bekerja sama untuk menggunakan Amazon SageMaker untuk bereksperimen, dan membangun model pembelajaran mendalam untuk mengotomatiskan klasifikasi poin-bijaksana dari kumpulan besar data LiDAR ini. Amazon SageMaker adalah layanan terkelola sepenuhnya yang membantu ilmuwan dan pengembang data untuk mempersiapkan, membangun, melatih, dan menerapkan model pembelajaran mesin berkualitas tinggi dengan cepat. Tim AusNet dan AWS berhasil membangun model segmentasi semantik yang secara akurat mengklasifikasikan data point cloud 3D ke dalam kategori berikut: konduktor, bangunan, tiang, vegetasi, dan lainnya.
Hasil untuk AusNet dan mitigasi kebakaran hutan
Kolaborasi antara AWS dan AusNet sukses besar, menghasilkan hasil berikut untuk bisnis dan pengurangan risiko kebakaran hutan:
- Meningkatkan keselamatan pekerja dengan menggunakan data LiDAR dan mengurangi kebutuhan insinyur, surveyor, dan desainer untuk melakukan perjalanan ke lokasi
- Menghasilkan akurasi 80.53% di kelima kategori segmentasi, menghemat AusNet sekitar AUD $500,000 per tahun melalui klasifikasi otomatis
- Memberikan akurasi 91.66% dan 92% dalam mendeteksi konduktor dan vegetasi, masing-masing, meningkatkan klasifikasi otomatis dari dua kelas segmen terpenting
- Memberikan fleksibilitas untuk memanfaatkan data LiDAR yang diperoleh dari drone, helikopter, pesawat, dan kendaraan berbasis darat, sambil memperhitungkan variabilitas unik setiap sumber data
- Memungkinkan bisnis untuk berinovasi lebih cepat dan menskalakan analitik di seluruh jaringan mereka dengan mengurangi ketergantungan pada data referensi GIS dan proses koreksi manual
- Memberikan kemampuan untuk menskalakan analitik di seluruh jaringan energi mereka dengan peningkatan otomatisasi ML dan mengurangi ketergantungan pada proses koreksi GIS manual
Tabel berikut menggambarkan kinerja model segmentasi semantik pada data yang tidak terlihat (diukur menggunakan metrik "presisi" dan "recall", dengan semakin tinggi semakin baik), di lima kategori.
Model ML mengklasifikasikan poin dari penangkapan helikopter:
Ikhtisar solusi
Tim ML Solutions Lab membawa tim ilmuwan dan arsitek ML yang sangat berpengalaman untuk membantu mendorong inovasi dan eksperimen. Dengan pengalaman ML mutakhir di seluruh industri, tim berkolaborasi dengan tim Geospasial AusNet untuk memecahkan beberapa masalah teknologi yang paling menantang bagi bisnis. Berdasarkan kemampuan ML mendalam dari SageMaker, AusNet dan AWS dapat menyelesaikan uji coba hanya dalam 8 minggu.
Keluasan dan kedalaman SageMaker memainkan peran kunci dalam memungkinkan pengembang dan ilmuwan data dari AusNet dan AWS untuk berkolaborasi dalam proyek. Tim menggunakan fitur kode dan berbagi buku catatan serta sumber daya komputasi ML on-demand yang mudah diakses untuk pelatihan. Elastisitas SageMaker memungkinkan tim untuk melakukan iterasi dengan cepat. Tim juga dapat memanfaatkan ketersediaan konfigurasi perangkat keras yang berbeda untuk bereksperimen di AWS tanpa perlu berinvestasi dalam modal awal untuk memperoleh perangkat keras lokal. Hal ini memungkinkan AusNet untuk dengan mudah memilih sumber daya ML berukuran tepat dan menskalakan eksperimen mereka sesuai permintaan. Fleksibilitas dan ketersediaan sumber daya GPU sangat penting, terutama saat tugas ML memerlukan eksperimen mutakhir.
Kami menggunakan instans notebook SageMaker untuk menjelajahi data dan mengembangkan kode prapemrosesan, dan menggunakan pekerjaan pemrosesan dan pelatihan SageMaker untuk beban kerja skala besar. Tim juga menggunakan pengoptimalan hiperparameter (HPO) untuk dengan cepat beralih pada beberapa pekerjaan pelatihan dengan berbagai konfigurasi dan versi kumpulan data untuk menyempurnakan hyperparameter dan menemukan model dengan kinerja terbaik. Misalnya, kami membuat versi kumpulan data yang berbeda menggunakan metode down sampling dan augmentasi untuk mengatasi masalah ketidakseimbangan data. Menjalankan beberapa tugas pelatihan dengan kumpulan data berbeda secara paralel memungkinkan Anda menemukan kumpulan data yang tepat dengan cepat. Dengan kumpulan data cloud titik yang besar dan tidak seimbang, SageMaker memberikan kemampuan untuk melakukan iterasi dengan cepat menggunakan banyak konfigurasi eksperimen dan transformasi data.
Insinyur ML dapat melakukan eksplorasi awal data dan algoritme menggunakan instans notebook berbiaya rendah, kemudian memindahkan operasi data yang berat ke instans pemrosesan yang lebih andal. Penagihan per detik dan manajemen siklus hidup otomatis memastikan bahwa instans pelatihan yang lebih mahal dimulai dan dihentikan secara otomatis dan hanya tetap aktif selama diperlukan, yang meningkatkan efisiensi pemanfaatan.
Tim mampu melatih model dengan kecepatan 10.8 menit per zaman pada 17.2 GiB data tidak terkompresi di 1,571 file dengan total sekitar 616 juta poin. Sebagai kesimpulan, tim mampu memproses 33.6 GiB data tidak terkompresi di 15 file dengan total 1.2 miliar poin dalam 22.1 jam. Ini berarti menyimpulkan rata-rata 15,760 poin per detik termasuk waktu startup yang diamortisasi.
Memecahkan masalah segmentasi semantik
Model ML mengklasifikasikan poin dari tangkapan sayap tetap:
Model ML mengklasifikasikan poin dari tangkapan seluler:
Masalah menetapkan setiap titik di awan titik ke kategori dari satu set kategori disebut segmentasi semantik masalah. Point cloud 3D AusNet dari kumpulan data LiDAR terdiri dari jutaan titik. Memberi label secara akurat dan efisien setiap titik dalam cloud titik 3D melibatkan penanganan dua tantangan:
- Data tidak seimbang โ Ketidakseimbangan kelas adalah masalah umum di awan titik dunia nyata. Seperti yang terlihat pada klip sebelumnya, sebagian besar titik terdiri dari vegetasi, dengan titik yang secara signifikan lebih sedikit terdiri dari saluran listrik atau konduktor yang membentuk kurang dari 1% dari total titik. Model yang dilatih menggunakan dataset yang tidak seimbang dengan mudah bias terhadap kelas utama, dan bekerja dengan buruk pada kelas minor. Ketidakseimbangan kelas ini adalah masalah umum dalam data cloud titik LiDAR untuk lingkungan luar ruangan. Untuk tugas ini, sangat penting untuk memiliki kinerja yang baik dalam mengklasifikasikan titik konduktor. Melatih model yang bekerja dengan baik di kelas mayor dan minor adalah tantangan terbesar.
- Awan titik skala besar โ Jumlah data point cloud dari sensor LiDAR dapat mencakup area terbuka yang luas. Dalam kasus AusNet, jumlah titik per titik cloud dapat berkisar dari ratusan ribu hingga puluhan juta, dengan setiap file titik cloud bervariasi dari ratusan megabyte hingga gigabyte. Sebagian besar algoritma ML segmentasi titik cloud memerlukan pengambilan sampel karena operator tidak dapat mengambil semua titik sebagai inputnya. Sayangnya, banyak metode pengambilan sampel yang berat secara komputasi, yang membuat pelatihan dan inferensi menjadi lambat. Dalam pekerjaan ini, kita perlu memilih algoritma ML yang paling efisien yang bekerja pada point cloud skala besar.
Tim AWS dan AusNet menemukan strategi downsampling baru melalui titik pengelompokan untuk memecahkan masalah kelas yang sangat tidak seimbang. Strategi downsampling ini bersama dengan mitigasi yang ada, seperti pembobotan kelas, membantu memecahkan tantangan dalam melatih model yang akurat dengan kumpulan data yang tidak seimbang dan juga meningkatkan kinerja inferensi. Kami juga bereksperimen dengan strategi upsampling dengan menduplikasi kelas minor dan menempatkannya di lokasi yang berbeda. Proses ini dibuat sebagai tugas Pemrosesan SageMaker sehingga dapat diterapkan ke kumpulan data yang baru diperoleh untuk pelatihan model lebih lanjut dalam saluran MLOps.
Tim meneliti berbagai model segmentasi cloud titik dengan mempertimbangkan akurasi, skalabilitas dalam hal jumlah titik, dan efisiensi. Melalui beberapa eksperimen, kami memilih algoritme ML canggih untuk segmentasi semantik cloud titik, yang memenuhi persyaratan. Kami juga mengadopsi metode augmentasi sehingga model dapat belajar dari berbagai kumpulan data.
Arsitektur produksi
Untuk meluncurkan solusi segmentasi cloud titik, tim merancang saluran ML menggunakan SageMaker untuk pelatihan dan inferensi. Diagram berikut menggambarkan arsitektur produksi secara keseluruhan.
Pipeline pelatihan menampilkan wadah pemrosesan khusus di SageMaker Processing untuk melakukan konversi format cloud titik, pemetaan ulang kategori, upsampling, downsampling, dan pemisahan set data. Pekerjaan pelatihan memanfaatkan instans multi-GPU di SageMaker dengan kapasitas memori yang lebih tinggi untuk mendukung pelatihan model dengan ukuran batch yang lebih besar.
Alur kerja klasifikasi LiDAR AusNet dimulai dengan penyerapan data point cloud hingga terabyte dari kendaraan pengawasan darat dan udara ke dalam Layanan Penyimpanan Sederhana Amazon (Amazon S3). Data tersebut kemudian diproses dan diteruskan ke pipeline inferensi untuk klasifikasi point cloud. Untuk mendukung ini, Transformasi SageMaker digunakan untuk menjalankan inferensi batch di seluruh kumpulan data, dengan output berupa file cloud titik yang diklasifikasikan dengan skor kepercayaan. Outputnya kemudian diproses oleh mesin klasifikasi AusNet, yang menganalisis skor kepercayaan dan menghasilkan laporan manajemen aset.
Salah satu aspek kunci dari arsitektur ini adalah menyediakan AusNet dengan pendekatan yang terukur dan modular untuk bereksperimen dengan kumpulan data baru, teknik pemrosesan data, dan model. Dengan pendekatan ini, AusNet dapat mengadaptasi solusi mereka untuk mengubah kondisi lingkungan dan mengadopsi algoritma segmentasi cloud titik masa depan.
Kesimpulan dan langkah selanjutnya dengan AusNet
Dalam posting ini, kami membahas bagaimana tim Geospasial AusNet bermitra dengan ilmuwan Amazon ML untuk mengotomatiskan klasifikasi titik LiDAR dengan sepenuhnya menghilangkan ketergantungan pada data lokasi GIS dari tugas klasifikasi. Oleh karena itu, penundaan yang terjadi oleh koreksi GIS manual dihilangkan untuk membuat tugas klasifikasi lebih cepat dan terukur.
โMampu dengan cepat dan akurat melabeli data survei udara kami adalah bagian penting dari meminimalkan risiko kebakaran hutan. Bekerja dengan Amazon Machine Learning Solutions Lab, kami dapat membuat model yang mencapai akurasi rata-rata 80.53% dalam pelabelan data. Kami berharap dapat mengurangi upaya pelabelan manual hingga 80% dengan solusi baru ini,โ kata Daniel Pendlebury, Manajer Produk di AusNet.
AusNet membayangkan model klasifikasi ML memainkan peran penting dalam mendorong efisiensi di seluruh operasi jaringan mereka. Dengan memperluas perpustakaan klasifikasi otomatis mereka dengan model segmentasi baru, AusNet dapat memanfaatkan kumpulan data besar secara lebih produktif untuk memastikan pasokan energi yang aman dan andal bagi komunitas di seluruh Victoria.
Ucapan Terima Kasih
Penulis ingin mengucapkan terima kasih kepada Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King, dan Damian Bisignano dari AusNet atas keterlibatan mereka dalam proyek dan membawa keahlian domain mereka pada set data LiDAR dan pelatihan ML menggunakan algoritme ML yang berbeda.
Lab Solusi Amazon ML
Lab Solusi Amazon ML pasangkan tim Anda dengan pakar ML untuk membantu Anda mengidentifikasi dan menerapkan peluang ML bernilai tertinggi di organisasi Anda. Jika Anda membutuhkan bantuan untuk mempercepat penggunaan ML dalam produk dan proses Anda, silakan hubungi Lab Solusi Amazon ML.
Tentang Penulis
Daniel Pendlebury adalah Manajer Produk di AusNet Services yang berspesialisasi dalam penyediaan produk kepatuhan otomatis yang inovatif untuk utilitas di area Manajemen Vegetasi dan Pemeliharaan Aset.
Natanael Weldon adalah pengembang perangkat lunak geospasial di Ausnet Services. Dia berspesialisasi dalam membangun dan menyetel sistem pemrosesan data geospasial skala besar, dengan pengalaman di seluruh sektor utilitas, sumber daya, dan lingkungan.
David Motamed adalah Manajer Akun di Amazon Web Services. Berbasis di Melbourne, Australia, ia membantu pelanggan perusahaan berhasil di sepanjang perjalanan transformasi digital mereka.
Simon Johnston adalah pemimpin AI dan bertanggung jawab atas bisnis AI/ML Amazon Web Services di seluruh Australia dan Selandia Baru, yang berspesialisasi dalam strategi dan ekonomi AI. Lebih dari 20 tahun pengalaman penelitian, manajemen, dan konsultasi (AS, UE, APAC) yang mencakup berbagai penelitian inovatif dan usaha komersialisasi AI yang dipimpin industri โ terlibat di seluruh perusahaan rintisan / UKM / korps besar, dan ekosistem yang lebih luas.
Derrick Choo adalah Arsitek Solusi di Amazon Web Services. Dia berbasis di Melbourne, Australia dan bekerja sama dengan pelanggan perusahaan untuk mempercepat perjalanan mereka di cloud. Dia bersemangat dalam membantu pelanggan menciptakan nilai melalui inovasi dan membangun aplikasi yang skalabel dan memiliki minat khusus pada AI dan ML.
Muhyun Kim adalah seorang ilmuwan data di Amazon Machine Learning Solutions Lab. Dia memecahkan berbagai masalah bisnis pelanggan dengan menerapkan pembelajaran mesin dan pembelajaran mendalam, serta membantu mereka menjadi terampil.
Sujoy Roy adalah ilmuwan dengan Amazon Machine Learning Solutions Lab dengan lebih dari 20 tahun pengalaman akademis dan industri dalam membangun dan menerapkan solusi berbasis ML untuk masalah bisnis. Dia telah menerapkan pembelajaran mesin untuk memecahkan masalah pelanggan di industri seperti telekomunikasi, media dan hiburan, AdTech, penginderaan jauh, ritel, dan manufaktur.
Jiyang Kang adalah Senior Deep Learning Architect di Amazon ML Solutions Lab, di mana dia membantu pelanggan AWS di berbagai industri dengan AI dan adopsi cloud. Sebelum bergabung dengan Amazon ML Solutions Lab, dia bekerja sebagai Solutions Architect untuk salah satu pelanggan perusahaan tercanggih AWS, merancang berbagai beban kerja cloud skala global di AWS. Dia sebelumnya bekerja sebagai pengembang perangkat lunak dan arsitek sistem untuk perusahaan seperti Samsung Electronics di industri seperti semikonduktor, jaringan, dan telekomunikasi.
Eden Duthie adalah pemimpin tim Layanan Profesional Pembelajaran Penguatan di AWS. Eden bersemangat untuk mengembangkan solusi pengambilan keputusan bagi pelanggan. Dia sangat tertarik untuk membantu pelanggan industri dengan fokus yang kuat pada optimasi rantai pasokan.
- '
- 000
- 100
- 3d
- 7
- Akun
- akuntansi
- aktif
- Tambahan
- Adopsi
- Keuntungan
- AI
- algoritma
- algoritma
- Semua
- Membiarkan
- Amazon
- Pembelajaran Mesin Amazon
- Amazon SageMaker
- Amazon Web Services
- antara
- analisis
- aplikasi
- arsitektur
- DAERAH
- sekitar
- aset
- manajemen aset
- Aktiva
- Australia
- penulis
- Otomatis
- Otomatisasi
- tersedianya
- AWS
- TERBAIK
- penagihan
- Milyar
- membangun
- Bangunan
- bisnis
- bisnis
- Kapasitas
- modal
- menantang
- klasifikasi
- awan
- adopsi cloud
- kode
- kolaborasi
- Umum
- Masyarakat
- Perusahaan
- pemenuhan
- menghitung
- konduktor
- kepercayaan
- konsultasi
- Wadah
- Konversi
- Biaya
- krisis
- pelanggan
- data
- pengolahan data
- ilmuwan data
- Pengambilan Keputusan
- belajar mendalam
- menunda
- Permintaan
- Pengembang
- pengembang
- digital
- Transformasi digital
- penggerak
- Drone
- Ekonomi
- ekonomi
- ekosistem
- efisiensi
- Elektronik
- energi
- Insinyur
- Inggris
- Enterprise
- pelanggan perusahaan
- Menghibur
- lingkungan
- EU
- peristiwa
- Lihat lebih lanjut
- memperluas
- pengalaman
- eksperimen
- ahli
- Fitur
- keluwesan
- Fokus
- bentuk
- format
- masa depan
- Aksi
- baik
- gps
- GPU
- Pertumbuhan
- Perangkat keras
- helikopter
- helikopter
- High
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTTPS
- besar
- Ratusan
- mengenali
- Termasuk
- industri
- industri
- industri
- informasi
- Infrastruktur
- Innovation
- inovatif
- bunga
- menyelidiki
- masalah
- IT
- Pekerjaan
- Jobs
- kunci
- King
- pelabelan
- tenaga kerja
- besar
- laser
- memimpin
- BELAJAR
- pengetahuan
- berurusan
- cahaya
- tempat
- Panjang
- Mesin belajar
- utama
- Mayoritas
- Membuat
- pengelolaan
- pabrik
- mengukur
- Media
- Melbourne
- Metrik
- juta
- anak di bawah umur
- ML
- Algoritme ML
- MLOps
- mobil
- model
- modular
- jaringan
- jaringan
- Selandia Baru
- Buka
- Operasi
- Peluang
- Lainnya
- luar ruangan
- prestasi
- pilot
- Pesawat
- kekuasaan
- Produk
- Produksi
- Produk
- proyek
- milik
- jarak
- menurunkan
- penguatan pembelajaran
- kepercayaan
- melaporkan
- Persyaratan
- penelitian
- Sumber
- eceran
- Pengembalian
- Risiko
- Menggulung
- Run
- berjalan
- aman
- Safety/keselamatan
- pembuat bijak
- Samsung
- penghematan
- Skalabilitas
- Skala
- ilmuwan
- Sektor
- Semikonduktor
- Layanan
- set
- Sederhana
- Ukuran
- UKM
- So
- Sosial
- Perangkat lunak
- Solusi
- MEMECAHKAN
- spesialisasi
- mulai
- startup
- penyimpanan
- Penyelarasan
- sukses
- menyediakan
- supply chain
- mendukung
- pengawasan
- Survei
- sistem
- sistem
- teknik
- Teknologi
- Telco
- telekomunikasi
- Dunia
- waktu
- Pelatihan
- Transformasi
- perjalanan
- triliunan
- us
- keperluan
- nilai
- Kendaraan
- Ventures
- jaringan
- layanan web
- Sayap
- dalam
- Kerja
- keselamatan pekerja
- alur kerja
- bekerja
- dunia
- X
- tahun
- tahun