Vzhodna Avstralija je med regijami, ki so najbolj izpostavljene požarom na svetu. Čeprav so gozdni požari v Avstraliji reden pojav, je kriza zaradi gozdnih požarov v letih 2019–2020 požgala več kot 17 milijonov hektarjev zemlje (več kot velikost Anglije), kar je stalo avstralsko gospodarstvo več kot 100 milijard USD med lastniškimi, infrastrukturnimi, socialnimi in okoljskimi stroški. .
Zaradi vedno bolj ekstremnih vremenskih pojavov nevarnost gozdnih požarov v Avstraliji ne bo kmalu izginila. To pomeni, da odgovornost avstralskih operaterjev energetskega omrežja za vzdrževanje varne in zanesljive oskrbe še nikoli ni bila večja.
Avstralsko energetsko omrežje vključuje več kot 880,000 kilometrov distribucijskih in prenosnih vodov (približno 22 potovanj po obodu Zemlje) in 7 milijonov električnih drogov. Ekstremne podnebne razmere in rast vegetacije v bližini električnih vodov je treba skrbno obvladovati, da zmanjšamo nevarnost gozdnih požarov.
V tej objavi razpravljamo o tem, kako AusNet uporablja strojno učenje (ML) in Amazon SageMaker za pomoč pri blaženju gozdnih požarov.
Inovacija AusNet z LiDAR
AusNet upravlja 54,000 kilometrov daljnovodov in oskrbuje z energijo več kot 1.5 milijona viktorijanskih domov in podjetij. 62 % tega omrežja se nahaja na območjih z velikim tveganjem za gozdne požare. AusNet je razvil inovativno rešitev za varno vzdrževanje svojega energetskega omrežja in zmanjšanje tveganja, da bi vegetacija povzročila škodo na omrežju.
Od leta 2009 AusNet zajema visokokakovostne podatke LiDAR po omrežju z uporabo sistemov za kartiranje iz zraka in cest. LiDAR je metoda daljinskega zaznavanja, ki uporablja svetlobo v obliki impulznega laserja za merjenje razdalj in smeri. Zaznana točka objekta ima informacije o 3D koordinatah (x, y, z) ter dodatne atribute, kot so gostota, število povratkov, število povratkov, časovni žig GPS itd. Te točke so predstavljene kot 3D oblak točk, ki je zbirka vseh informacij o točkah. Po obdelavi se LiDAR spremeni v 3D model omrežnih sredstev AusNet, ki identificira rast vegetacije, ki jo je treba obrezati zaradi varnosti pred gozdnimi požari.
Prejšnji postopek za klasifikacijo LiDAR je za spodbujanje avtomatizacije uporabljal sklepanje na podlagi poslovnih pravil, z velikim zanašanjem na točne lokacije sredstev geografskega informacijskega sistema (GIS). Za pravilno označevanje točk LiDAR, kjer so bile lokacije sredstev netočne ali preprosto niso obstajale, je bilo potrebno ročno delo z uporabo orodij za označevanje po meri. Ročna korekcija in klasifikacija točk LiDAR sta podaljšala čas obdelave in otežila skaliranje.
AusNet in Amazon Machine Learning
Ekipa AusNet Geospatial je sodelovala s strokovnjaki Amazon ML, vključno z Amazon Machine Learning Solutions Lab in Professional Services, da bi raziskala, kako lahko ML avtomatizira klasifikacijo točk LiDAR in pospeši težaven proces ročnega popravljanja netočnih podatkov o lokaciji GIS.
Letni strošek natančnega razvrščanja trilijonov zajetih točk LiDAR, ki predstavljajo različne konfiguracije omrežja po Avstraliji, je presegel 700,000 $ na leto in je onemogočil zmožnost AusNeta, da to razširi na večja območja omrežja.
AusNet in AWS sta se združila za uporabo Amazon SageMaker eksperimentirati in zgraditi modele globokega učenja za avtomatizacijo točkovne klasifikacije te velike zbirke podatkov LiDAR. Amazon SageMaker je popolnoma upravljana storitev, ki znanstvenikom in razvijalcem podatkov pomaga hitro pripraviti, zgraditi, usposobiti in uvesti visokokakovostne modele strojnega učenja. Skupina AusNet in AWS je uspešno zgradila semantični segmentacijski model, ki je natančno razvrstil 3D podatke oblaka točk v naslednje kategorije: prevodnik, zgradba, drog, vegetacija in druge.
Rezultati za AusNet in blažitev gozdnih požarov
Sodelovanje med AWS in AusNet je bilo zelo uspešno, saj je prineslo naslednje rezultate za poslovanje in zmanjšanje tveganja požara:
- Povečana varnost delavcev z uporabo podatkov LiDAR in zmanjšanjem potrebe inženirjev, geodetov in oblikovalcev po potovanju na gradbišča
- Posledica 80.53-odstotne natančnosti v vseh petih segmentacijskih kategorijah, s čimer je AusNet prihranil približno 500,000 AUD USD na leto z avtomatsko klasifikacijo
- Zagotovljena 91.66-odstotna oziroma 92-odstotna natančnost pri zaznavanju vodnikov oziroma vegetacije, kar izboljša samodejno razvrščanje dveh najpomembnejših razredov segmentov
- Zagotovljena prilagodljivost za uporabo podatkov LiDAR, pridobljenih iz brezpilotnih letal, helikopterjev, letal in zemeljskih vozil, ob upoštevanju edinstvene spremenljivosti vsakega vira podatkov
- Omogočili podjetju hitrejše inovacije in razširitev analitike po celotnem omrežju z zmanjšanjem odvisnosti od referenčnih podatkov GIS in procesov ročnega popravljanja
- Zagotavlja zmožnost razširitve analitike po celotnem energetskem omrežju s povečano avtomatizacijo ML in zmanjšano odvisnostjo od ročnih procesov popravkov GIS
Naslednja tabela prikazuje uspešnost modela semantične segmentacije na nevidnih podatkih (merjenih z meritvami »natančnost« in »priklic«, pri čemer je višje boljše) v petih kategorijah.
Klasificirane točke modela ML iz zajema s helikopterjem:
Pregled rešitev
Ekipa ML Solutions Lab je vključila ekipo zelo izkušenih znanstvenikov in arhitektov ML, da bi pomagali spodbujati inovacije in eksperimentiranje. Z vrhunskimi izkušnjami ML v različnih panogah je ekipa sodelovala z ekipo AusNet Geospatial pri reševanju nekaterih najzahtevnejših tehnoloških problemov za podjetje. Na podlagi globokih zmogljivosti ML SageMakerja sta AusNet in AWS uspela dokončati pilotni projekt v samo 8 tednih.
Širina in globina SageMakerja sta igrali ključno vlogo pri omogočanju razvijalcem in podatkovnim znanstvenikom iz AusNeta in AWS, da sodelujejo pri projektu. Ekipa je za usposabljanje uporabila kodo in funkcije za skupno rabo zvezkov ter zlahka dostopala do računalniških virov ML na zahtevo. Elastičnost SageMakerja je ekipi omogočila hitro ponavljanje. Ekipa je prav tako lahko izkoristila razpoložljivost različnih konfiguracij strojne opreme za eksperimentiranje na AWS, ne da bi bilo treba vlagati v začetni kapital za nakup strojne opreme na mestu uporabe. To je AusNetu omogočilo enostavno izbiro virov ML prave velikosti in prilagoditev njihovih poskusov na zahtevo. Fleksibilnost in razpoložljivost virov GPU sta kritični, zlasti ko naloga ML zahteva vrhunske poskuse.
Uporabili smo primerke prenosnih računalnikov SageMaker za raziskovanje podatkov in razvijanje kode za predprocesiranje ter opravila obdelave in usposabljanja SageMaker za obsežne delovne obremenitve. Skupina je uporabila tudi optimizacijo hiperparametrov (HPO) za hitro ponavljanje več izobraževalnih opravil z različnimi konfiguracijami in različicami nabora podatkov, da bi natančno prilagodili hiperparametre in našli najučinkovitejši model. Ustvarili smo na primer različne različice naborov podatkov z uporabo metod zmanjševanja vzorčenja in povečanja, da bi odpravili težave z neravnovesjem podatkov. Vzporedno izvajanje več izobraževalnih opravil z različnimi nabori podatkov vam omogoča, da hitro najdete pravi nabor podatkov. Z velikimi in neuravnoteženimi nabori podatkov v oblaku točk je SageMaker zagotovil možnost hitrega ponavljanja z uporabo številnih konfiguracij poskusov in transformacij podatkov.
Inženirji ML bi lahko izvedli začetne raziskave podatkov in algoritmov z uporabo nizkocenovnih instanc prenosnih računalnikov, nato pa težke podatkovne operacije preložili na zmogljivejše instance obdelave. Zaračunavanje na sekundo in samodejno upravljanje življenjskega cikla zagotavljata, da se dražje izobraževalne instance samodejno zaženejo in ustavijo ter ostanejo aktivne le toliko časa, kot je potrebno, kar poveča učinkovitost uporabe.
Ekipa je lahko usposobila model s hitrostjo 10.8 minute na epoho na 17.2 GiB nestisnjenih podatkov v 1,571 datotekah s skupno približno 616 milijoni točk. Za zaključek je ekipa uspela obdelati 33.6 GiB nestisnjenih podatkov v 15 datotekah s skupno 1.2 milijarde točk v 22.1 urah. To pomeni sklepanje povprečno 15,760 točk na sekundo, vključno z amortiziranim zagonskim časom.
Reševanje problema semantične segmentacije
Klasificirane točke modela ML iz zajema s fiksnim krilom:
Klasificirane točke modela ML iz mobilnega zajema:
Problem dodelitve vsake točke v oblaku točk kategoriji iz nabora kategorij se imenuje a semantična segmentacija problem. AusNet-ovi 3D oblaki točk iz naborov podatkov LiDAR so sestavljeni iz milijonov točk. Natančno in učinkovito označevanje vsake točke v oblaku 3D točk vključuje reševanje dveh izzivov:
- Neuravnoteženi podatki – Neravnovesje razredov je pogosta težava v oblakih točk v realnem svetu. Kot je razvidno iz prejšnjih posnetkov, je večina točk sestavljena iz vegetacije, pri čemer je bistveno manj točk, sestavljenih iz električnih vodov ali vodnikov, ki predstavljajo manj kot 1 % vseh točk. Modeli, usposobljeni z uporabo neuravnoteženega nabora podatkov, so zlahka pristranski k glavnim razredom in slabo delujejo na manjših. To neravnovesje razredov je pogosta težava v podatkih oblaka točk LiDAR za zunanja okolja. Za to nalogo je ključnega pomena dobra uspešnost pri razvrščanju točk prevodnikov. Usposabljanje modela, ki dobro deluje tako na glavnem kot na sekundarnem razredu, je največji izziv.
- Oblak točk velikega merila – Količina podatkov oblaka točk iz senzorja LiDAR lahko pokrije veliko odprto območje. V primeru AusNeta se lahko število točk na oblak točk giblje od sto tisoč do več deset milijonov, pri čemer se vsaka datoteka oblaka točk razlikuje od sto megabajtov do gigabajtov. Večina algoritmov ML za segmentacijo oblaka točk zahteva vzorčenje, ker operaterji ne morejo vzeti vseh točk kot svoj vhod. Na žalost je veliko metod vzorčenja računsko težkih, zaradi česar sta tako usposabljanje kot sklepanje počasna. V tem delu moramo izbrati najučinkovitejši algoritem ML, ki deluje na oblakih točk velikega obsega.
Ekipi AWS in AusNet sta izumili novo strategijo zmanjševanja vzorčenja prek točk združevanja v gruče, da bi rešili težavo z zelo neuravnoteženimi razredi. Ta strategija zmanjševanja vzorčenja skupaj z obstoječimi ublažitvami, kot je ponderiranje razredov, je pomagala rešiti izzive pri usposabljanju natančnega modela z neuravnoteženim naborom podatkov in tudi izboljšala zmogljivost sklepanja. Preizkusili smo tudi strategijo povečanega vzorčenja s podvajanjem manjših razredov in njihovo postavitvijo na različne lokacije. Ta proces je bil zgrajen kot opravilo obdelave SageMaker, da bi ga lahko uporabili za novo pridobljeni nabor podatkov za nadaljnje usposabljanje modela v cevovodu MLOps.
Ekipe so raziskovale različne modele segmentacije oblaka točk glede na natančnost, razširljivost v smislu števila točk in učinkovitost. Skozi več poskusov smo izbrali najsodobnejši algoritem ML za semantično segmentacijo oblaka točk, ki je izpolnjeval zahteve. Sprejeli smo tudi metode povečanja, tako da se je model lahko učil iz različnih naborov podatkov.
Proizvodna arhitektura
Za uvedbo rešitve za segmentacijo oblaka točk je ekipa oblikovala cevovod ML z uporabo SageMakerja za usposabljanje in sklepanje. Naslednji diagram ponazarja celotno produkcijsko arhitekturo.
Cevovod za usposabljanje vključuje vsebnik za obdelavo po meri v SageMaker Processing za pretvorbo formata oblaka točk, ponovno preslikavo kategorij, povečanje vzorčenja, zmanjšanje vzorčenja in razdelitev nabora podatkov. Usposabljanje izkorišča instance z več grafičnimi procesorji v SageMakerju z večjo zmogljivostjo pomnilnika za podporo usposabljanja modela z večjo velikostjo serije.
Delovni potek klasifikacije LiDAR podjetja AusNet se začne z vnosom do terabajtov podatkov oblaka točk iz kopenskih in zračnih nadzornih vozil v Preprosta storitev shranjevanja Amazon (Amazon S3). Podatki se nato obdelajo in prenesejo v sklepni cevovod za klasifikacijo oblaka točk. Za podporo temu se uporablja pretvorba SageMaker za izvajanje paketnega sklepanja v naboru podatkov, pri čemer so izhodne datoteke razvrščene v oblaku točk z rezultati zaupanja. Izhod nato obdela klasifikacijski mehanizem AusNet, ki analizira oceno zaupanja in ustvari poročilo o upravljanju sredstev.
Eden od ključnih vidikov arhitekture je, da AusNetu zagotavlja razširljiv in modularen pristop za eksperimentiranje z novimi nabori podatkov, tehnikami obdelave podatkov in modeli. S tem pristopom lahko AusNet prilagodi svojo rešitev spreminjajočim se okoljskim razmeram in sprejme prihodnje algoritme segmentacije oblaka točk.
Zaključek in naslednji koraki z AusNet
V tej objavi smo razpravljali o tem, kako je ekipa AusNet Geospatial sodelovala z znanstveniki Amazon ML za avtomatizacijo klasifikacije točk LiDAR s popolno odstranitvijo odvisnosti od podatkov o lokaciji GIS iz naloge klasifikacije. Zato je zakasnitev, do katere je prišlo zaradi ročnega popravka GIS, odstranjena, da je naloga klasifikacije hitrejša in razširljiva.
»Zmožnost hitrega in natančnega označevanja naših podatkov iz zraka je ključni del zmanjševanja tveganja gozdnih požarov. V sodelovanju z Amazon Machine Learning Solutions Lab nam je uspelo ustvariti model, ki je dosegel 80.53-odstotno povprečno natančnost pri označevanju podatkov. Pričakujemo, da bomo z novo rešitvijo lahko zmanjšali prizadevanja za ročno označevanje za do 80 %,« pravi Daniel Pendlebury, produktni vodja pri AusNet.
AusNet predvideva, da bodo modeli klasifikacije ML igrali pomembno vlogo pri spodbujanju učinkovitosti v njihovih omrežnih operacijah. Z razširitvijo svojih knjižnic za samodejno razvrščanje z novimi modeli segmentacije lahko AusNet produktivneje uporablja obsežne nabore podatkov, da zagotovi varno in zanesljivo oskrbo z energijo skupnostim po vsej Viktoriji.
Priznanja
Avtorji bi se radi zahvalili Sergiyu Redku, Claire Burrows, Williamu Manahanu, Sahilu Deshpandeju, Rossu Kingu in Damianu Bisignanu iz AusNeta za njihovo sodelovanje pri projektu in prinašanje njihovega domenskega strokovnega znanja o naborih podatkov LiDAR in usposabljanju ML z uporabo različnih algoritmov ML.
Amazon ML Solutions Lab
Amazon ML Solutions Lab poveže svojo ekipo s strokovnjaki za ML, da vam pomagajo prepoznati in izkoristiti priložnosti ML za najvišjo vrednost vaše organizacije. Če želite pomoč pri pospeševanju uporabe ML v svojih izdelkih in procesih, se obrnite na Amazon ML Solutions Lab.
O avtorjih
Daniel Pendlebury je produktni vodja pri AusNet Services, specializiran za zagotavljanje inovativnih, avtomatiziranih izdelkov skladnosti za javna podjetja na področjih upravljanja vegetacije in vzdrževanja sredstev.
Nathanael Weldon je razvijalec geoprostorske programske opreme pri Ausnet Services. Specializiran je za gradnjo in prilagajanje obsežnih sistemov za obdelavo geoprostorskih podatkov, z izkušnjami v sektorjih javnih služb, virov in okolja.
David Motamed je vodja računa pri Amazon Web Services. S sedežem v Melbournu v Avstraliji pomaga podjetniškim strankam uspeti na njihovih poteh digitalne transformacije.
Simon Johnston je vodja AI in je odgovoren za posel Amazon Web Services AI/ML v Avstraliji in Novi Zelandiji, specializiran za strategijo in ekonomijo AI. Več kot 20 let izkušenj z raziskavami, upravljanjem in svetovanjem (ZDA, EU, APAC), ki zajemajo vrsto inovativnih, industrijskih raziskav in komercializacije podvigov umetne inteligence – vključevanje v novoustanovljena podjetja/MSP/velika podjetja in širši ekosistem.
Derrick Choo je arhitekt rešitev pri Amazon Web Services. Ima sedež v Melbournu v Avstraliji in tesno sodeluje s podjetniškimi strankami, da bi pospešil njihovo pot v oblaku. Strastno pomaga strankam ustvariti vrednost z inovacijami in gradnjo razširljivih aplikacij, posebej pa ga zanimata AI in ML.
Muhyun Kim je podatkovni znanstvenik v laboratoriju Amazon Machine Learning Solutions. Različne poslovne probleme stranke rešuje z uporabo strojnega učenja in poglobljenega učenja, pomaga pa jim tudi, da postanejo usposobljeni.
Sujoy Roy je znanstvenik v laboratoriju Amazon Machine Learning Solutions Lab z več kot 20-letnimi akademskimi in industrijskimi izkušnjami pri gradnji in uvajanju rešitev za poslovne probleme, ki temeljijo na strojnem učenju. Uporabil je strojno učenje za reševanje težav strank v panogah, kot so telekomunikacije, mediji in zabava, AdTech, daljinsko zaznavanje, maloprodaja in proizvodnja.
Jiyang Kang je višji arhitekt za poglobljeno učenje pri Amazon ML Solutions Lab, kjer pomaga strankam AWS v več panogah pri uvajanju umetne inteligence in oblaka. Preden se je pridružil Amazon ML Solutions Lab, je delal kot arhitekt rešitev za enega najnaprednejših poslovnih strank AWS in oblikoval različne delovne obremenitve v oblaku v svetovnem merilu na AWS. Pred tem je delal kot razvijalec programske opreme in sistemski arhitekt za podjetja, kot je Samsung Electronics, v panogah, kot so polprevodniki, mreženje in telekomunikacije.
Eden Duthie je vodja ekipe strokovnih storitev za krepitev učenja pri AWS. Eden strastno razvija rešitve za odločanje za stranke. Še posebej ga zanima pomoč industrijskim strankam z močnim poudarkom na optimizaciji dobavne verige.
- '
- 000
- 100
- 3d
- 7
- Račun
- računovodstvo
- aktivna
- Dodatne
- Sprejetje
- Prednost
- AI
- algoritem
- algoritmi
- vsi
- Dovoli
- Amazon
- Strojno učenje Amazon
- Amazon SageMaker
- Amazon Web Services
- med
- analitika
- aplikacije
- Arhitektura
- OBMOČJE
- okoli
- sredstvo
- upravljanje premoženja
- Sredstva
- Avstralija
- Avtorji
- Avtomatizirano
- Avtomatizacija
- razpoložljivost
- AWS
- BEST
- zaračunavanje
- Billion
- izgradnjo
- Building
- poslovni
- podjetja
- kapaciteta
- Kapital
- izziv
- Razvrstitev
- Cloud
- sprejem v oblak
- Koda
- sodelovanje
- Skupno
- skupnosti
- Podjetja
- skladnost
- Izračunajte
- dirigent
- zaupanje
- svetovanje
- Posoda
- Pretvorba
- stroški
- kriza
- Stranke, ki so
- datum
- obdelava podatkov
- podatkovni znanstvenik
- Odločanje
- globoko učenje
- zamuda
- Povpraševanje
- Razvojni
- Razvijalci
- digitalni
- Digitalni Transformation
- vožnjo
- Brezpilotna letala
- Economics
- Gospodarstvo
- ekosistem
- učinkovitosti
- Elektronika
- energija
- Inženirji
- Anglija
- Podjetje
- podjetniške stranke
- Zabava
- okolja
- EU
- dogodki
- Razširi
- širi
- izkušnje
- poskus
- Strokovnjaki
- Lastnosti
- prilagodljivost
- Osredotočite
- obrazec
- format
- Prihodnost
- Globalno
- dobro
- gps
- GPU
- Rast
- strojna oprema
- helikopter
- helikopterji
- visoka
- Kako
- HTTPS
- velika
- Stotine
- identificirati
- Vključno
- industrijske
- industrij
- Industrija
- Podatki
- Infrastruktura
- Inovacije
- inovativne
- obresti
- razišče
- Vprašanja
- IT
- Job
- Delovna mesta
- Ključne
- King
- označevanje
- dela
- velika
- laser
- vodi
- UČITE
- učenje
- lidar
- light
- kraj aktivnosti
- Long
- strojno učenje
- velika
- Večina
- Izdelava
- upravljanje
- proizvodnja
- merjenje
- mediji
- Melbourne
- Meritve
- milijonov
- mladoletniki
- ML
- ML algoritmi
- MLOps
- Mobilni
- Model
- Modularna
- mreža
- mreženje
- Nova Zelandija
- odprite
- operacije
- Priložnosti
- drugi
- Na prostem
- performance
- pilot
- Letala
- moč
- Izdelek
- proizvodnja
- Izdelki
- Projekt
- nepremičnine
- območje
- zmanjša
- okrepljeno učenje
- odvisnost
- poročilo
- Zahteve
- Raziskave
- viri
- Trgovina na drobno
- vrne
- Tveganje
- Roll
- Run
- tek
- varna
- Varnost
- sagemaker
- Samsung
- shranjevanje
- Prilagodljivost
- Lestvica
- Znanstveniki
- Sektorji
- Polprevodniki
- Storitve
- nastavite
- Enostavno
- Velikosti
- Mala in srednja podjetja
- So
- socialna
- Software
- rešitve
- SOLVE
- specializirano
- začel
- zagon
- shranjevanje
- Strategija
- uspeh
- dobavi
- dobavne verige
- podpora
- nadzor
- Anketa
- sistem
- sistemi
- tehnike
- Tehnologija
- Telco
- telekomunikacije
- svet
- čas
- usposabljanje
- Preoblikovanje
- potovanja
- trillions
- us
- javne gospodarske službe
- vrednost
- Vozila
- Ventures
- web
- spletne storitve
- Krilo
- v
- delo
- varnosti delavcev
- potek dela
- deluje
- svet
- X
- leto
- let