Øst-Australia er blant de mest brannutsatte regionene i verden. Selv om skogbranner er en vanlig forekomst i Australia, satte skogbrannkrisen 2019–2020 i brann over 17 millioner hektar land (større enn størrelsen på England), og kostet den australske økonomien mer enn 100 milliarder dollar mellom eiendom, infrastruktur, sosiale og miljømessige kostnader .
Med stadig mer ekstreme værhendelser, forsvinner ikke risikoen for skogbrann i Australia med det første. Dette betyr at ansvaret på Australias energinettoperatører for å opprettholde en trygg og pålitelig forsyning aldri har vært større.
Det australske energinettverket inkluderer over 880,000 22 kilometer med distribusjons- og overføringslinjer (omtrent 7 turer rundt jordens omkrets) og XNUMX millioner kraftstolper. Ekstreme klimaforhold og vegetasjonsvekst nær kraftledninger må håndteres nøye for å redusere risikoen for skogbrann.
I dette innlegget diskuterer vi hvordan AusNet bruker maskinlæring (ML) og Amazon SageMaker å bidra til å dempe skogbranner.
AusNet-innovasjon med LiDAR
AusNet forvalter 54,000 1.5 kilometer med kraftledninger og bringer energi til mer enn 62 millioner viktorianske hjem og bedrifter. XNUMX % av dette nettverket er lokalisert i områder med høy risiko for buskbrann. AusNet har utviklet en innovativ løsning for å trygt vedlikeholde energinettet sitt og minimere risikoen for at vegetasjon forårsaker skade på nettet.
Siden 2009 har AusNet fanget opp LiDAR-data av høy kvalitet på tvers av nettverket ved hjelp av både luft- og veibaserte kartsystemer. LiDAR er en fjernmålingsmetode som bruker lys i form av en pulserende laser for å måle avstander og retninger. Et detektert punkt for et objekt har 3D-koordinatinformasjon (x, y, z) i tillegg til tilleggsattributter som tetthet, antall returer, returnummer, GPS-tidsstempel og så videre. Disse punktene er representert som en 3D-punktsky, som er en samling av all punktinformasjon. Ved prosessering blir LiDAR omgjort til en 3D-modell av AusNets nettverksressurser, som identifiserer vegetasjonsveksten som må trimmes for sikkerhet ved buskbrann.
Den forrige prosessen for LiDAR-klassifisering brukte forretningsregeldrevet slutning, med stor avhengighet av nøyaktige geografiske informasjonssystem (GIS)-aktivaplasseringer for å drive automatisering. Manuell arbeidsinnsats ved å bruke spesialbygde merkeverktøy var nødvendig for å merke LiDAR-punkter der aktivaplasseringene var unøyaktige eller rett og slett ikke eksisterte. Den manuelle korrigeringen og klassifiseringen av LiDAR-poeng økte behandlingstidene og gjorde det vanskelig å skalere.
AusNet og Amazon Machine Learning
AusNets Geospatial-team samarbeidet med Amazon ML-spesialistene, inkludert Amazon Machine Learning Solutions Lab og Professional Services, for å undersøke hvordan ML kunne automatisere LiDAR-punktklassifisering og akselerere den tunge prosessen med å manuelt korrigere unøyaktige GIS-posisjonsdata.
Den årlige kostnaden for nøyaktig klassifisering av billioner av fangede LiDAR-punkter som representerer de forskjellige nettverkskonfigurasjonene rundt Australia oversteg $700,000 XNUMX per år og hindret AusNets evne til å utvide dette til større områder av nettverket.
AusNet og AWS gikk sammen for å bruke Amazon SageMaker å eksperimentere med og bygge dyplæringsmodeller for å automatisere den punktvise klassifiseringen av denne store samlingen av LiDAR-data. Amazon SageMaker er en fullstendig administrert tjeneste som hjelper dataforskere og utviklere med å forberede, bygge, trene og distribuere høykvalitets maskinlæringsmodeller raskt. AusNet- og AWS-teamet har bygd en semantisk segmenteringsmodell som nøyaktig klassifiserte 3D-punktskydata i følgende kategorier: leder, bygning, stolpe, vegetasjon og andre.
Utfall for AusNet og skogbrannbekjempelse
Samarbeidet mellom AWS og AusNet var en stor suksess, og ga følgende resultater for både virksomheten og risikoreduksjonen:
- Økt arbeidssikkerhet ved å bruke LiDAR-data og redusere behovet for ingeniører, landmålere og designere til å reise til anleggene
- Resulterte i 80.53 % nøyaktighet på tvers av alle fem segmenteringskategoriene, og sparte AusNet for anslagsvis 500,000 XNUMX AUD per år gjennom automatisert klassifisering
- Gir 91.66 % og 92 % nøyaktighet ved detektering av henholdsvis ledere og vegetasjon, og forbedret automatisk klassifisering av de to viktigste segmentklassene
- Gir fleksibiliteten til å bruke LiDAR-data hentet fra droner, helikoptre, fly og bakkebaserte kjøretøy, mens den tar hensyn til hver datakildes unike variasjon
- Gjør det mulig for virksomheten å innovere raskere og skalere analyser på tvers av hele nettverket ved å redusere avhengigheten av GIS-referansedata og manuelle korreksjonsprosesser
- Gir muligheten til å skalere analyser over hele energinettverket med økt ML-automatisering og redusert avhengighet av manuelle GIS-korreksjonsprosesser
Tabellen nedenfor viser ytelsen til den semantiske segmenteringsmodellen på usynlige data (målt ved hjelp av "presisjon" og "gjenkalling"-beregninger, hvor høyere er bedre), på tvers av de fem kategoriene.
ML-modell klassifiserte poeng fra en helikopterfangst:
Løsningsoversikt
ML Solutions Lab-teamet hentet inn et team av svært erfarne ML-forskere og arkitekter for å hjelpe til med å drive innovasjon og eksperimentering. Med banebrytende ML-erfaring på tvers av bransjer, samarbeidet teamet med AusNets Geospatial-team for å løse noen av de mest utfordrende teknologiproblemene for virksomheten. Basert på de dype ML-funksjonene til SageMaker, klarte AusNet og AWS å fullføre piloten på bare 8 uker.
Bredden og dybden til SageMaker spilte en nøkkelrolle i å la utviklerne og dataforskerne fra både AusNet og AWS samarbeide om prosjektet. Teamet brukte kode- og notebook-delingsfunksjoner og lett tilgjengelige on-demand ML-databehandlingsressurser for opplæring. Elastisiteten til SageMaker gjorde det mulig for teamet å iterere raskt. Teamet var også i stand til å dra nytte av tilgjengeligheten til forskjellige maskinvarekonfigurasjoner for å eksperimentere med AWS uten å måtte investere i forhåndskapital for å anskaffe lokal maskinvare. Dette gjorde at AusNet enkelt kunne velge ML-ressursene i riktig størrelse og skalere eksperimentene deres etter behov. Fleksibiliteten og tilgjengeligheten på GPU-ressurser er avgjørende, spesielt når ML-oppgaven krever banebrytende eksperimenter.
Vi brukte SageMaker notatbokforekomster for å utforske dataene og utvikle forbehandlingskode, og brukte SageMaker-behandlings- og opplæringsjobber for store arbeidsmengder. Teamet brukte også hyperparameteroptimalisering (HPO) for raskt å iterere på flere treningsjobber med ulike konfigurasjoner og datasettversjoner for å finjustere hyperparametrene og finne den modellen som gir best ytelse. For eksempel har vi laget forskjellige versjoner av datasett ved å bruke nedsampling og utvidelsesmetoder for å overvinne problemer med dataubalanse. Ved å kjøre flere opplæringsjobber med forskjellige datasett parallelt kan du raskt finne riktig datasett. Med store og ubalanserte punktskydatasett ga SageMaker muligheten til å iterere raskt ved å bruke mange konfigurasjoner av eksperimenter og datatransformasjoner.
ML-ingeniører kunne utføre innledende utforskninger av data og algoritmer ved å bruke rimelige bærbare forekomster, og deretter laste tunge dataoperasjoner til de kraftigere behandlingsforekomstene. Fakturering per sekund og automatisk livssyklusadministrasjon sørger for at de dyrere treningsforekomstene startes og stoppes automatisk og bare forblir aktive så lenge det er nødvendig, noe som øker utnyttelseseffektiviteten.
Teamet var i stand til å trene en modell med en hastighet på 10.8 minutter per epoke på 17.2 GiB med ukomprimerte data på tvers av 1,571 filer, totalt ca. 616 millioner poeng. For å slutte, var teamet i stand til å behandle 33.6 GiB med ukomprimert data på tvers av 15 filer på totalt 1.2 milliarder poeng på 22.1 timer. Dette betyr å trekke ut et gjennomsnitt på 15,760 XNUMX poeng per sekund inkludert amortisert oppstartstid.
Løse det semantiske segmenteringsproblemet
ML-modell klassifiserte punkter fra en fast vingefangst:
ML-modell klassifiserte poeng fra en mobil fangst:
Problemet med å tilordne hvert punkt i en punktsky til en kategori fra et sett med kategorier kalles en semantisk segmentering problem. AusNets 3D-punktskyer fra LiDAR-datasett består av millioner av punkter. Nøyaktig og effektiv merking av hvert punkt i en 3D-punktsky innebærer å takle to utfordringer:
- Ubalanserte data – Klasseubalanse er et vanlig problem i virkelige punktskyer. Som sett i de foregående klippene, består flertallet av punktene av vegetasjon, med betydelig færre punkter sammensatt av kraftlinjer eller ledere som utgjør mindre enn 1 % av de totale punktene. Modeller som er trent ved å bruke det ubalanserte datasettet, er lett partisk mot de store klassene, og fungerer dårlig på de mindreårige. Denne klasseubalansen er et vanlig problem i LiDAR punktskydata for utendørsmiljøer. For denne oppgaven er det avgjørende å ha god ytelse i klassifiseringen av dirigentpoeng. Det er den største utfordringen å trene opp en modell som fungerer godt på både dur- og biklassen.
- Punktsky i stor skala – Mengden punktskydata fra LiDAR-sensoren kan dekke et stort åpent område. I AusNets tilfelle kan antall poeng per punktsky variere fra hundretusener til titalls millioner, med hver punktskyfil som varierer fra hundrevis av megabyte opp til gigabyte. De fleste av ML-algoritmene for punktskysegmentering krever sampling fordi operatørene ikke kan ta alle punktene som input. Dessverre er mange av prøvetakingsmetodene beregningstunge, noe som gjør både trening og inferens sakte. I dette arbeidet må vi velge den mest effektive ML-algoritmen som fungerer på storskala punktskyer.
AWS- og AusNet-teamene oppfant en ny nedsamplingsstrategi via klyngepunkter for å løse problemet med sterkt ubalanserte klasser. Denne nedsamplingsstrategien sammen med eksisterende reduksjoner, for eksempel klassevekting, bidro til å løse utfordringene med å trene en nøyaktig modell med et ubalansert datasett og forbedret også slutningsytelsen. Vi eksperimenterte også med en oppsamplingsstrategi ved å duplisere de mindre klassene og plassere dem på forskjellige steder. Denne prosessen ble bygget som en SageMaker Processing-jobb slik at den kunne brukes på det nyervervede datasettet for videre modelltrening innenfor en MLOps-pipeline.
Teamene undersøkte ulike segmenteringsmodeller for punktskyer med tanke på nøyaktighet, skalerbarhet i forhold til antall poeng og effektivitet. Gjennom flere eksperimenter valgte vi en toppmoderne ML-algoritme for semantisk punktskysegmentering, som oppfylte kravene. Vi tok også i bruk utvidelsesmetoder slik at modellen kunne lære av ulike datasett.
Produksjonsarkitektur
For å rulle ut segmenteringsløsningen for punktsky, designet teamet en ML-pipeline ved å bruke SageMaker for opplæring og slutninger. Følgende diagram illustrerer den overordnede produksjonsarkitekturen.
Opplæringspipelinen har en tilpasset prosesseringsbeholder i SageMaker Processing for å utføre punktskyformatkonvertering, kategoriremapping, oppsampling, nedsampling og splitting av datasettet. Opplæringsjobben utnytter multi-GPU-forekomstene i SageMaker med høyere minnekapasitet for å støtte opplæring av modellen med en større batchstørrelse.
AusNets LiDAR-klassifiseringsarbeidsflyt begynner med inntak av opptil terabyte med punktskydata fra land- og luftovervåkingskjøretøyer i Amazon enkel lagringstjeneste (Amazon S3). Dataene blir deretter behandlet og sendt inn i en inferensrørledning for punktskyklassifisering. For å støtte dette, brukes en SageMaker Transform for å kjøre batch-inferens på tvers av datasettet, med utdata som klassifiserte punktskyfiler med konfidensscore. Utdataene blir deretter behandlet av AusNets klassifiseringsmotor, som analyserer konfidenspoengsummen og genererer en kapitalforvaltningsrapport.
Et av nøkkelaspektene ved arkitekturen er at den gir AusNet en skalerbar og modulær tilnærming for å eksperimentere med nye datasett, databehandlingsteknikker og modeller. Med denne tilnærmingen kan AusNet tilpasse sin løsning til skiftende miljøforhold og ta i bruk fremtidige punktskysegmenteringsalgoritmer.
Konklusjon og neste steg med AusNet
I dette innlegget diskuterte vi hvordan AusNets Geospatial-team samarbeidet med Amazon ML-forskere for å automatisere LiDAR-punktklassifisering ved å fullstendig fjerne avhengigheten av GIS-plasseringsdataene fra klassifiseringsoppgaven. Derfor fjernes forsinkelsen som oppsto ved manuell GIS-korreksjon for å gjøre klassifiseringsoppgaven raskere og skalerbar.
«Å raskt og nøyaktig merke våre flyundersøkelsesdata er en kritisk del av å minimere risikoen for skogbranner. Ved å samarbeide med Amazon Machine Learning Solutions Lab var vi i stand til å lage en modell som oppnådde 80.53 % gjennomsnittlig nøyaktighet i datamerking. Vi forventer å kunne redusere innsatsen for manuell merking med opptil 80 % med den nye løsningen, sier Daniel Pendlebury, produktsjef i AusNet.
AusNet ser for seg ML-klassifiseringsmodeller som spiller en betydelig rolle i å drive effektivitet på tvers av nettverksoperasjonene deres. Ved å utvide sine automatiske klassifiseringsbiblioteker med nye segmenteringsmodeller, kan AusNet bruke enorme datasett mer produktivt for å sikre sikker og pålitelig energiforsyning til lokalsamfunn i hele Victoria.
Erkjennelsene
Forfatterne vil gjerne takke Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King og Damian Bisignano fra AusNet for deres engasjement i prosjektet og for å bringe deres domeneekspertise på LiDAR-datasett og ML-trening ved bruk av forskjellige ML-algoritmer.
Amazon ML Solutions Lab
Amazon ML Solutions Lab parer teamet ditt med ML-eksperter for å hjelpe deg med å identifisere og implementere organisasjonens mest verdifulle ML-muligheter. Hvis du vil ha hjelp med å fremskynde bruken av ML i produktene og prosessene dine, vennligst kontakt Amazon ML Solutions Lab.
Om forfatterne
Daniel Pendlebury er en produktsjef hos AusNet Services som spesialiserer seg på levering av innovative, automatiserte samsvarsprodukter til verktøy i områdene for vegetasjonsstyring og vedlikehold av eiendom.
Nathanael Weldon er en geospatial programvareutvikler hos Ausnet Services. Han spesialiserer seg på å bygge og justere storskala geospatiale databehandlingssystemer, med erfaring på tvers av verktøy, ressurser og miljøsektorer.
David Motamed er Account Manager hos Amazon Web Services. Basert i Melbourne, Australia, hjelper han bedriftskunder med å lykkes på deres digitale transformasjonsreiser.
Simon Johnston er en AI-leder og er ansvarlig for Amazon Web Services AI/ML-virksomhet på tvers av Australia og New Zealand, og spesialiserer seg på AI-strategi og økonomi. 20+ års forskning, ledelse og konsulenterfaring (USA, EU, APAC) som dekker en rekke innovative, industriledede forskning og kommersialisering AI-satsinger – engasjert på tvers av oppstartsbedrifter/SMB/store korps, og det bredere økosystemet.
Derrick Choo er løsningsarkitekt hos Amazon Web Services. Han er basert i Melbourne, Australia og jobber tett med bedriftskunder for å akselerere deres reise i skyen. Han er lidenskapelig opptatt av å hjelpe kunder med å skape verdier gjennom innovasjon og bygge skalerbare applikasjoner og har en spesiell interesse for AI og ML.
Muhyun Kim er dataforsker ved Amazon Machine Learning Solutions Lab. Han løser kundens ulike forretningsproblemer ved å bruke maskinlæring og dyp læring, og hjelper dem også med å bli dyktige.
Sujoy Roy er en forsker ved Amazon Machine Learning Solutions Lab med 20+ års akademisk og bransjeerfaring med å bygge og distribuere ML-baserte løsninger for forretningsproblemer. Han har brukt maskinlæring for å løse kundeproblemer i bransjer som telekom, media og underholdning, AdTech, fjernmåling, detaljhandel og produksjon.
Jiyang Kang er senior Deep Learning Architect ved Amazon ML Solutions Lab, hvor han hjelper AWS-kunder på tvers av flere bransjer med AI og skyadopsjon. Før han begynte i Amazon ML Solutions Lab, jobbet han som Solutions Architect for en av AWS’ mest avanserte bedriftskunder, og utformet ulike skyarbeidsmengder i global skala på AWS. Han har tidligere jobbet som programvareutvikler og systemarkitekt for selskaper som Samsung Electronics i bransjer som halvledere, nettverk og telekommunikasjon.
Eden Duthie er leder for Reinforcement Learning Professional Services-teamet ved AWS. Eden er lidenskapelig opptatt av å utvikle beslutningsløsninger for kunder. Han er spesielt interessert i å hjelpe industrikunder med stort fokus på forsyningskjedeoptimalisering.
- '
- 000
- 100
- 3d
- 7
- Logg inn
- regnskap
- aktiv
- Ytterligere
- Adopsjon
- Fordel
- AI
- algoritme
- algoritmer
- Alle
- tillate
- Amazon
- Amazon maskinlæring
- Amazon SageMaker
- Amazon Web Services
- blant
- analytics
- søknader
- arkitektur
- AREA
- rundt
- eiendel
- Kapitalforvaltning
- Eiendeler
- Australia
- forfattere
- Automatisert
- Automatisering
- tilgjengelighet
- AWS
- BEST
- fakturering
- Milliarder
- bygge
- Bygning
- virksomhet
- bedrifter
- Kapasitet
- hovedstad
- utfordre
- klassifisering
- Cloud
- skyadopsjon
- kode
- samarbeid
- Felles
- Communities
- Selskaper
- samsvar
- Beregn
- dirigent
- selvtillit
- konsulent
- Container
- Konvertering
- Kostnader
- krise
- Kunder
- dato
- databehandling
- dataforsker
- Beslutningstaking
- dyp læring
- forsinkelse
- Etterspørsel
- Utvikler
- utviklere
- digitalt
- Digital Transformation
- kjøring
- Droner
- Økonomi
- økonomi
- økosystem
- effektivitet
- Elektronikk
- energi
- Ingeniører
- England
- Enterprise
- bedriftskunder
- Entertainment
- miljømessige
- EU
- hendelser
- Expand
- ekspanderende
- erfaring
- eksperiment
- eksperter
- Egenskaper
- fleksibilitet
- Fokus
- skjema
- format
- framtid
- Global
- god
- gps
- GPU
- Vekst
- maskinvare
- helikopter
- helikoptre
- Høy
- Hvordan
- HTTPS
- stort
- Hundrevis
- identifisere
- Inkludert
- industriell
- bransjer
- industri
- informasjon
- Infrastruktur
- Innovasjon
- innovative
- interesse
- undersøke
- saker
- IT
- Jobb
- Jobb
- nøkkel
- konge
- merking
- arbeidskraft
- stor
- laser
- føre
- LÆRE
- læring
- håndtere
- lett
- plassering
- Lang
- maskinlæring
- større
- Flertall
- Making
- ledelse
- produksjon
- måle
- Media
- Melbourne
- Metrics
- millioner
- mindreårige
- ML
- ML-algoritmer
- MLOps
- Mobil
- modell
- modulære
- nettverk
- nettverk
- New Zealand
- åpen
- Drift
- Muligheter
- andre
- utendørs
- ytelse
- pilot
- Planes
- makt
- Produkt
- Produksjon
- Produkter
- prosjekt
- eiendom
- område
- redusere
- forsterkning læring
- avhengighet
- rapporterer
- Krav
- forskning
- Ressurser
- detaljhandel
- avkastning
- Risiko
- Rull
- Kjør
- rennende
- trygge
- Sikkerhet
- sagemaker
- Samsung
- besparende
- skalerbarhet
- Skala
- forskere
- sektorer
- Halvledere
- Tjenester
- sett
- Enkelt
- Størrelse
- SMB
- So
- selskap
- Software
- Solutions
- LØSE
- spesialisert
- startet
- oppstart
- lagring
- Strategi
- suksess
- levere
- forsyningskjeden
- støtte
- overvåking
- Undersøkelsen
- system
- Systemer
- teknikker
- Teknologi
- Telco
- telekommunikasjon
- verden
- tid
- Kurs
- Transformation
- reiser
- billioner
- us
- verktøy
- verdi
- Kjøretøy
- ventures
- web
- webtjenester
- Vinge
- innenfor
- Arbeid
- arbeider sikkerhet
- arbeidsflyt
- virker
- verden
- X
- år
- år