Det østlige Australien er blandt de mest brandudsatte regioner i verden. Selvom bushbrande er en regelmæssig begivenhed i Australien, satte bushbrandkrisen 2019-2020 i brand over 17 millioner hektar jord (større end Englands størrelse), hvilket kostede den australske økonomi mere end 100 milliarder dollars mellem ejendoms-, infrastruktur-, sociale og miljømæssige omkostninger .
Med stadig mere ekstreme vejrbegivenheder forsvinder risikoen for skovbrande i Australien ikke foreløbig. Det betyder, at ansvaret på Australiens energinetoperatører for at opretholde en sikker og pålidelig forsyning aldrig har været større.
Det australske energinetværk omfatter over 880,000 kilometer distributions- og transmissionsledninger (ca. 22 ture rundt om jordens omkreds) og 7 millioner strømpæle. Ekstreme klimaforhold og vegetationsvækst tæt på elledninger skal håndteres omhyggeligt for at mindske risikoen for bushbrande.
I dette indlæg diskuterer vi, hvordan AusNet bruger maskinlæring (ML) og Amazon SageMaker at hjælpe med at afbøde skovbrande.
AusNet innovation med LiDAR
AusNet administrerer 54,000 kilometer elledninger og bringer energi til mere end 1.5 millioner victorianske hjem og virksomheder. 62 % af dette netværk er placeret i områder med høj risiko for bushbrande. AusNet har udviklet en innovativ løsning til sikkert at vedligeholde sit energinetværk og minimere risikoen for, at vegetation forårsager skade på netværket.
Siden 2009 har AusNet fanget LiDAR-data af høj kvalitet på tværs af netværket ved hjælp af både luft- og vejbaserede kortsystemer. LiDAR er en fjernmålingsmetode, der bruger lys i form af en pulserende laser til at måle afstande og retninger. Et registreret punkt på et objekt har 3D-koordinatoplysninger (x, y, z) samt yderligere attributter såsom tæthed, antal returer, returnummer, GPS-tidsstempel og så videre. Disse punkter er repræsenteret som en 3D-punktsky, som er en samling af al punktinformationen. Efter bearbejdning omdannes LiDAR til en 3D-model af AusNets netværksaktiver, der identificerer den vegetationsvækst, der skal trimmes for at sikre bushbrand.
Den tidligere proces til LiDAR-klassificering brugte forretningsregel-drevet inferens med stor afhængighed af nøjagtige placeringer af Geographic Information System-aktiver (GIS) til at drive automatisering. Manuel arbejdsindsats ved hjælp af specialbyggede etiketværktøjer var påkrævet for at mærke LiDAR-punkter korrekt, hvor aktivplaceringer var unøjagtige eller simpelthen ikke eksisterede. Den manuelle korrektion og klassificering af LiDAR-punkter øgede behandlingstiden og gjorde det vanskeligt at skalere.
AusNet og Amazon Machine Learning
AusNets Geospatial-team samarbejdede med Amazon ML-specialisterne, herunder Amazon Machine Learning Solutions Lab og Professional Services, for at undersøge, hvordan ML kunne automatisere LiDAR-punktklassificering og fremskynde den besværlige proces med manuelt at korrigere unøjagtige GIS-placeringsdata.
De årlige omkostninger ved nøjagtigt at klassificere billioner af opfangede LiDAR-punkter, der repræsenterer de forskellige netværkskonfigurationer rundt om i Australien, oversteg $700,000 om året og hæmmede AusNets evne til at udvide dette til større områder af netværket.
AusNet og AWS gik sammen om at bruge Amazon SageMaker at eksperimentere med og bygge dyb læringsmodeller for at automatisere den punktvise klassificering af denne store samling af LiDAR-data. Amazon SageMaker er en fuldt administreret tjeneste, der hjælper datavidenskabsfolk og udviklere med at forberede, bygge, træne og implementere maskinlæringsmodeller af høj kvalitet hurtigt. AusNet- og AWS-teamet byggede med succes en semantisk segmenteringsmodel, der præcist klassificerede 3D-punktskydata i følgende kategorier: leder, bygning, pæl, vegetation og andre.
Resultater for AusNet og begrænsning af bushbrande
Samarbejdet mellem AWS og AusNet var en stor succes, og det resulterede i følgende resultater for både forretnings- og risikoreduktion af skovbrande:
- Øget arbejdssikkerhed ved at bruge LiDAR-data og reducere behovet for ingeniører, landinspektører og designere til at rejse til websteder
- Resulterede i 80.53 % nøjagtighed på tværs af alle fem segmenteringskategorier, hvilket sparer AusNet for en estimeret AUD $500,000 om året gennem automatiseret klassificering
- Giver 91.66 % og 92 % nøjagtighed i detektering af henholdsvis ledere og vegetation, hvilket forbedrer automatisk klassificering af de to vigtigste segmentklasser
- Giver fleksibiliteten til at bruge LiDAR-data opnået fra droner, helikoptere, fly og jordbaserede køretøjer, mens der tages højde for hver datakildes unikke variabilitet
- Gør det muligt for virksomheden at innovere hurtigere og skalere analyser på tværs af hele deres netværk ved at reducere afhængigheden af GIS-referencedata og manuelle korrektionsprocesser
- Giver mulighed for at skalere analyser på tværs af hele deres energinetværk med øget ML-automatisering og reduceret afhængighed af manuelle GIS-korrektionsprocesser
Følgende tabel viser ydeevnen af den semantiske segmenteringsmodel på usete data (målt ved hjælp af "præcision" og "genkaldelse"-metrikker, hvor højere er bedre), på tværs af de fem kategorier.
ML model klassificerede punkter fra en helikopterfangst:
Løsningsoversigt
ML Solutions Lab-teamet hentede et team af meget erfarne ML-forskere og arkitekter til at hjælpe med at drive innovation og eksperimenter. Med banebrydende ML-erfaring på tværs af brancher samarbejdede teamet med AusNets Geospatial-team for at løse nogle af de mest udfordrende teknologiske problemer for virksomheden. Baseret på de dybe ML-kapaciteter i SageMaker, var AusNet og AWS i stand til at gennemføre piloten på kun 8 uger.
Bredden og dybden af SageMaker spillede en nøglerolle i at give udviklerne og dataforskerne fra både AusNet og AWS mulighed for at samarbejde om projektet. Teamet brugte kode- og notebook-delingsfunktioner og let tilgængelige on-demand ML-beregningsressourcer til træning. SageMakers elasticitet gjorde det muligt for teamet at iterere hurtigt. Holdet var også i stand til at drage fordel af tilgængeligheden af forskellige hardwarekonfigurationer til at eksperimentere med AWS uden at skulle investere i forhåndskapital for at anskaffe hardware på stedet. Dette gjorde det muligt for AusNet nemt at vælge de rigtige ML-ressourcer og skalere deres eksperimenter efter behov. Fleksibiliteten og tilgængeligheden på GPU-ressourcer er afgørende, især når ML-opgaven kræver banebrydende eksperimenter.
Vi brugte SageMaker notebook-instanser til at udforske dataene og udvikle forbehandlingskode og brugte SageMaker-behandlings- og træningsjob til store arbejdsbelastninger. Holdet brugte også hyperparameteroptimering (HPO) til hurtigt at iterere på flere træningsjob med forskellige konfigurationer og datasætversioner for at finjustere hyperparametrene og finde den bedst ydende model. For eksempel skabte vi forskellige versioner af datasæt ved hjælp af downsampling- og augmentationsmetoder for at overvinde problemer med dataubalance. At køre flere træningsjob med forskellige datasæt parallelt giver dig mulighed for hurtigt at finde det rigtige datasæt. Med store og ubalancerede punktsky-datasæt gav SageMaker muligheden for at iterere hurtigt ved hjælp af mange konfigurationer af eksperimenter og datatransformationer.
ML-ingeniører kunne udføre indledende udforskninger af data og algoritmer ved hjælp af billige notebook-instanser og derefter overføre tunge dataoperationer til de mere kraftfulde behandlingsinstanser. Fakturering pr. sekund og automatisk livscyklusstyring sørger for, at de dyrere træningsinstanser startes og stoppes automatisk og kun forbliver aktive så længe det er nødvendigt, hvilket øger udnyttelseseffektiviteten.
Holdet var i stand til at træne en model med en hastighed på 10.8 minutter pr. epoke på 17.2 GiB ukomprimerede data på tværs af 1,571 filer på i alt cirka 616 millioner point. For at udlede, var holdet i stand til at behandle 33.6 GiB ukomprimerede data på tværs af 15 filer på i alt 1.2 milliarder point på 22.1 timer. Dette svarer til at udlede et gennemsnit på 15,760 point pr. sekund inklusive amortiseret opstartstid.
Løsning af det semantiske segmenteringsproblem
ML model klassificerede punkter fra en fast vingefangst:
ML model klassificerede punkter fra en mobil capture:
Problemet med at tildele hvert punkt i en punktsky til en kategori fra et sæt kategorier kaldes en semantisk segmentering problem. AusNets 3D-punktskyer fra LiDAR-datasæt består af millioner af point. Nøjagtig og effektiv mærkning af hvert punkt i en 3D-punktsky involverer at tackle to udfordringer:
- Ubalancerede data – Klasseubalance er et almindeligt problem i punktskyer i den virkelige verden. Som det ses i de foregående klip, består hovedparten af punkterne af vegetation, med væsentligt færre punkter sammensat af elledninger eller ledere, der udgør mindre end 1 % af de samlede point. Modeller, der trænes ved hjælp af det ubalancerede datasæt, er let skæve til de store klasser og fungerer dårligt på de mindreårige. Denne klasseubalance er et almindeligt problem i LiDAR punktskydata til udendørs miljøer. Til denne opgave er det afgørende at have god præstation i klassificeringen af dirigentpunkter. At træne en model, der fungerer godt på både større og mindre klasse, er den største udfordring.
- Punktsky i stor skala – Mængden af punktskydata fra LiDAR-sensoren kan dække et stort åbent område. I AusNets tilfælde kan antallet af point pr. punktsky variere fra hundredtusindvis til titusinder af millioner, hvor hver punktskyfil varierer fra hundredvis af megabyte op til gigabyte. De fleste af punktsky-segmenterings-ML-algoritmerne kræver sampling, fordi operatørerne ikke kan tage alle punkterne som deres input. Desværre er mange af prøvetagningsmetoderne beregningsmæssigt tunge, hvilket gør både træning og inferens langsomme. I dette arbejde skal vi vælge den mest effektive ML-algoritme, der virker på storskala punktskyer.
AWS- og AusNet-holdene opfandt en ny downsampling-strategi via klyngepunkter for at løse det meget ubalancerede klasserproblem. Denne downsampling-strategi sammen med eksisterende begrænsninger, såsom klassevægtning, hjalp med at løse udfordringerne med at træne en nøjagtig model med et ubalanceret datasæt og forbedrede også inferensydelsen. Vi eksperimenterede også med en upsampling-strategi ved at duplikere de mindre klasser og placere dem forskellige steder. Denne proces blev bygget som et SageMaker Processing-job, så den kunne anvendes på det nyligt erhvervede datasæt til yderligere modeltræning inden for en MLOps-pipeline.
Holdene undersøgte forskellige punktsky-segmenteringsmodeller under hensyntagen til nøjagtighed, skalerbarhed i forhold til antallet af point og effektivitet. Gennem flere eksperimenter valgte vi en avanceret ML-algoritme til en punktsky semantisk segmentering, som opfyldte kravene. Vi brugte også augmentationsmetoder, så modellen kunne lære af forskellige datasæt.
Produktionsarkitektur
For at udrulle punktskysegmenteringsløsningen designede teamet en ML-pipeline ved hjælp af SageMaker til træning og inferens. Følgende diagram illustrerer den overordnede produktionsarkitektur.
Træningspipelinen har en tilpasset behandlingscontainer i SageMaker Processing til at udføre punktskyformatkonvertering, kategoriomlægning, upsampling, downsampling og opdeling af datasættet. Træningsjobbet udnytter multi-GPU-instanserne i SageMaker med højere hukommelseskapacitet til at understøtte træning af modellen med en større batchstørrelse.
AusNets LiDAR-klassificeringsworkflow begynder med indtagelse af op til terabyte punktskydata fra land- og luftovervågningskøretøjer i Amazon Simple Storage Service (Amazon S3). Dataene behandles derefter og sendes til en inferenspipeline til punktskyklassificering. For at understøtte dette bruges en SageMaker Transform til at køre batch-inferens på tværs af datasættet, hvor outputtet er klassificerede punktskyfiler med konfidensscore. Outputtet behandles derefter af AusNets klassifikationsmotor, som analyserer konfidensresultatet og genererer en rapport om aktiver.
Et af de vigtigste aspekter af arkitekturen er, at den giver AusNet en skalerbar og modulær tilgang til at eksperimentere med nye datasæt, databehandlingsteknikker og modeller. Med denne tilgang kan AusNet tilpasse deres løsning til skiftende miljøforhold og vedtage fremtidige punktsky-segmenteringsalgoritmer.
Konklusion og næste trin med AusNet
I dette indlæg diskuterede vi, hvordan AusNets Geospatial-team samarbejdede med Amazon ML-forskere for at automatisere LiDAR-punktklassificering ved fuldstændig at fjerne afhængighed af GIS-placeringsdata fra klassificeringsopgaven. Derfor fjernes forsinkelsen, der opstod ved manuel GIS-korrektion, for at gøre klassificeringsopgaven hurtigere og skalerbar.
"At være i stand til hurtigt og præcist at mærke vores luftundersøgelsesdata er en kritisk del af at minimere risikoen for skovbrande. I samarbejde med Amazon Machine Learning Solutions Lab var vi i stand til at skabe en model, der opnåede 80.53 % gennemsnitlig nøjagtighed i datamærkning. Vi forventer at kunne reducere vores manuelle mærkningsindsats med op til 80 % med den nye løsning,” siger Daniel Pendlebury, produktchef hos AusNet.
AusNet forestiller sig, at ML-klassificeringsmodeller spiller en væsentlig rolle i at skabe effektivitet på tværs af deres netværksdrift. Ved at udvide deres automatiske klassifikationsbiblioteker med nye segmenteringsmodeller kan AusNet bruge store datasæt mere produktivt for at sikre sikker, pålidelig forsyning af energi til samfund i hele Victoria.
Tak
Forfatterne vil gerne takke Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King og Damian Bisignano fra AusNet for deres involvering i projektet og for at bringe deres domæneekspertise på LiDAR-datasæt og ML-træning ved hjælp af forskellige ML-algoritmer.
Amazon ML Solutions Lab
Amazon ML Solutions Lab parrer dit team med ML-eksperter for at hjælpe dig med at identificere og implementere din organisations mest værdifulde ML-muligheder. Hvis du gerne vil have hjælp til at fremskynde din brug af ML i dine produkter og processer, så kontakt venligst Amazon ML Solutions Lab.
Om forfatterne
Daniel Pendlebury er produktchef hos AusNet Services med speciale i levering af innovative, automatiserede overholdelsesprodukter til forsyningsselskaber i områderne Vegetation Management og Asset Maintenance.
Nathanael Weldon er en geospatial softwareudvikler hos Ausnet Services. Han har specialiseret sig i at bygge og tune store geospatiale databehandlingssystemer med erfaring på tværs af forsyningsselskaber, ressourcer og miljøsektorer.
David Motamed er Account Manager hos Amazon Web Services. Med base i Melbourne, Australien, hjælper han virksomhedskunder med at få succes på deres digitale transformationsrejser.
Simon Johnston er en AI-leder og er ansvarlig for Amazon Web Services AI/ML-forretningen på tværs af Australien og New Zealand, med speciale i AI-strategi og økonomi. Mere end 20 års forskning, ledelse og konsulenterfaring (USA, EU, APAC), der dækker en række innovative, industriledede forsknings- og kommercialiserings-AI-foretagender – engageret på tværs af nystartede virksomheder / SMV'er / store korps og det bredere økosystem.
Derrick Choo er Solutions Architect hos Amazon Web Services. Han er baseret i Melbourne, Australien og arbejder tæt sammen med virksomhedskunder for at fremskynde deres rejse i skyen. Han brænder for at hjælpe kunder med at skabe værdi gennem innovation og opbygning af skalerbare applikationer og har en særlig interesse i AI og ML.
Muhyun Kim er dataforsker ved Amazon Machine Learning Solutions Lab. Han løser kundens forskellige forretningsproblemer ved at anvende machine learning og deep learning og hjælper dem også med at blive dygtige.
Sujoy Roy er en videnskabsmand fra Amazon Machine Learning Solutions Lab med mere end 20 års akademisk og industrierfaring med at bygge og implementere ML-baserede løsninger til forretningsproblemer. Han har anvendt maskinlæring til at løse kundeproblemer i brancher som telekommunikation, medier og underholdning, AdTech, fjernmåling, detailhandel og fremstilling.
Jiyang Kang er Senior Deep Learning Architect hos Amazon ML Solutions Lab, hvor han hjælper AWS-kunder på tværs af flere brancher med AI og cloud-adoption. Før han kom til Amazon ML Solutions Lab, arbejdede han som Solutions Architect for en af AWS' mest avancerede virksomhedskunder ved at designe forskellige globale cloud-arbejdsbelastninger på AWS. Han har tidligere arbejdet som softwareudvikler og systemarkitekt for virksomheder som Samsung Electronics inden for industrier som halvledere, netværk og telekommunikation.
Eden Duthie er leder af Reinforcement Learning Professional Services-teamet hos AWS. Eden brænder for at udvikle beslutningsløsninger til kunder. Han er især interesseret i at hjælpe industrikunder med stort fokus på forsyningskædeoptimering.
- '
- 000
- 100
- 3d
- 7
- Konto
- Bogføring og administration
- aktiv
- Yderligere
- Vedtagelse
- Fordel
- AI
- algoritme
- algoritmer
- Alle
- tillade
- Amazon
- Amazon maskinindlæring
- Amazon SageMaker
- Amazon Web Services
- blandt
- analytics
- applikationer
- arkitektur
- OMRÅDE
- omkring
- aktiv
- formueforvaltning
- Aktiver
- Australien
- forfattere
- Automatiseret
- Automation
- tilgængelighed
- AWS
- BEDSTE
- fakturerings- og
- Billion
- bygge
- Bygning
- virksomhed
- virksomheder
- Kapacitet
- kapital
- udfordre
- klassificering
- Cloud
- cloud adoption
- kode
- samarbejde
- Fælles
- Fællesskaber
- Virksomheder
- Compliance
- Compute
- dirigent
- tillid
- rådgivning
- Container
- Konvertering
- Omkostninger
- krise
- Kunder
- data
- databehandling
- dataforsker
- Beslutningstagning
- dyb læring
- forsinkelse
- Efterspørgsel
- Udvikler
- udviklere
- digital
- Digital Transformation
- kørsel
- Drones
- Økonomi
- økonomi
- økosystem
- effektivitet
- Elektronik
- energi
- Ingeniører
- England
- Enterprise
- virksomhedskunder
- Underholdning
- miljømæssige
- EU
- begivenheder
- Udvid
- ekspanderende
- erfaring
- eksperiment
- eksperter
- Funktionalitet
- Fleksibilitet
- Fokus
- formular
- format
- fremtiden
- Global
- godt
- gps
- GPU
- Vækst
- Hardware
- helikopter
- helikoptere
- Høj
- Hvordan
- HTTPS
- kæmpe
- Hundreder
- identificere
- Herunder
- industrielle
- industrier
- industrien
- oplysninger
- Infrastruktur
- Innovation
- innovativ
- interesse
- undersøge
- spørgsmål
- IT
- Job
- Karriere
- Nøgle
- King (Konge)
- mærkning
- arbejdskraft
- stor
- laser
- føre
- LÆR
- læring
- deal
- lys
- placering
- Lang
- machine learning
- større
- Flertal
- Making
- ledelse
- Produktion
- måle
- Medier
- Melbourne
- Metrics
- million
- mindreårige
- ML
- ML algoritmer
- MLOps
- Mobil
- model
- modulær
- netværk
- netværk
- New Zealand
- åbent
- Produktion
- Muligheder
- Andre
- udendørs
- ydeevne
- pilot
- Planes
- magt
- Produkt
- produktion
- Produkter
- projekt
- ejendom
- rækkevidde
- reducere
- forstærkning læring
- afhængighed
- indberette
- Krav
- forskning
- Ressourcer
- detail
- afkast
- Risiko
- Roll
- Kør
- kører
- sikker
- Sikkerhed
- sagemaker
- Samsung
- besparelse
- Skalerbarhed
- Scale
- forskere
- Sektorer
- Halvledere
- Tjenester
- sæt
- Simpelt
- Størrelse
- SMV'er
- So
- Social
- Software
- Løsninger
- SOLVE
- specialiseret
- påbegyndt
- opstart
- opbevaring
- Strategi
- succes
- forsyne
- forsyningskæde
- support
- overvågning
- Kortlægge
- systemet
- Systemer
- teknikker
- Teknologier
- Telco
- telekommunikation
- verdenen
- tid
- Kurser
- Transformation
- rejse
- billioner
- us
- forsyningsselskaber
- værdi
- Køretøjer
- Ventures
- web
- webservices
- Vinge
- inden for
- Arbejde
- arbejdstager sikkerhed
- workflow
- virker
- world
- X
- år
- år