Östra Australien är bland de mest brandbenägna regionerna i världen. Även om skogsbränder är en regelbunden företeelse i Australien, satte skogsbrandskrisen 2019–2020 i brand över 17 miljoner hektar mark (större än Englands storlek), vilket kostade den australiensiska ekonomin mer än 100 miljarder dollar mellan fastighets-, infrastruktur-, sociala och miljökostnader .
Med allt mer extrema väderhändelser försvinner inte risken för skogsbränder i Australien när som helst snart. Detta innebär att ansvaret för Australiens energinätoperatörer att upprätthålla en säker och pålitlig försörjning aldrig har varit större.
Det australiensiska energinätverket omfattar över 880,000 22 kilometer distributions- och transmissionsledningar (cirka 7 resor runt jordens omkrets) och XNUMX miljoner kraftstolpar. Extrema klimatförhållanden och vegetationstillväxt nära kraftledningar måste hanteras noggrant för att minska risken för skogsbränder.
I det här inlägget diskuterar vi hur AusNet använder maskininlärning (ML) och Amazon SageMaker för att hjälpa till att lindra skogsbränder.
AusNet innovation med LiDAR
AusNet hanterar 54,000 1.5 kilometer kraftledningar och ger energi till mer än 62 miljoner viktorianska hem och företag. XNUMX % av detta nätverk är beläget i områden med hög risk för skogsbränder. AusNet har utvecklat en innovativ lösning för att säkert underhålla sitt energinät och minimera risken för att växtlighet orsakar skador på nätet.
Sedan 2009 har AusNet fångat högkvalitativa LiDAR-data över nätverket med både flyg- och vägbaserade kartsystem. LiDAR är en fjärravkänningsmetod som använder ljus i form av en pulsad laser för att mäta avstånd och riktningar. En avkänd punkt för ett objekt har 3D-koordinatinformation (x, y, z) samt ytterligare attribut som densitet, antal returer, returnummer, GPS-tidsstämpel och så vidare. Dessa punkter representeras som ett 3D-punktmoln, som är en samling av all punktinformation. Vid bearbetning förvandlas LiDAR till en 3D-modell av AusNets nätverkstillgångar, som identifierar den vegetationstillväxt som behöver trimmas för att skydda skogsbränder.
Den tidigare processen för LiDAR-klassificering använde affärsregeldriven slutledning, med ett stort beroende av korrekta geografiska informationssystem (GIS)-tillgångar för att driva automatisering. Manuell arbetsinsats med specialbyggda märkningsverktyg krävdes för att korrekt märka LiDAR-punkter där tillgångarnas placeringar var felaktiga eller helt enkelt inte existerade. Den manuella korrigeringen och klassificeringen av LiDAR-punkter ökade bearbetningstiden och gjorde det svårt att skala.
AusNet och Amazon Machine Learning
AusNets Geospatial-team samarbetade med Amazon ML-specialisterna, inklusive Amazon Machine Learning Solutions Lab och Professional Services, för att undersöka hur ML kunde automatisera LiDAR-punktklassificering och påskynda den betungande processen att manuellt korrigera felaktiga GIS-platsdata.
Den årliga kostnaden för att noggrant klassificera biljoner infångade LiDAR-punkter som representerar de olika nätverkskonfigurationerna runt om i Australien översteg 700,000 XNUMX USD per år och hämmade AusNets förmåga att expandera detta till större delar av nätverket.
AusNet och AWS gick ihop för att använda Amazon SageMaker att experimentera med och bygga modeller för djupinlärning för att automatisera den punktvisa klassificeringen av denna stora samling av LiDAR-data. Amazon SageMaker är en helt hanterad tjänst som hjälper datavetare och utvecklare att snabbt förbereda, bygga, träna och distribuera högkvalitativa maskininlärningsmodeller. AusNet och AWS-teamet byggde framgångsrikt en semantisk segmenteringsmodell som korrekt klassificerade 3D-punktmolndata i följande kategorier: ledare, byggnad, stolpe, vegetation och andra.
Resultat för AusNet och skogsbränder
Samarbetet mellan AWS och AusNet var en stor framgång, och gav följande resultat för både verksamheten och risken för skogsbränder:
- Ökad arbetarsäkerhet genom att använda LiDAR-data och minska behovet för ingenjörer, besiktningsmän och designers att resa till anläggningar
- Resulterade i 80.53 % noggrannhet över alla fem segmenteringskategorier, vilket sparade AusNet uppskattningsvis 500,000 XNUMX AUD per år genom automatiserad klassificering
- Tillhandahöll 91.66 % och 92 % noggrannhet vid detektering av ledare respektive vegetation, vilket förbättrade automatisk klassificering av de två viktigaste segmentklasserna
- Tillhandahöll flexibiliteten att använda LiDAR-data som erhållits från drönare, helikoptrar, flygplan och markbaserade fordon, samtidigt som man tar hänsyn till varje datakällas unika variation
- Har gjort det möjligt för verksamheten att förnya sig snabbare och skala analyser över hela sitt nätverk genom att minska beroendet av GIS-referensdata och manuella korrigeringsprocesser
- Erbjudit möjligheten att skala analyser över hela sitt energinätverk med ökad ML-automatisering och minskat beroende av manuella GIS-korrigeringsprocesser
Följande tabell visar prestandan för den semantiska segmenteringsmodellen på osynliga data (mätt med "precision" och "återkallelse"-mått, där högre är bättre), över de fem kategorierna.
ML-modell klassificerade punkter från en helikopterfångst:
Lösningsöversikt
ML Solutions Lab-teamet tog in ett team av mycket erfarna ML-forskare och arkitekter för att hjälpa till att driva innovation och experimenterande. Med banbrytande ML-erfarenhet över branscher, samarbetade teamet med AusNets Geospatial-team för att lösa några av de mest utmanande tekniska problemen för verksamheten. Baserat på SageMakers djupa ML-kapacitet kunde AusNet och AWS slutföra piloten på bara 8 veckor.
Bredden och djupet av SageMaker spelade en nyckelroll för att utvecklare och datavetare från både AusNet och AWS kunde samarbeta i projektet. Teamet använde kod- och notebook-delningsfunktioner och lättillgängliga on-demand ML-beräkningsresurser för utbildning. Elasticiteten hos SageMaker gjorde det möjligt för teamet att iterera snabbt. Teamet kunde också dra nytta av tillgången på olika hårdvarukonfigurationer för att experimentera med AWS utan att behöva investera i förskottskapital för att skaffa lokal hårdvara. Detta gjorde det möjligt för AusNet att enkelt välja rätt storlek ML-resurser och skala sina experiment på begäran. Flexibiliteten och tillgängligheten på GPU-resurser är avgörande, särskilt när ML-uppgiften kräver banbrytande experiment.
Vi använde SageMaker notebook-instanser för att utforska data och utveckla förbearbetningskod och använde SageMaker-bearbetnings- och utbildningsjobb för storskaliga arbetsbelastningar. Teamet använde också hyperparameteroptimering (HPO) för att snabbt iterera på flera träningsjobb med olika konfigurationer och datauppsättningsversioner för att finjustera hyperparametrarna och hitta den bäst presterande modellen. Till exempel skapade vi olika versioner av datamängder med hjälp av nedsampling och förstärkningsmetoder för att övervinna problem med dataobalans. Genom att köra flera utbildningsjobb med olika datauppsättningar parallellt kan du snabbt hitta rätt datauppsättning. Med stora och obalanserade punktmolnsuppsättningar gav SageMaker möjligheten att snabbt iterera med många konfigurationer av experiment och datatransformationer.
ML-ingenjörer kunde utföra inledande utforskningar av data och algoritmer med hjälp av billiga notebook-instanser och sedan ladda ner tunga dataoperationer till de mer kraftfulla bearbetningsinstanserna. Fakturering per sekund och automatisk livscykelhantering ser till att de dyrare utbildningstillfällena startas och stoppas automatiskt och bara förblir aktiva så länge som det behövs, vilket ökar utnyttjandeeffektiviteten.
Teamet kunde träna en modell med en hastighet av 10.8 minuter per epok på 17.2 GiB okomprimerad data över 1,571 616 filer med totalt cirka 33.6 miljoner poäng. Som slutsats kunde teamet bearbeta 15 GiB okomprimerad data över 1.2 filer på totalt 22.1 miljarder poäng på 15,760 timmar. Detta innebär att man drar slutsatser om i genomsnitt XNUMX XNUMX poäng per sekund inklusive avskriven starttid.
Lösning av det semantiska segmenteringsproblemet
ML-modell klassificerade punkter från en fixerad vingfångst:
ML-modell klassificerade punkter från en mobil fångst:
Problemet med att tilldela varje punkt i ett punktmoln till en kategori från en uppsättning kategorier kallas a semantisk segmentering problem. AusNets 3D-punktmoln från LiDAR-datauppsättningar består av miljontals punkter. Att korrekt och effektivt märka varje punkt i ett 3D-punktmoln innebär att ta itu med två utmaningar:
- Obalanserad data – Klassobalans är ett vanligt problem i verkliga punktmoln. Som framgår av de föregående klippen består majoriteten av punkterna av vegetation, med betydligt färre punkter som består av kraftledningar eller ledare som utgör mindre än 1 % av de totala punkterna. Modeller som tränas med hjälp av den obalanserade datamängden är lätt partiska mot de stora klasserna och fungerar dåligt på minderåriga. Denna klassobalans är ett vanligt problem i LiDAR punktmolndata för utomhusmiljöer. För denna uppgift är det viktigt att ha goda prestationer vid klassificering av ledarpunkter. Att träna en modell som fungerar bra på både dur och mindre är den största utmaningen.
- Storskaligt punktmoln – Mängden punktmolndata från LiDAR-sensorn kan täcka ett stort öppet område. I AusNets fall kan antalet poäng per punktmoln variera från hundratusentals till tiotals miljoner, där varje punktmolnfil varierar från hundratals megabyte upp till gigabyte. De flesta av ML-algoritmerna för punktmolnsegmentering kräver sampling eftersom operatörerna inte kan ta alla punkter som indata. Tyvärr är många av provtagningsmetoderna beräkningstunga, vilket gör både träning och slutledning långsamma. I detta arbete behöver vi välja den mest effektiva ML-algoritmen som fungerar på storskaliga punktmoln.
AWS- och AusNet-teamen uppfann en ny nedsamplingsstrategi via klustringspunkter för att lösa problemet med kraftigt obalanserade klasser. Denna nedsamplingsstrategi tillsammans med befintliga begränsningar, såsom klassviktning, hjälpte till att lösa utmaningarna med att träna en korrekt modell med en obalanserad datauppsättning och förbättrade även slutledningsprestanda. Vi experimenterade också med en uppsamplingsstrategi genom att duplicera de mindre klasserna och placera dem på olika platser. Denna process byggdes som ett SageMaker Processing-jobb så att den kunde tillämpas på den nyligen förvärvade datamängden för vidare modellutbildning inom en MLOps-pipeline.
Teamen undersökte olika segmenteringsmodeller för punktmoln med hänsyn till noggrannhet, skalbarhet när det gäller antalet poäng och effektivitet. Under flera experiment valde vi en toppmodern ML-algoritm för semantisk punktmolnsegmentering, som uppfyllde kraven. Vi använde också förstärkningsmetoder så att modellen kunde lära sig av olika datamängder.
Produktionsarkitektur
För att rulla ut segmenteringslösningen för punktmoln designade teamet en ML-pipeline med SageMaker för utbildning och slutledning. Följande diagram illustrerar den övergripande produktionsarkitekturen.
Utbildningspipelinen innehåller en anpassad bearbetningsbehållare i SageMaker Processing för att utföra konvertering av punktmolnformat, kategoriomappning, uppsampling, nedsampling och uppdelning av datamängden. Utbildningsjobbet drar fördel av multi-GPU-instanserna i SageMaker med högre minneskapacitet för att stödja träning av modellen med en större batchstorlek.
AusNets LiDAR-klassificeringsarbetsflöde börjar med intag av upp till terabyte punktmolndata från land- och flygövervakningsfordon till Amazon enkel lagringstjänst (Amazon S3). Data bearbetas sedan och skickas till en slutledningspipeline för punktmolnklassificering. För att stödja detta används en SageMaker Transform för att köra batch-inferens över datamängden, med utdata som klassificerade punktmolnfiler med konfidenspoäng. Resultatet bearbetas sedan av AusNets klassificeringsmotor, som analyserar konfidenspoängen och genererar en kapitalförvaltningsrapport.
En av de viktigaste aspekterna av arkitekturen är att den ger AusNet ett skalbart och modulärt tillvägagångssätt för att experimentera med nya datamängder, databehandlingstekniker och modeller. Med detta tillvägagångssätt kan AusNet anpassa sin lösning till förändrade miljöförhållanden och anta framtida punktmolnssegmenteringsalgoritmer.
Slutsats och nästa steg med AusNet
I det här inlägget diskuterade vi hur AusNets Geospatial-team samarbetade med Amazon ML-forskare för att automatisera LiDAR-punktklassificering genom att helt ta bort beroendet av GIS-platsdata från klassificeringsuppgiften. Därför tas fördröjningen som inträffade av manuell GIS-korrigering bort för att göra klassificeringsuppgiften snabbare och skalbar.
"Att snabbt och exakt kunna märka våra flygundersökningsdata är en kritisk del för att minimera risken för skogsbränder. Genom att arbeta med Amazon Machine Learning Solutions Lab kunde vi skapa en modell som uppnådde 80.53 % genomsnittlig noggrannhet i datamärkning. Vi förväntar oss att kunna minska våra manuella märkningsinsatser med upp till 80 % med den nya lösningen”, säger Daniel Pendlebury, produktchef på AusNet.
AusNet ser för sig att ML-klassificeringsmodeller spelar en viktig roll för att driva effektiviteten i deras nätverksverksamhet. Genom att utöka sina automatiska klassificeringsbibliotek med nya segmenteringsmodeller kan AusNet använda stora datamängder mer produktivt för att säkerställa säker och pålitlig energiförsörjning till samhällen i hela Victoria.
Erkännanden
Författarna vill tacka Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King och Damian Bisignano från AusNet för deras engagemang i projektet och för deras domänexpertis om LiDAR-datauppsättningar och ML-träning med hjälp av olika ML-algoritmer.
Amazon ML Solutions Lab
Amazon ML Solutions Lab parar ditt team med ML-experter för att hjälpa dig att identifiera och implementera din organisations ML-möjligheter med högsta värde. Om du vill ha hjälp med att påskynda din användning av ML i dina produkter och processer, vänligen kontakta Amazon ML Solutions Lab.
Om författarna
Daniel Pendlebury är produktchef på AusNet Services som specialiserat sig på att tillhandahålla innovativa, automatiserade efterlevnadsprodukter till verktyg inom vegetationshantering och tillgångsunderhåll.
Nathanael Weldon är en geospatial mjukvaruutvecklare på Ausnet Services. Han är specialiserad på att bygga och trimma storskaliga geospatiala databearbetningssystem, med erfarenhet från verktyg, resurser och miljösektorer.
David Motamed är Account Manager på Amazon Web Services. Baserad i Melbourne, Australien, hjälper han företagskunder att lyckas med sina digitala transformationsresor.
Simon Johnston är en AI-ledare och är ansvarig för Amazon Web Services AI/ML-verksamhet i Australien och Nya Zeeland, specialiserad på AI-strategi och ekonomi. Mer än 20 års forskning, ledning och konsulterfarenhet (USA, EU, APAC) som täcker en rad innovativa, industriledda forsknings- och kommersialiserings-AI-satsningar – engagerande mellan nystartade företag / små och medelstora företag / stora kårer och det bredare ekosystemet.
Derrick Choo är en lösningsarkitekt på Amazon Web Services. Han är baserad i Melbourne, Australien och arbetar nära företagskunder för att påskynda deras resa i molnet. Han brinner för att hjälpa kunder att skapa värde genom innovation och att bygga skalbara applikationer och har ett särskilt intresse för AI och ML.
Muhyun Kim är datavetare vid Amazon Machine Learning Solutions Lab. Han löser kundens olika affärsproblem genom att använda maskininlärning och djupinlärning, och hjälper dem också att bli skickliga.
Sujoy Roy är en vetenskapsman vid Amazon Machine Learning Solutions Lab med 20+ års akademisk och branscherfarenhet av att bygga och distribuera ML-baserade lösningar för affärsproblem. Han har tillämpat maskininlärning för att lösa kundproblem inom branscher som telekom, media och underhållning, AdTech, fjärranalys, detaljhandel och tillverkning.
Jiyang Kang är Senior Deep Learning Architect på Amazon ML Solutions Lab, där han hjälper AWS-kunder i flera branscher med AI och molnadoption. Innan han började på Amazon ML Solutions Lab arbetade han som lösningsarkitekt för en av AWS mest avancerade företagskunder och designade olika globala molnarbetsbelastningar på AWS. Han har tidigare arbetat som mjukvaruutvecklare och systemarkitekt för företag som Samsung Electronics inom industrier som halvledare, nätverk och telekommunikation.
Eden Duthie är ledaren för Reinforcement Learning Professional Services-teamet på AWS. Eden brinner för att utveckla beslutsfattande lösningar för kunder. Han är särskilt intresserad av att hjälpa industrikunder med stort fokus på optimering av supply chain.
- '
- 000
- 100
- 3d
- 7
- Konto
- Redovisning
- aktiv
- Annat
- Antagande
- Fördel
- AI
- algoritm
- algoritmer
- Alla
- tillåta
- amason
- Amazon maskininlärning
- Amazon SageMaker
- Amazon Web Services
- bland
- analytics
- tillämpningar
- arkitektur
- OMRÅDE
- runt
- tillgång
- Kapitalförvaltning
- Tillgångar
- Australien
- Författarna
- Automatiserad
- Automation
- tillgänglighet
- AWS
- BÄST
- fakturering
- Miljarder
- SLUTRESULTAT
- Byggnad
- företag
- företag
- Kapacitet
- kapital
- utmanar
- klassificering
- cloud
- moln adoption
- koda
- samverkan
- Gemensam
- samhällen
- Företag
- Efterlevnad
- Compute
- dirigent
- förtroende
- rådgivning
- Behållare
- Konvertering
- Kostar
- kris
- Kunder
- datum
- databehandling
- datavetare
- Beslutsfattande
- djupt lärande
- fördröja
- Efterfrågan
- Utvecklare
- utvecklare
- digital
- digital Transformation
- drivande
- Drönare
- Ekonomi
- ekonomi
- ekosystemet
- effektivitet
- Elektronik
- energi
- Ingenjörer
- England
- Företag
- företagskunder
- Underhållning
- miljömässigt
- EU
- händelser
- Bygga ut
- expanderande
- erfarenhet
- experimentera
- experter
- Funktioner
- Flexibilitet
- Fokus
- formen
- format
- framtida
- Välgörenhet
- god
- gps
- GPU
- Tillväxt
- hårdvara
- helikopter
- helikoptrar
- Hög
- Hur ser din drömresa ut
- HTTPS
- stor
- Hundratals
- identifiera
- Inklusive
- industriell
- industrier
- industrin
- informationen
- Infrastruktur
- Innovation
- innovativa
- intresse
- undersöka
- problem
- IT
- Jobb
- Lediga jobb
- Nyckel
- King
- märkning
- arbetskraft
- Large
- Lasern
- leda
- LÄRA SIG
- inlärning
- lidar
- ljus
- läge
- Lång
- maskininlärning
- större
- Majoritet
- Framställning
- ledning
- Produktion
- mäta
- Media
- Melbourne
- Metrics
- miljon
- minderåriga
- ML
- ML-algoritmer
- MLOps
- Mobil
- modell
- modulära
- nät
- nätverk
- Nya Zeeland
- öppet
- Verksamhet
- möjligheter
- Övrigt
- Utomhus
- prestanda
- Föraren
- Planes
- kraft
- Produkt
- Produktion
- Produkter
- projektet
- egenskapen
- område
- minska
- förstärkning lärande
- tillit
- rapport
- Krav
- forskning
- Resurser
- detaljhandeln
- återgår
- Risk
- Rulla
- Körning
- rinnande
- säker
- Säkerhet
- sagemaker
- Samsung
- sparande
- skalbarhet
- Skala
- vetenskapsmän
- Sektorer
- Halvledare
- Tjänster
- in
- Enkelt
- Storlek
- SMF
- So
- Social hållbarhet
- Mjukvara
- Lösningar
- LÖSA
- specialiserat
- igång
- start
- förvaring
- Strategi
- framgång
- leverera
- leveranskedjan
- stödja
- övervakning
- Undersökning
- system
- System
- tekniker
- Teknologi
- Telco
- telekommunikationer
- världen
- tid
- Utbildning
- Transformation
- färdas
- biljoner
- us
- verktyg
- värde
- fordon
- Ventures
- webb
- webbservice
- Vinge
- inom
- Arbete
- arbetares säkerhet
- arbetsflöde
- fungerar
- världen
- X
- år
- år