Oost-Australië is een van de meest brandgevoelige regio's ter wereld. Hoewel bosbranden regelmatig voorkomen in Australië, heeft de bosbrandencrisis van 2019-2020 meer dan 17 miljoen hectare land in brand gestoken (groter dan de grootte van Engeland), wat de Australische economie meer dan $ 100 miljard heeft gekost aan eigendom, infrastructuur, sociale en milieukosten .
Met steeds extremere weersomstandigheden zal het risico op bosbranden in Australië niet snel verdwijnen. Dit betekent dat de verantwoordelijkheid van de Australische energienetwerkbeheerders om een veilige en betrouwbare voorziening te behouden nog nooit zo groot is geweest.
Het Australische energienetwerk omvat meer dan 880,000 kilometer aan distributie- en transmissielijnen (ongeveer 22 reizen rond de omtrek van de aarde) en 7 miljoen elektriciteitspalen. Extreme klimaatomstandigheden en vegetatiegroei in de buurt van hoogspanningslijnen moeten zorgvuldig worden beheerd om het risico op bosbranden te verkleinen.
In dit bericht bespreken we hoe AusNet machine learning (ML) gebruikt en Amazon Sage Maker om bosbranden te helpen verminderen.
AusNet-innovatie met LiDAR
AusNet beheert 54,000 kilometer elektriciteitskabels en levert energie aan meer dan 1.5 miljoen Victoriaanse huizen en bedrijven. 62% van dit netwerk bevindt zich in gebieden met een hoog risico op bosbranden. AusNet heeft een innovatieve oplossing ontwikkeld om haar energienetwerk veilig te onderhouden en het risico te minimaliseren dat vegetatie schade aan het netwerk veroorzaakt.
Sinds 2009 legt AusNet LiDAR-gegevens van hoge kwaliteit vast over het hele netwerk met behulp van zowel lucht- als weggebaseerde kaartsystemen. LiDAR is een teledetectiemethode die licht gebruikt in de vorm van een gepulseerde laser om afstanden en richtingen te meten. Een waargenomen punt van een object heeft 3D-coördinaatinformatie (x, y, z) en aanvullende attributen zoals dichtheid, aantal retouren, retournummer, GPS-tijdstempel, enzovoort. Die punten worden weergegeven als een 3D-puntenwolk, een verzameling van alle puntinformatie. Na verwerking wordt de LiDAR omgezet in een 3D-model van de netwerkactiva van AusNet, waarmee de groei van de vegetatie wordt geïdentificeerd die moet worden bijgesneden voor de veiligheid van bosbranden.
Het vorige proces voor LiDAR-classificatie maakte gebruik van op bedrijfsregels gebaseerde inferentie, met een sterke afhankelijkheid van nauwkeurige locaties van geografische informatiesystemen (GIS) om automatisering te stimuleren. Er was handwerk nodig met behulp van op maat gemaakte labeltools om LiDAR-punten correct te labelen waar activalocaties onnauwkeurig waren of simpelweg niet bestonden. De handmatige correctie en classificatie van LiDAR-punten verhoogde de doorlooptijden van de verwerking en maakte het moeilijk om te schalen.
AusNet en Amazon Machine Learning
Het Geospatial-team van AusNet werkte samen met de Amazon ML-specialisten, waaronder het Amazon Machine Learning Solutions Lab en Professional Services, om te onderzoeken hoe ML de LiDAR-puntclassificatie kan automatiseren en het moeizame proces van het handmatig corrigeren van onnauwkeurige GIS-locatiegegevens kan versnellen.
De jaarlijkse kosten van het nauwkeurig classificeren van biljoenen vastgelegde LiDAR-punten die de verschillende netwerkconfiguraties in Australië vertegenwoordigen, bedroegen meer dan $ 700,000 per jaar en belemmerden het vermogen van AusNet om dit uit te breiden naar grotere delen van het netwerk.
AusNet en AWS werkten samen om te gebruiken Amazon Sage Maker om mee te experimenteren en deep learning-modellen te bouwen om de puntsgewijze classificatie van deze grote verzameling LiDAR-gegevens te automatiseren. Amazon SageMaker is een volledig beheerde service die datawetenschappers en ontwikkelaars helpt bij het snel voorbereiden, bouwen, trainen en implementeren van hoogwaardige machine learning-modellen. Het team van AusNet en AWS heeft met succes een semantisch segmentatiemodel gebouwd dat 3D-puntenwolkgegevens nauwkeurig classificeert in de volgende categorieën: geleider, gebouw, paal, vegetatie en andere.
Uitkomsten voor AusNet en beperking van bosbranden
De samenwerking tussen AWS en AusNet was een enorm succes en leverde de volgende resultaten op voor zowel de zakelijke als de bosbrandrisicovermindering:
- Verhoogde veiligheid van werknemers door gebruik te maken van LiDAR-gegevens en vermindert de noodzaak voor ingenieurs, landmeters en ontwerpers om naar locaties te reizen
- Resulteerde in een nauwkeurigheid van 80.53% in alle vijf de segmentatiecategorieën, waardoor AusNet naar schatting AUD $ 500,000 per jaar bespaart door middel van geautomatiseerde classificatie
- Zorgde voor een nauwkeurigheid van 91.66% en 92% bij het detecteren van respectievelijk geleiders en vegetatie, waardoor de automatische classificatie van de twee belangrijkste segmentklassen werd verbeterd
- Biedt de flexibiliteit om LiDAR-gegevens te gebruiken die zijn verkregen van drones, helikopters, vliegtuigen en voertuigen op de grond, terwijl rekening wordt gehouden met de unieke variabiliteit van elke gegevensbron
- Stelde het bedrijf in staat om sneller te innoveren en analyses over hun hele netwerk te schalen door de afhankelijkheid van GIS-referentiegegevens en handmatige correctieprocessen te verminderen
- Biedt de mogelijkheid om analyses over hun gehele energienetwerk te schalen met meer ML-automatisering en verminderde afhankelijkheid van handmatige GIS-correctieprocessen
De volgende tabel toont de prestaties van het semantische segmentatiemodel op ongeziene gegevens (gemeten met behulp van "precisie" en "herinnering"-statistieken, waarbij hoger beter is), in de vijf categorieën.
ML-model geclassificeerde punten van een helikoptervangst:
Overzicht oplossingen
Het ML Solutions Lab-team schakelde een team van zeer ervaren ML-wetenschappers en architecten in om innovatie en experimenten te stimuleren. Met geavanceerde ML-ervaring in verschillende sectoren werkte het team samen met het Geospatial-team van AusNet om enkele van de meest uitdagende technologische problemen voor het bedrijf op te lossen. Op basis van de diepgaande ML-mogelijkheden van SageMaker konden AusNet en AWS de pilot in slechts 8 weken voltooien.
De breedte en diepte van SageMaker speelden een sleutelrol bij het toestaan van de ontwikkelaars en datawetenschappers van zowel AusNet als AWS om aan het project samen te werken. Het team gebruikte functies voor het delen van code en notebooks en gemakkelijk toegankelijke on-demand ML-rekenbronnen voor training. Dankzij de elasticiteit van SageMaker kon het team snel herhalen. Het team kon ook profiteren van de beschikbaarheid van verschillende hardwareconfiguraties om op AWS te experimenteren zonder vooraf kapitaal te hoeven investeren om hardware op locatie aan te schaffen. Hierdoor kon AusNet eenvoudig de juiste ML-bronnen kiezen en hun experimenten op aanvraag schalen. De flexibiliteit en beschikbaarheid van GPU-resources zijn van cruciaal belang, vooral wanneer de ML-taak geavanceerde experimenten vereist.
We gebruikten SageMaker-notebookinstanties voor het verkennen van de gegevens en het ontwikkelen van voorverwerkingscode, en gebruikten SageMaker-verwerkings- en trainingstaken voor grootschalige workloads. Het team gebruikte ook hyperparameteroptimalisatie (HPO) om snel meerdere trainingstaken met verschillende configuraties en datasetversies te herhalen om de hyperparameters te verfijnen en het best presterende model te vinden. We hebben bijvoorbeeld verschillende versies van datasets gemaakt met behulp van downsampling- en augmentatiemethoden om problemen met data-onbalans op te lossen. Door meerdere trainingstaken met verschillende datasets parallel uit te voeren, kunt u snel de juiste dataset vinden. Met grote en onevenwichtige puntenwolkdatasets bood SageMaker de mogelijkheid om snel te itereren met behulp van vele configuraties van experimenten en datatransformaties.
ML-engineers kunnen initiële verkenningen van gegevens en algoritmen uitvoeren met behulp van goedkope notebookinstanties, en vervolgens zware gegevensbewerkingen overdragen aan de krachtigere verwerkingsinstanties. Facturering per seconde en automatisch levenscyclusbeheer zorgen ervoor dat de duurdere trainingsinstanties automatisch worden gestart en gestopt en slechts zo lang actief blijven als nodig is, wat de benuttingsefficiëntie verhoogt.
Het team was in staat om een model te trainen met een snelheid van 10.8 minuten per tijdvak op 17.2 GiB aan niet-gecomprimeerde gegevens over 1,571 bestanden met een totaal van ongeveer 616 miljoen punten. Voor gevolgtrekking was het team in staat om 33.6 GiB aan niet-gecomprimeerde gegevens over 15 bestanden te verwerken, in totaal 1.2 miljard punten in 22.1 uur. Dit vertaalt zich naar een gemiddelde van 15,760 punten per seconde, inclusief afgeschreven opstarttijd.
Het semantische segmentatieprobleem oplossen
ML-model geclassificeerde punten van een vaste vleugelvangst:
ML-model geclassificeerde punten van een mobiele opname:
Het probleem van het toewijzen van elk punt in een puntenwolk aan een categorie uit een reeks categorieën wordt a genoemd semantische segmentatie probleem. De 3D-puntenwolken van AusNet uit LiDAR-datasets bestaan uit miljoenen punten. Om elk punt in een 3D-puntenwolk nauwkeurig en efficiënt te labelen, moeten twee uitdagingen worden aangepakt:
- Onevenwichtige gegevens – Klasse-onbalans is een veelvoorkomend probleem in echte puntenwolken. Zoals te zien is in de voorgaande clips, bestaat het merendeel van de punten uit vegetatie, met aanzienlijk minder punten bestaande uit hoogspanningslijnen of geleiders die minder dan 1% van het totale aantal punten uitmaken. Modellen die zijn getraind met behulp van de onevenwichtige dataset zijn gemakkelijk gericht op de hoofdklassen en werken slecht op de minderjarigen. Deze klassenonbalans is een veel voorkomend probleem in LiDAR-puntenwolkgegevens voor buitenomgevingen. Voor deze taak is het van cruciaal belang om goede prestaties te hebben bij het classificeren van geleiderpunten. Het trainen van een model dat goed werkt op zowel de major als minor class is de grootste uitdaging.
- Grootschalige puntenwolk – De hoeveelheid puntenwolkgegevens van de LiDAR-sensor kan een groot open gebied bestrijken. In het geval van AusNet kan het aantal punten per puntenwolk variëren van honderdduizenden tot tientallen miljoenen, waarbij elk puntenwolkbestand varieert van honderden megabytes tot gigabytes. De meeste ML-algoritmen voor puntenwolksegmentatie vereisen steekproeven omdat de operators niet alle punten als input kunnen nemen. Helaas zijn veel van de bemonsteringsmethoden rekenkundig zwaar, waardoor zowel training als inferentie traag zijn. In dit werk moeten we het meest efficiënte ML-algoritme kiezen dat werkt op grootschalige puntenwolken.
De teams van AWS en AusNet bedachten een nieuwe downsampling-strategie via clusteringpunten om het probleem van de sterk onevenwichtige klassen op te lossen. Deze downsampling-strategie, samen met bestaande maatregelen, zoals weging van klassen, hielp bij het oplossen van de uitdagingen bij het trainen van een nauwkeurig model met een onevenwichtige dataset en verbeterde ook de gevolgtrekkingsprestaties. We hebben ook geëxperimenteerd met een upsampling-strategie door de secundaire klassen te dupliceren en op verschillende locaties te plaatsen. Dit proces is gebouwd als een SageMaker Processing-taak, zodat het kan worden toegepast op de nieuw verworven dataset voor verdere modeltraining binnen een MLOps-pijplijn.
De teams hebben verschillende segmentatiemodellen voor puntenwolken onderzocht, rekening houdend met nauwkeurigheid, schaalbaarheid in termen van het aantal punten en efficiëntie. Tijdens meerdere experimenten hebben we een geavanceerd ML-algoritme gekozen voor een semantische segmentatie van de puntenwolk, dat voldeed aan de vereisten. We hebben ook augmentatiemethoden toegepast, zodat het model kon leren van verschillende datasets.
Productie architectuur
Om de puntenwolksegmentatieoplossing uit te rollen, ontwierp het team een ML-pijplijn met behulp van SageMaker voor training en inferentie. Het volgende diagram illustreert de algehele productiearchitectuur.
De trainingspijplijn bevat een aangepaste verwerkingscontainer in SageMaker Processing om conversie van puntenwolkindelingen, opnieuw toewijzen van categorieën, upsampling, downsampling en splitsing van de dataset uit te voeren. De trainingstaak maakt gebruik van de multi-GPU-instanties in SageMaker met een hogere geheugencapaciteit ter ondersteuning van het trainen van het model met een grotere batchgrootte.
De LiDAR-classificatieworkflow van AusNet begint met de opname van maximaal terabytes aan puntenwolkgegevens van land- en luchtbewakingsvoertuigen in Amazon eenvoudige opslagservice (Amazone S3). De gegevens worden vervolgens verwerkt en doorgegeven aan een inferentiepijplijn voor puntenwolkclassificatie. Om dit te ondersteunen, wordt een SageMaker-transformatie gebruikt om batch-inferentie over de dataset uit te voeren, waarbij de uitvoer bestaat uit geclassificeerde puntenwolkbestanden met betrouwbaarheidsscores. De uitvoer wordt vervolgens verwerkt door de classificatie-engine van AusNet, die de betrouwbaarheidsscore analyseert en een vermogensbeheerrapport genereert.
Een van de belangrijkste aspecten van de architectuur is dat het AusNet een schaalbare en modulaire aanpak biedt om te experimenteren met nieuwe datasets, dataverwerkingstechnieken en modellen. Met deze aanpak kan AusNet hun oplossing aanpassen aan veranderende omgevingsomstandigheden en toekomstige puntenwolksegmentatie-algoritmen toepassen.
Conclusie en volgende stappen met AusNet
In dit bericht bespraken we hoe het Geospatial-team van AusNet samenwerkte met Amazon ML-wetenschappers om LiDAR-puntclassificatie te automatiseren door de afhankelijkheid van de GIS-locatiegegevens volledig uit de classificatietaak te verwijderen. Daarom wordt de vertraging die optreedt door handmatige GIS-correctie verwijderd om de classificatietaak sneller en schaalbaarder te maken.
“Het snel en nauwkeurig kunnen labelen van onze luchtonderzoeksgegevens is een cruciaal onderdeel van het minimaliseren van het risico op bosbranden. In samenwerking met het Amazon Machine Learning Solutions Lab konden we een model maken dat een gemiddelde nauwkeurigheid van 80.53% behaalde bij het labelen van gegevens. We verwachten met de nieuwe oplossing onze handmatige etiketteringsinspanningen tot wel 80% te kunnen verminderen”, zegt Daniel Pendlebury, Product Manager bij AusNet.
AusNet voorziet dat ML-classificatiemodellen een belangrijke rol spelen bij het vergroten van de efficiëntie van hun netwerkactiviteiten. Door hun automatische classificatiebibliotheken uit te breiden met nieuwe segmentatiemodellen, kan AusNet enorme datasets productiever gebruiken om de veilige, betrouwbare levering van energie aan gemeenschappen in heel Victoria te garanderen.
Dankwoord
De auteurs willen Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King en Damian Bisignano van AusNet bedanken voor hun betrokkenheid bij het project en het inbrengen van hun domeinexpertise op LiDAR-datasets en ML-training met behulp van verschillende ML-algoritmen.
Amazon ML Solutions-lab
Amazon ML Solutions-lab koppelt uw team aan ML-experts om u te helpen de meest waardevolle ML-mogelijkheden van uw organisatie te identificeren en te implementeren. Als u hulp wilt bij het versnellen van uw gebruik van ML in uw producten en processen, neem dan contact op met de Amazon ML Solutions-lab.
Over de auteurs
Daniël Pendelbury is een productmanager bij AusNet Services, gespecialiseerd in het leveren van innovatieve, geautomatiseerde nalevingsproducten aan nutsbedrijven op het gebied van vegetatiebeheer en activabeheer.
Nathanaël Weldon is een geospatiale softwareontwikkelaar bij Ausnet Services. Hij is gespecialiseerd in het bouwen en afstemmen van grootschalige geospatiale gegevensverwerkingssystemen, met ervaring in de sectoren nutsbedrijven, hulpbronnen en milieu.
David Motamed is accountmanager bij Amazon Web Services. Hij is gevestigd in Melbourne, Australië, en helpt zakelijke klanten slagen tijdens hun digitale transformatietrajecten.
Simon Johnston is een AI-leider en is verantwoordelijk voor de Amazon Web Services AI/ML-activiteiten in Australië en Nieuw-Zeeland, gespecialiseerd in AI-strategie en economie. Meer dan 20 jaar onderzoeks-, management- en advieservaring (VS, EU, APAC) met betrekking tot een reeks innovatieve, door de industrie geleide onderzoeks- en commercialiserings-AI-ondernemingen - betrokken bij start-ups / kmo's / grote korpsen en het bredere ecosysteem.
Derrick Choo is een oplossingsarchitect bij Amazon Web Services. Hij is gevestigd in Melbourne, Australië en werkt nauw samen met zakelijke klanten om hun reis naar de cloud te versnellen. Hij is gepassioneerd in het helpen van klanten bij het creëren van waarde door middel van innovatie en het bouwen van schaalbare applicaties en heeft een bijzondere interesse in AI en ML.
Muhyun Kim is data scientist bij Amazon Machine Learning Solutions Lab. Hij lost de verschillende zakelijke problemen van klanten op door machine learning en deep learning toe te passen, en helpt hen ook om vaardig te worden.
Sujoy Roy is een wetenschapper bij het Amazon Machine Learning Solutions Lab met meer dan 20 jaar academische en industriële ervaring met het bouwen en implementeren van op ML gebaseerde oplossingen voor zakelijke problemen. Hij heeft machine learning toegepast om klantproblemen op te lossen in sectoren als telecom, media en entertainment, AdTech, teledetectie, detailhandel en productie.
Jiyang Kango is een Senior Deep Learning Architect bij Amazon ML Solutions Lab, waar hij AWS-klanten in meerdere sectoren helpt met AI en cloud-adoptie. Voordat hij bij het Amazon ML Solutions Lab kwam, werkte hij als Solutions Architect voor een van de meest geavanceerde zakelijke klanten van AWS, waar hij verschillende wereldwijde cloud-workloads op AWS ontwierp. Hij werkte eerder als softwareontwikkelaar en systeemarchitect voor bedrijven zoals Samsung Electronics in sectoren als halfgeleiders, netwerken en telecommunicatie.
Eden Duthie is de leider van het Reinforcement Learning Professional Services-team bij AWS. Eden heeft een passie voor het ontwikkelen van besluitvormingsoplossingen voor klanten. Hij is vooral geïnteresseerd in het helpen van industriële klanten met een sterke focus op supply chain optimalisatie.
- '
- 000
- 100
- 3d
- 7
- Account
- Accounting
- actieve
- Extra
- Adoptie
- Voordeel
- AI
- algoritme
- algoritmen
- Alles
- Het toestaan
- Amazone
- Amazon machinaal leren
- Amazon Sage Maker
- Amazon Web Services
- onder
- analytics
- toepassingen
- architectuur
- GEBIED
- rond
- aanwinst
- vermogensbeheer
- Activa
- Australië
- auteurs
- geautomatiseerde
- Automatisering
- beschikbaarheid
- AWS
- BEST
- factuuradres
- Miljard
- bouw
- Gebouw
- bedrijfsdeskundigen
- ondernemingen
- Inhoud
- hoofdstad
- uitdagen
- classificatie
- Cloud
- cloud adoptie
- code
- samenwerking
- Gemeen
- Gemeenschappen
- Bedrijven
- nakoming
- Berekenen
- dirigent
- vertrouwen
- consulting
- Containers
- Camper ombouw
- Kosten
- crisis
- Klanten
- gegevens
- gegevensverwerking
- data scientist
- Besluitvorming
- diepgaand leren
- vertraging
- Vraag
- Ontwikkelaar
- ontwikkelaars
- digitaal
- Digitale Transformatie
- aandrijving
- Drones
- Economie
- economie
- ecosysteem
- doeltreffendheid
- Elektronica
- energie-niveau
- Ingenieurs
- Engeland
- Enterprise
- zakelijke klanten
- Onstpanning
- milieu
- EU
- EVENTS
- Uitvouwen
- uit te breiden
- ervaring
- experiment
- deskundigen
- Voordelen
- Flexibiliteit
- Focus
- formulier
- formaat
- toekomst
- Globaal
- goed
- gps
- GPU
- Hardware
- helikopter
- helikopters
- Hoge
- Hoe
- HTTPS
- reusachtig
- Honderden
- identificeren
- Inclusief
- industrieel
- industrieën
- -industrie
- informatie
- Infrastructuur
- Innovatie
- innovatieve
- belang
- onderzoeken
- problemen
- IT
- Jobomschrijving:
- Vacatures
- sleutel
- koning
- etikettering
- arbeid
- Groot
- laser
- leiden
- LEARN
- leren
- transactie
- licht
- plaats
- lang
- machine learning
- groot
- Meerderheid
- maken
- management
- productie
- maatregel
- Media
- Tremelo (B)
- Metriek
- miljoen
- minderjarigen
- ML
- ML-algoritmen
- MLops
- Mobile
- model
- modulaire
- netwerk
- netwerken
- Nieuw Zeeland
- open
- Operations
- Kansen
- Overig
- Buiten
- prestatie
- piloot
- Planes
- energie
- Product
- Productie
- Producten
- project
- eigendom
- reeks
- verminderen
- versterking van leren
- vertrouwen
- verslag
- Voorwaarden
- onderzoek
- Resources
- <HR>Retail
- Retourneren
- Risico
- Rollen
- lopen
- lopend
- veilig
- Veiligheid
- sagemaker
- Samsung
- besparing
- Schaalbaarheid
- Scale
- wetenschappers
- Sectoren
- Halfgeleiders
- Diensten
- reeks
- Eenvoudig
- Maat
- MKB
- So
- Social
- Software
- Oplossingen
- OPLOSSEN
- specialiseert
- gestart
- startup
- mediaopslag
- Strategie
- succes
- leveren
- toeleveringsketen
- ondersteuning
- toezicht
- Enquête
- system
- Systems
- technieken
- Technologie
- Telecom
- telecommunicatie
- de wereld
- niet de tijd of
- Trainingen
- Transformatie
- reizen
- triljoenen
- us
- utilities
- waarde
- Voertuigen
- Ventures
- web
- webservices
- Vleugel
- binnen
- Mijn werk
- veiligheid van de werknemers
- workflow
- Bedrijven
- wereld
- X
- jaar
- jaar