L’Australia orientale è tra le regioni più a rischio di incendi al mondo. Sebbene gli incendi boschivi siano un evento regolare in Australia, la crisi degli incendi boschivi del 2019-2020 ha incendiato oltre 17 milioni di ettari di terreno (più grandi delle dimensioni dell’Inghilterra), costando all’economia australiana più di 100 miliardi di dollari tra proprietà, infrastrutture, costi sociali e ambientali. .
Con eventi meteorologici sempre più estremi, il rischio di incendi boschivi in Australia non scomparirà presto. Ciò significa che la responsabilità degli operatori della rete energetica australiana di mantenere una fornitura sicura e affidabile non è mai stata così grande.
La rete energetica australiana comprende oltre 880,000 chilometri di linee di distribuzione e trasmissione (circa 22 viaggi attorno alla circonferenza terrestre) e 7 milioni di pali elettrici. Le condizioni climatiche estreme e la crescita della vegetazione in prossimità delle linee elettriche devono essere gestite con attenzione per mitigare il rischio di incendi boschivi.
In questo post, discutiamo di come AusNet utilizza l'apprendimento automatico (ML) e Amazon Sage Maker per contribuire a mitigare gli incendi boschivi.
Innovazione AusNet con LiDAR
AusNet gestisce 54,000 chilometri di linee elettriche e porta energia a più di 1.5 milioni di case e aziende del Victoria. Il 62% di questa rete si trova in aree ad alto rischio di incendi boschivi. AusNet ha sviluppato una soluzione innovativa per mantenere in sicurezza la propria rete energetica e ridurre al minimo il rischio che la vegetazione causi danni alla rete.
Dal 2009, AusNet acquisisce dati LiDAR di alta qualità attraverso la rete utilizzando sistemi di mappatura sia aerei che stradali. LiDAR è un metodo di telerilevamento che utilizza la luce sotto forma di laser pulsato per misurare distanze e direzioni. Un punto rilevato di un oggetto dispone di informazioni sulle coordinate 3D (x, y, z) nonché di attributi aggiuntivi quali densità, numero di resi, numero di resi, timestamp GPS e così via. Questi punti sono rappresentati come una nuvola di punti 3D, che è una raccolta di tutte le informazioni sui punti. Dopo l'elaborazione, il LiDAR viene trasformato in un modello 3D delle risorse della rete AusNet, identificando la crescita della vegetazione che deve essere tagliata per la sicurezza in caso di incendi boschivi.
Il processo precedente per la classificazione LiDAR utilizzava l’inferenza basata su regole aziendali, con una forte dipendenza da posizioni precise delle risorse del sistema informativo geografico (GIS) per guidare l’automazione. Era necessario uno sforzo di manodopera manuale utilizzando strumenti di etichettatura personalizzati per etichettare correttamente i punti LiDAR in cui le posizioni delle risorse erano imprecise o semplicemente non esistevano. La correzione e la classificazione manuale dei punti LiDAR hanno aumentato i tempi di elaborazione e ne hanno reso difficile la scalabilità.
AusNet e Amazon Machine Learning
Il team Geospatial di AusNet ha collaborato con gli specialisti di Amazon ML, tra cui Amazon Machine Learning Solutions Lab e Professional Services, per studiare come il ML potrebbe automatizzare la classificazione dei punti LiDAR e accelerare l'oneroso processo di correzione manuale dei dati di posizione GIS imprecisi.
Il costo annuale per classificare accuratamente trilioni di punti LiDAR catturati che rappresentano le diverse configurazioni di rete in tutta l'Australia ha superato i 700,000 dollari all'anno e ha inibito la capacità di AusNet di espanderlo ad aree più ampie della rete.
AusNet e AWS hanno collaborato per l'utilizzo Amazon Sage Maker sperimentare e costruire modelli di deep learning per automatizzare la classificazione puntuale di questa vasta raccolta di dati LiDAR. Amazon SageMaker è un servizio completamente gestito che aiuta i data scientist e gli sviluppatori a preparare, creare, addestrare e distribuire rapidamente modelli di machine learning di alta qualità. Il team di AusNet e AWS ha creato con successo un modello di segmentazione semantica che ha classificato accuratamente i dati della nuvola di punti 3D nelle seguenti categorie: conduttore, edificio, palo, vegetazione e altre.
Risultati per AusNet e la mitigazione degli incendi boschivi
La collaborazione tra AWS e AusNet è stata un enorme successo, producendo i seguenti risultati sia per l'azienda che per la riduzione del rischio di incendi boschivi:
- Maggiore sicurezza dei lavoratori utilizzando i dati LiDAR e riducendo la necessità di ingegneri, geometri e progettisti di recarsi nei cantieri
- Il risultato è stato un'accuratezza dell'80.53% in tutte e cinque le categorie di segmentazione, facendo risparmiare ad AusNet circa 500,000 dollari australiani all'anno attraverso la classificazione automatizzata
- Fornita una precisione del 91.66% e del 92% nel rilevamento rispettivamente di conduttori e vegetazione, migliorando la classificazione automatica delle due classi di segmenti più importanti
- Fornita la flessibilità necessaria per utilizzare i dati LiDAR ottenuti da droni, elicotteri, aerei e veicoli terrestri, tenendo conto della variabilità unica di ciascuna fonte di dati
- Ha consentito all'azienda di innovare più rapidamente e di adattare l'analisi all'intera rete riducendo la dipendenza dai dati di riferimento GIS e dai processi di correzione manuale
- Fornita la possibilità di scalare l'analisi sull'intera rete energetica con una maggiore automazione ML e una dipendenza ridotta dai processi manuali di correzione GIS
La tabella seguente illustra le prestazioni del modello di segmentazione semantica sui dati invisibili (misurati utilizzando le metriche di "precisione" e "richiamo", dove maggiore è migliore), nelle cinque categorie.
Punti classificati del modello ML da una cattura in elicottero:
Panoramica della soluzione
Il team di ML Solutions Lab ha coinvolto un team di scienziati e architetti di ML di grande esperienza per promuovere l'innovazione e la sperimentazione. Con un'esperienza ML all'avanguardia in tutti i settori, il team ha collaborato con il team Geospatial di AusNet per risolvere alcuni dei problemi tecnologici più impegnativi per l'azienda. Basandosi sulle profonde capacità di machine learning di SageMaker, AusNet e AWS sono riusciti a completare il progetto pilota in sole 8 settimane.
L'ampiezza e la profondità di SageMaker hanno giocato un ruolo chiave nel consentire agli sviluppatori e ai data scientist di AusNet e AWS di collaborare al progetto. Il team ha utilizzato funzionalità di condivisione di codice e notebook e ha potuto accedere facilmente a risorse di elaborazione ML on-demand per la formazione. L'elasticità di SageMaker ha consentito al team di iterare rapidamente. Il team ha inoltre potuto sfruttare la disponibilità di diverse configurazioni hardware per sperimentare su AWS senza dover investire in capitale iniziale per acquisire hardware locale. Ciò ha consentito ad AusNet di scegliere facilmente le risorse ML della giusta dimensione e di ridimensionare i propri esperimenti su richiesta. La flessibilità e la disponibilità delle risorse GPU sono fondamentali, soprattutto quando l'attività di ML richiede esperimenti all'avanguardia.
Abbiamo utilizzato le istanze notebook SageMaker per esplorare i dati e sviluppare codice di preelaborazione e abbiamo utilizzato processi di elaborazione e formazione SageMaker per carichi di lavoro su larga scala. Il team ha inoltre utilizzato l'ottimizzazione degli iperparametri (HPO) per eseguire rapidamente iterazioni su più processi di addestramento con varie configurazioni e versioni di set di dati per ottimizzare gli iperparametri e trovare il modello con le migliori prestazioni. Ad esempio, abbiamo creato diverse versioni di set di dati utilizzando metodi di downsampling e aumento per superare i problemi di squilibrio dei dati. L'esecuzione di più processi di formazione con set di dati diversi in parallelo consente di trovare rapidamente il set di dati giusto. Con set di dati di nuvole di punti grandi e sbilanciati, SageMaker ha fornito la possibilità di eseguire rapidamente iterazioni utilizzando molte configurazioni di esperimenti e trasformazioni di dati.
Gli ingegneri ML potrebbero condurre esplorazioni iniziali di dati e algoritmi utilizzando istanze notebook a basso costo, quindi scaricare pesanti operazioni di dati su istanze di elaborazione più potenti. La fatturazione al secondo e la gestione automatica del ciclo di vita assicurano che le istanze di formazione più costose vengano avviate e arrestate automaticamente e rimangano attive solo per il tempo necessario, aumentando l'efficienza di utilizzo.
Il team è stato in grado di addestrare un modello a una velocità di 10.8 minuti per epoca su 17.2 GiB di dati non compressi su 1,571 file per un totale di circa 616 milioni di punti. Per deduzione, il team è stato in grado di elaborare 33.6 GiB di dati non compressi su 15 file per un totale di 1.2 miliardi di punti in 22.1 ore. Ciò si traduce nell'inferenza di una media di 15,760 punti al secondo, incluso il tempo di avvio ammortizzato.
Risolvere il problema della segmentazione semantica
Punti classificati del modello ML da una cattura ad ala fissa:
Punti classificati del modello ML da un'acquisizione mobile:
Il problema di assegnare ogni punto di una nuvola di punti a una categoria da un insieme di categorie è chiamato a segmentazione semantica problema. Le nuvole di punti 3D di AusNet provenienti da set di dati LiDAR sono costituite da milioni di punti. Etichettare in modo accurato ed efficiente ogni punto in una nuvola di punti 3D implica affrontare due sfide:
- Dati sbilanciati – Lo squilibrio di classi è un problema comune nelle nuvole di punti del mondo reale. Come visto nelle clip precedenti, la maggior parte dei punti è costituita da vegetazione, con un numero significativamente inferiore di punti composti da linee elettriche o conduttori che rappresentano meno dell'1% del totale dei punti. I modelli addestrati utilizzando il set di dati sbilanciato sono facilmente sbilanciati verso le classi maggiori e funzionano male su quelle minori. Questo squilibrio di classi è un problema comune nei dati delle nuvole di punti LiDAR per ambienti esterni. Per questo compito, è fondamentale avere buone prestazioni nella classificazione dei punti conduttori. Formare un modello che funzioni bene sia sulla classe maggiore che su quella minore è la sfida più grande.
- Nuvola di punti su larga scala – La quantità di dati della nuvola di punti provenienti dal sensore LiDAR può coprire una vasta area aperta. Nel caso di AusNet, il numero di punti per nuvola di punti può variare da centinaia di migliaia a decine di milioni, con ciascun file della nuvola di punti che varia da centinaia di megabyte fino a gigabyte. La maggior parte degli algoritmi ML di segmentazione delle nuvole di punti richiedono il campionamento perché gli operatori non possono prendere tutti i punti come input. Sfortunatamente, molti dei metodi di campionamento sono pesanti dal punto di vista computazionale, il che rende lenti sia l'addestramento che l'inferenza. In questo lavoro, dobbiamo scegliere l'algoritmo ML più efficiente che funzioni su nuvole di punti su larga scala.
I team AWS e AusNet hanno inventato una nuova strategia di downsampling tramite punti di clustering per risolvere il problema delle classi fortemente sbilanciate. Questa strategia di downsampling, insieme alle mitigazioni esistenti, come la ponderazione delle classi, ha contribuito a risolvere le sfide legate all'addestramento di un modello accurato con un set di dati sbilanciato e ha anche migliorato le prestazioni di inferenza. Abbiamo anche sperimentato una strategia di sovracampionamento duplicando le classi minori e posizionandole in posizioni diverse. Questo processo è stato creato come lavoro di elaborazione SageMaker in modo che possa essere applicato al set di dati appena acquisito per un ulteriore addestramento del modello all'interno di una pipeline MLOps.
I team hanno studiato vari modelli di segmentazione delle nuvole di punti considerando l'accuratezza, la scalabilità in termini di numero di punti e l'efficienza. Nel corso di molteplici esperimenti, abbiamo scelto un algoritmo ML all'avanguardia per la segmentazione semantica della nuvola di punti, che soddisfaceva i requisiti. Abbiamo anche adottato metodi di potenziamento in modo che il modello possa apprendere da vari set di dati.
Architettura della produzione
Per implementare la soluzione di segmentazione della nuvola di punti, il team ha progettato una pipeline ML utilizzando SageMaker per l'addestramento e l'inferenza. Il diagramma seguente illustra l'architettura di produzione complessiva.
La pipeline di addestramento presenta un contenitore di elaborazione personalizzato in SageMaker Processing per eseguire la conversione del formato della nuvola di punti, la rimappatura delle categorie, l'upsampling, il downsampling e la suddivisione del set di dati. Il processo di addestramento sfrutta le istanze multi-GPU in SageMaker con una maggiore capacità di memoria per supportare l'addestramento del modello con dimensioni batch maggiori.
Il flusso di lavoro di classificazione LiDAR di AusNet inizia con l'inserimento fino a terabyte di dati di nuvole di punti provenienti da veicoli di sorveglianza terrestre e aerea in Servizio di archiviazione semplice Amazon (Amazon S3). I dati vengono quindi elaborati e passati a una pipeline di inferenza per la classificazione della nuvola di punti. A supporto di ciò, viene utilizzata una trasformazione SageMaker per eseguire l'inferenza batch sul set di dati, con l'output classificato come file di nuvole di punti con punteggi di confidenza. L'output viene quindi elaborato dal motore di classificazione di AusNet, che analizza il punteggio di confidenza e genera un rapporto sulla gestione patrimoniale.
Uno degli aspetti chiave dell'architettura è che fornisce ad AusNet un approccio scalabile e modulare per sperimentare nuovi set di dati, tecniche di elaborazione dei dati e modelli. Con questo approccio, AusNet può adattare la propria soluzione alle mutevoli condizioni ambientali e adottare futuri algoritmi di segmentazione delle nuvole di punti.
Conclusione e prossimi passi con AusNet
In questo post, abbiamo discusso di come il team Geospatial di AusNet ha collaborato con gli scienziati di Amazon ML per automatizzare la classificazione dei punti LiDAR rimuovendo completamente la dipendenza dai dati di posizione GIS dall'attività di classificazione. Pertanto, il ritardo causato dalla correzione GIS manuale viene eliminato per rendere l'attività di classificazione più rapida e scalabile.
“Essere in grado di etichettare in modo rapido e accurato i dati dei nostri rilievi aerei è fondamentale per ridurre al minimo il rischio di incendi boschivi. Collaborando con Amazon Machine Learning Solutions Lab, siamo riusciti a creare un modello che ha raggiunto una precisione media dell'80.53% nell'etichettatura dei dati. Prevediamo di riuscire a ridurre i nostri sforzi di etichettatura manuale fino all'80% con la nuova soluzione", afferma Daniel Pendlebury, Product Manager di AusNet.
AusNet prevede che i modelli di classificazione ML svolgano un ruolo significativo nel promuovere l’efficienza nelle operazioni di rete. Espandendo le proprie librerie di classificazione automatica con nuovi modelli di segmentazione, AusNet può utilizzare vasti set di dati in modo più produttivo per garantire la fornitura di energia sicura e affidabile alle comunità di tutto il Victoria.
Ringraziamenti
Gli autori desiderano ringraziare Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King e Damian Bisignano di AusNet per il loro coinvolgimento nel progetto e per aver apportato la loro esperienza nel settore sui set di dati LiDAR e sull'addestramento ML utilizzando diversi algoritmi ML.
Laboratorio di soluzioni Amazon ML
Laboratorio di soluzioni Amazon ML abbina il tuo team a esperti di ML per aiutarti a identificare e implementare le opportunità di ML di maggior valore della tua organizzazione. Se desideri assistenza per accelerare l'uso del machine learning nei tuoi prodotti e processi, contatta il Laboratorio di soluzioni Amazon ML.
Informazioni sugli autori
Daniele Pendlebury è un Product Manager presso AusNet Services specializzato nella fornitura di prodotti di conformità innovativi e automatizzati ai servizi di pubblica utilità nelle aree di gestione della vegetazione e manutenzione delle risorse.
Natanaele Weldon è uno sviluppatore di software geospaziale presso Ausnet Services. È specializzato nella costruzione e messa a punto di sistemi di elaborazione dati geospaziali su larga scala, con esperienza nei settori dei servizi pubblici, delle risorse e dell'ambiente.
David Motamed è un account manager presso Amazon Web Services. Con sede a Melbourne, in Australia, aiuta i clienti aziendali ad avere successo nel loro percorso di trasformazione digitale.
Simone Johnston è un leader nel campo dell'intelligenza artificiale ed è responsabile del business AI/ML di Amazon Web Services in Australia e Nuova Zelanda, specializzato in strategia ed economia dell'IA. Oltre 20 anni di esperienza nella ricerca, gestione e consulenza (Stati Uniti, UE, APAC) che coprono una gamma di iniziative innovative di ricerca e commercializzazione guidate dal settore nell'ambito dell'intelligenza artificiale, coinvolgendo start-up/PMI/grandi aziende e l'ecosistema più ampio.
Derrick Choo è un Solutions Architect presso Amazon Web Services. Ha sede a Melbourne, in Australia, e lavora a stretto contatto con i clienti aziendali per accelerare il loro viaggio nel cloud. La sua passione è aiutare i clienti a creare valore attraverso l'innovazione e la creazione di applicazioni scalabili e nutre un particolare interesse per l'intelligenza artificiale e il machine learning.
Muhyun Kim è un data scientist presso Amazon Machine Learning Solutions Lab. Risolve i vari problemi aziendali dei clienti applicando l'apprendimento automatico e l'apprendimento profondo e li aiuta anche a diventare esperti.
Sujoy Roy è uno scienziato dell'Amazon Machine Learning Solutions Lab con oltre 20 anni di esperienza accademica e industriale nella creazione e distribuzione di soluzioni basate su ML per problemi aziendali. Ha applicato l'apprendimento automatico per risolvere i problemi dei clienti in settori quali telecomunicazioni, media e intrattenimento, tecnologia pubblicitaria, telerilevamento, vendita al dettaglio e produzione.
Jiyang Kan è Senior Deep Learning Architect presso Amazon ML Solutions Lab, dove aiuta i clienti AWS in diversi settori con l'adozione dell'intelligenza artificiale e del cloud. Prima di entrare in Amazon ML Solutions Lab, ha lavorato come Solutions Architect per uno dei clienti aziendali più avanzati di AWS, progettando vari carichi di lavoro cloud su scala globale su AWS. In precedenza ha lavorato come sviluppatore di software e architetto di sistema per aziende come Samsung Electronics in settori quali semiconduttori, reti e telecomunicazioni.
Eden Duthie è a capo del team dei servizi professionali di apprendimento per rinforzo presso AWS. Eden è appassionata di sviluppo di soluzioni decisionali per i clienti. È particolarmente interessato ad aiutare i clienti industriali con una forte attenzione all'ottimizzazione della catena di fornitura.
- '
- 000
- 100
- 3d
- 7
- Il mio account
- Contabilità
- attivo
- aggiuntivo
- Adozione
- Vantaggio
- AI
- algoritmo
- Algoritmi
- Tutti
- Consentire
- Amazon
- Apprendimento automatico di Amazon
- Amazon Sage Maker
- Amazon Web Services
- tra
- analitica
- applicazioni
- architettura
- RISERVATA
- in giro
- attività
- gestione delle risorse
- Attività
- Australia
- gli autori
- Automatizzata
- Automazione
- disponibilità
- AWS
- MIGLIORE
- fatturazione
- Miliardo
- costruire
- Costruzione
- affari
- aziende
- Ultra-Grande
- capitale
- Challenge
- classificazione
- Cloud
- adozione del cloud
- codice
- collaborazione
- Uncommon
- Comunità
- Aziende
- conformità
- Calcolare
- conduttore
- fiducia
- consulting
- Contenitore
- Conversione
- Costi
- crisi
- Clienti
- dati
- elaborazione dati
- scienziato di dati
- Decision Making
- apprendimento profondo
- ritardo
- Richiesta
- Costruttori
- sviluppatori
- digitale
- DIGITAL TRANSFORMATION
- guida
- Droni
- Economia
- economia
- ecosistema
- efficienza
- Elettronica
- energia
- Ingegneri
- Inghilterra
- Impresa
- clienti aziendali
- Intrattenimento
- ambientale
- EU
- eventi
- Espandere
- espansione
- esperienza
- esperimento
- esperti
- Caratteristiche
- Flessibilità
- Focus
- modulo
- formato
- futuro
- globali
- buono
- GPS
- GPU
- Crescita
- Hardware
- elicottero
- elicotteri
- Alta
- Come
- HTTPS
- Enorme
- centinaia
- identificare
- Compreso
- industriale
- industrie
- industria
- informazioni
- Infrastruttura
- Innovazione
- creativi e originali
- interesse
- indagare
- sicurezza
- IT
- Lavoro
- Offerte di lavoro
- Le
- King
- etichettatura
- lavoro
- grandi
- laser
- portare
- IMPARARE
- apprendimento
- trattare
- leggera
- località
- Lunghi
- machine learning
- maggiore
- Maggioranza
- Fare
- gestione
- consigliato per la
- misurare
- Media
- Melbourne
- Metrica
- milione
- minori
- ML
- Algoritmi ML
- MLOp
- Mobile
- modello
- componibile
- Rete
- internazionale
- Nuova Zelanda
- aprire
- Operazioni
- Opportunità
- Altri
- All'aperto
- performance
- pilota
- Planes
- energia
- Prodotto
- Produzione
- Prodotti
- progetto
- proprietà
- gamma
- ridurre
- insegnamento rafforzativo
- fiducia
- rapporto
- Requisiti
- riparazioni
- Risorse
- nello specifico retail
- problemi
- Rischio
- Rotolo
- Correre
- running
- sicura
- Sicurezza
- sagemaker
- Samsung
- risparmio
- Scalabilità
- Scala
- scienziati
- Settori
- Semiconduttori
- Servizi
- set
- Un'espansione
- Taglia
- PMI
- So
- Social
- Software
- Soluzioni
- RISOLVERE
- specializzata
- iniziato
- startup
- conservazione
- Strategia
- il successo
- fornire
- supply chain
- supporto
- sorveglianza
- Indagine
- sistema
- SISTEMI DI TRATTAMENTO
- tecniche
- Tecnologia
- Telco
- telecomunicazioni
- il mondo
- tempo
- Training
- Trasformazione
- viaggiare
- triliardi
- us
- utilità
- APPREZZIAMO
- Veicoli
- Ventures
- sito web
- servizi web
- Ala
- entro
- Lavora
- sicurezza dei lavoratori
- flusso di lavoro
- lavori
- mondo
- X
- anno
- anni