L'Est de l'Australie est l'une des régions du monde les plus sujettes aux incendies. Bien que les feux de brousse se produisent régulièrement en Australie, la crise des feux de brousse de 2019-2020 a incendié plus de 17 millions d'hectares de terres (plus grandes que la taille de l'Angleterre), coûtant à l'économie australienne plus de 100 milliards de dollars entre les coûts immobiliers, d'infrastructure, sociaux et environnementaux. .
Avec des événements météorologiques de plus en plus extrêmes, le risque de feux de brousse en Australie ne disparaîtra pas de si tôt. Cela signifie que la responsabilité des opérateurs de réseaux énergétiques australiens de maintenir un approvisionnement sûr et fiable n'a jamais été aussi grande.
Le réseau énergétique australien comprend plus de 880,000 22 kilomètres de lignes de distribution et de transmission (environ 7 voyages autour de la circonférence de la Terre) et XNUMX millions de poteaux électriques. Les conditions climatiques extrêmes et la croissance de la végétation à proximité des lignes électriques doivent être soigneusement gérées pour atténuer les risques de feux de brousse.
Dans cet article, nous expliquons comment AusNet utilise l'apprentissage automatique (ML) et Amazon Sage Maker pour aider à atténuer les feux de brousse.
Innovation AusNet avec LiDAR
AusNet gère 54,000 1.5 kilomètres de lignes électriques et apporte de l'énergie à plus de 62 million de foyers et d'entreprises de l'État de Victoria. XNUMX% de ce réseau est situé dans des zones à haut risque de feux de brousse. AusNet a développé une solution innovante pour entretenir en toute sécurité son réseau énergétique et minimiser le risque que la végétation endommage le réseau.
Depuis 2009, AusNet capture des données LiDAR de haute qualité sur l'ensemble du réseau à l'aide de systèmes de cartographie aérienne et routière. LiDAR est une méthode de télédétection qui utilise la lumière sous la forme d'un laser pulsé pour mesurer les distances et les directions. Un point détecté d'un objet possède des informations de coordonnées 3D (x, y, z) ainsi que des attributs supplémentaires tels que la densité, le nombre de retours, le numéro de retour, l'horodatage GPS, etc. Ces points sont représentés sous la forme d'un nuage de points 3D, qui est une collection de toutes les informations de points. Lors du traitement, le LiDAR est transformé en un modèle 3D des actifs du réseau d'AusNet, identifiant la croissance de la végétation qui doit être coupée pour la sécurité contre les feux de brousse.
Le processus précédent de classification LiDAR utilisait une inférence basée sur des règles métier, avec une forte dépendance à l'emplacement précis des actifs du système d'information géographique (SIG) pour piloter l'automatisation. Un travail manuel à l'aide d'outils d'étiquetage personnalisés était nécessaire pour étiqueter correctement les points LiDAR où les emplacements des actifs étaient inexacts ou n'existaient tout simplement pas. La correction manuelle et la classification des points LiDAR ont augmenté les délais de traitement et rendu difficile la mise à l'échelle.
AusNet et Amazon Machine Learning
L'équipe géospatiale d'AusNet s'est associée aux spécialistes d'Amazon ML, y compris Amazon Machine Learning Solutions Lab et Professional Services, pour étudier comment ML pourrait automatiser la classification des points LiDAR et accélérer le processus onéreux de correction manuelle des données de localisation SIG inexactes.
Le coût annuel de la classification précise de billions de points LiDAR capturés qui représentent les différentes configurations de réseau autour de l'Australie dépassait 700,000 XNUMX $ par an et inhibait la capacité d'AusNet à étendre cela à de plus grandes zones du réseau.
AusNet et AWS se sont associés pour utiliser Amazon Sage Maker pour expérimenter et créer des modèles d'apprentissage en profondeur afin d'automatiser la classification ponctuelle de cette vaste collection de données LiDAR. Amazon SageMaker est un service entièrement géré qui aide les spécialistes des données et les développeurs à préparer, créer, former et déployer rapidement des modèles d'apprentissage automatique de haute qualité. L'équipe AusNet et AWS a construit avec succès un modèle de segmentation sémantique qui a classé avec précision les données de nuage de points 3D dans les catégories suivantes : conducteur, bâtiment, poteau, végétation et autres.
Résultats pour AusNet et l'atténuation des feux de brousse
La collaboration entre AWS et AusNet a été un énorme succès, produisant les résultats suivants pour l'entreprise et la réduction des risques d'incendie :
- Sécurité accrue des travailleurs en utilisant les données LiDAR et en réduisant le besoin d'ingénieurs, de géomètres et de concepteurs de se déplacer sur les sites
- Résultat : une précision de 80.53 % dans les cinq catégories de segmentation, permettant à AusNet d'économiser environ 500,000 XNUMX AUD par an grâce à la classification automatisée
- Précision de 91.66 % et 92 % dans la détection des conducteurs et de la végétation, respectivement, améliorant la classification automatique des deux classes de segments les plus importantes
- Fournit la flexibilité d'utiliser les données LiDAR obtenues à partir de drones, d'hélicoptères, d'avions et de véhicules terrestres, tout en tenant compte de la variabilité unique de chaque source de données
- A permis à l'entreprise d'innover plus rapidement et d'étendre les analyses sur l'ensemble de son réseau en réduisant la dépendance aux données de référence SIG et aux processus de correction manuelle
- Possibilité d'adapter l'analyse à l'ensemble de leur réseau énergétique avec une automatisation accrue du ML et une dépendance réduite aux processus manuels de correction SIG
Le tableau suivant décrit les performances du modèle de segmentation sémantique sur des données invisibles (mesurées à l'aide de mesures de "précision" et de "rappel", les plus élevées étant les meilleures), dans les cinq catégories.
Points classifiés du modèle ML à partir d'une capture par hélicoptère :
Vue d'ensemble de la solution
L'équipe ML Solutions Lab a fait appel à une équipe de scientifiques et d'architectes ML hautement expérimentés pour aider à stimuler l'innovation et l'expérimentation. Forte d'une expérience de pointe en ML dans tous les secteurs, l'équipe a collaboré avec l'équipe géospatiale d'AusNet pour résoudre certains des problèmes technologiques les plus difficiles pour l'entreprise. Sur la base des capacités ML approfondies de SageMaker, AusNet et AWS ont pu terminer le pilote en seulement 8 semaines.
L'étendue et la profondeur de SageMaker ont joué un rôle clé en permettant aux développeurs et aux scientifiques des données d'AusNet et d'AWS de collaborer sur le projet. L'équipe a utilisé des fonctionnalités de partage de code et de bloc-notes et a facilement accédé à des ressources de calcul ML à la demande pour la formation. L'élasticité de SageMaker a permis à l'équipe d'itérer rapidement. L'équipe a également pu profiter de la disponibilité de différentes configurations matérielles pour expérimenter sur AWS sans avoir à investir dans un capital initial pour acquérir du matériel sur site. Cela a permis à AusNet de choisir facilement les ressources ML de la bonne taille et d'adapter ses expériences à la demande. La flexibilité et la disponibilité des ressources GPU sont essentielles, en particulier lorsque la tâche ML nécessite des expériences de pointe.
Nous avons utilisé des instances de bloc-notes SageMaker pour explorer les données et développer du code de prétraitement, et utilisé des tâches de traitement et de formation SageMaker pour des charges de travail à grande échelle. L'équipe a également utilisé l'optimisation des hyperparamètres (HPO) pour itérer rapidement sur plusieurs tâches de formation avec diverses configurations et versions d'ensembles de données afin d'affiner les hyperparamètres et de trouver le modèle le plus performant. Par exemple, nous avons créé différentes versions d'ensembles de données en utilisant des méthodes d'échantillonnage et d'augmentation pour surmonter les problèmes de déséquilibre des données. L'exécution de plusieurs tâches d'entraînement avec différents jeux de données en parallèle vous permet de trouver rapidement le bon jeu de données. Avec des ensembles de données de nuages de points volumineux et déséquilibrés, SageMaker a permis d'itérer rapidement à l'aide de nombreuses configurations d'expériences et de transformations de données.
Les ingénieurs ML pourraient effectuer des explorations initiales des données et des algorithmes à l'aide d'instances de bloc-notes à faible coût, puis décharger les opérations de données lourdes sur les instances de traitement les plus puissantes. La facturation à la seconde et la gestion automatique du cycle de vie garantissent que les instances de formation les plus coûteuses sont démarrées et arrêtées automatiquement et ne restent actives que le temps nécessaire, ce qui augmente l'efficacité d'utilisation.
L'équipe a pu former un modèle à un rythme de 10.8 minutes par époque sur 17.2 Gio de données non compressées sur 1,571 616 fichiers totalisant environ 33.6 millions de points. Pour l'inférence, l'équipe a pu traiter 15 Gio de données non compressées sur 1.2 fichiers totalisant 22.1 milliard de points en 15,760 heures. Cela se traduit par une inférence moyenne de XNUMX XNUMX points par seconde, y compris le temps de démarrage amorti.
Résolution du problème de segmentation sémantique
Points classifiés du modèle ML à partir d'une capture à voilure fixe :
Modèle ML classifié des points à partir d'une capture mobile :
Le problème d'assigner chaque point d'un nuage de points à une catégorie à partir d'un ensemble de catégories s'appelle un segmentation sémantique problème. Les nuages de points 3D d'AusNet à partir des ensembles de données LiDAR se composent de millions de points. Étiqueter avec précision et efficacité chaque point d'un nuage de points 3D implique de relever deux défis :
- Données déséquilibrées – Le déséquilibre des classes est un problème courant dans les nuages de points du monde réel. Comme on le voit dans les clips précédents, la majorité des points sont constitués de végétation, avec beaucoup moins de points composés de lignes électriques ou de conducteurs représentant moins de 1 % du total des points. Les modèles formés à l'aide de l'ensemble de données déséquilibré sont facilement biaisés vers les classes principales et fonctionnent mal sur les mineurs. Ce déséquilibre de classe est un problème courant dans les données de nuages de points LiDAR pour les environnements extérieurs. Pour cette tâche, il est essentiel d'avoir de bonnes performances dans la classification des points conducteurs. La formation d'un modèle qui fonctionne bien sur la classe majeure et mineure est le plus grand défi.
- Nuage de points à grande échelle – La quantité de données de nuage de points du capteur LiDAR peut couvrir une grande zone ouverte. Dans le cas d'AusNet, le nombre de points par nuage de points peut aller de centaines de milliers à des dizaines de millions, chaque fichier de nuage de points variant de centaines de mégaoctets à gigaoctets. La plupart des algorithmes ML de segmentation de nuages de points nécessitent un échantillonnage car les opérateurs ne peuvent pas prendre tous les points en entrée. Malheureusement, de nombreuses méthodes d'échantillonnage sont lourdes en termes de calcul, ce qui ralentit à la fois l'apprentissage et l'inférence. Dans ce travail, nous devons choisir l'algorithme ML le plus efficace qui fonctionne sur des nuages de points à grande échelle.
Les équipes AWS et AusNet ont inventé une nouvelle stratégie de sous-échantillonnage via des points de regroupement pour résoudre le problème des classes fortement déséquilibrées. Cette stratégie de sous-échantillonnage, associée aux mesures d'atténuation existantes, telles que la pondération des classes, a aidé à résoudre les problèmes de formation d'un modèle précis avec un ensemble de données déséquilibré et a également amélioré les performances d'inférence. Nous avons également expérimenté une stratégie de suréchantillonnage en dupliquant les classes mineures et en les plaçant à différents endroits. Ce processus a été conçu comme une tâche de traitement SageMaker afin qu'il puisse être appliqué à l'ensemble de données nouvellement acquis pour une formation ultérieure du modèle dans un pipeline MLOps.
Les équipes ont étudié divers modèles de segmentation de nuages de points en tenant compte de la précision, de l'évolutivité en termes de nombre de points et de l'efficacité. Au cours de plusieurs expériences, nous avons choisi un algorithme ML à la pointe de la technologie pour une segmentation sémantique en nuage de points, qui répondait aux exigences. Nous avons également adopté des méthodes d'augmentation afin que le modèle puisse apprendre à partir de divers ensembles de données.
Architecture de production
Pour déployer la solution de segmentation de nuages de points, l'équipe a conçu un pipeline ML utilisant SageMaker pour la formation et l'inférence. Le schéma suivant illustre l'architecture de production globale.
Le pipeline de formation comprend un conteneur de traitement personnalisé dans SageMaker Processing pour effectuer la conversion du format de nuage de points, le remappage des catégories, le suréchantillonnage, le sous-échantillonnage et le fractionnement de l'ensemble de données. La tâche de formation tire parti des instances multi-GPU de SageMaker avec une capacité de mémoire supérieure pour prendre en charge la formation du modèle avec une taille de lot plus importante.
Le flux de travail de classification LiDAR d'AusNet commence par l'ingestion de jusqu'à téraoctets de données de nuages de points provenant de véhicules de surveillance terrestres et aériens dans Service de stockage simple Amazon (Amazon S3). Les données sont ensuite traitées et transmises à un pipeline d'inférence pour la classification des nuages de points. Pour prendre en charge cela, une transformation SageMaker est utilisée pour exécuter l'inférence par lots sur l'ensemble de données, la sortie étant des fichiers de nuage de points classés avec des scores de confiance. La sortie est ensuite traitée par le moteur de classification d'AusNet, qui analyse le score de confiance et génère un rapport de gestion des actifs.
L'un des aspects clés de l'architecture est qu'elle fournit à AusNet une approche évolutive et modulaire pour expérimenter de nouveaux ensembles de données, des techniques de traitement de données et des modèles. Grâce à cette approche, AusNet peut adapter sa solution aux conditions environnementales changeantes et adopter les futurs algorithmes de segmentation des nuages de points.
Conclusion et prochaines étapes avec AusNet
Dans cet article, nous avons expliqué comment l'équipe géospatiale d'AusNet s'est associée aux scientifiques d'Amazon ML pour automatiser la classification des points LiDAR en supprimant complètement la dépendance aux données de localisation SIG de la tâche de classification. Par conséquent, le retard causé par la correction SIG manuelle est supprimé pour rendre la tâche de classification plus rapide et évolutive.
« Pouvoir étiqueter rapidement et avec précision nos données de relevés aériens est un élément essentiel pour minimiser le risque de feux de brousse. En collaboration avec Amazon Machine Learning Solutions Lab, nous avons pu créer un modèle qui a atteint une précision moyenne de 80.53 % dans l'étiquetage des données. Nous espérons pouvoir réduire nos efforts d'étiquetage manuel jusqu'à 80 % grâce à la nouvelle solution », déclare Daniel Pendlebury, chef de produit chez AusNet.
AusNet envisage que les modèles de classification ML jouent un rôle important dans l'amélioration de l'efficacité de leurs opérations réseau. En élargissant leurs bibliothèques de classification automatique avec de nouveaux modèles de segmentation, AusNet peut utiliser de vastes ensembles de données de manière plus productive pour assurer un approvisionnement sûr et fiable en énergie aux communautés de Victoria.
Remerciements
Les auteurs tiennent à remercier Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King et Damian Bisignano d'AusNet pour leur implication dans le projet et l'apport de leur expertise dans le domaine des ensembles de données LiDAR et de la formation ML à l'aide de différents algorithmes ML.
Laboratoire de solutions Amazon ML
Laboratoire de solutions Amazon ML associe votre équipe à des experts en ML pour vous aider à identifier et à mettre en œuvre les opportunités de ML les plus rentables de votre organisation. Si vous souhaitez de l'aide pour accélérer votre utilisation du ML dans vos produits et processus, veuillez contacter le Laboratoire de solutions Amazon ML.
À propos des auteurs
Daniel Pendlebury est chef de produit chez AusNet Services, spécialisé dans la fourniture de produits de conformité innovants et automatisés aux services publics dans les domaines de la gestion de la végétation et de la maintenance des actifs.
Nathanaël Weldon est développeur de logiciels géospatiaux chez Ausnet Services. Il se spécialise dans la construction et le réglage de systèmes de traitement de données géospatiales à grande échelle, avec une expérience dans les secteurs des services publics, des ressources et de l'environnement.
David Motame est gestionnaire de compte chez Amazon Web Services. Basé à Melbourne, en Australie, il aide les entreprises clientes à réussir leur parcours de transformation numérique.
Simon Johnstone est un leader de l'IA et est responsable de l'activité AI/ML d'Amazon Web Services en Australie et en Nouvelle-Zélande, spécialisée dans la stratégie et l'économie de l'IA. Plus de 20 ans d'expérience dans la recherche, la gestion et le conseil (États-Unis, UE, APAC) couvrant une gamme d'entreprises de recherche et de commercialisation en IA innovantes et dirigées par l'industrie - s'engageant dans les start-ups / PME / grands corps et l'écosystème au sens large.
Derrick Choo est architecte de solutions chez Amazon Web Services. Il est basé à Melbourne, en Australie, et travaille en étroite collaboration avec les entreprises clientes pour accélérer leur parcours dans le cloud. Il se passionne pour aider les clients à créer de la valeur grâce à l'innovation et à la création d'applications évolutives et s'intéresse particulièrement à l'IA et au ML.
Mu Hyun Kim est un data scientist chez Amazon Machine Learning Solutions Lab. Il résout les divers problèmes commerciaux des clients en appliquant l'apprentissage automatique et l'apprentissage en profondeur, et les aide également à devenir qualifiés.
Sujoy Roy est un scientifique du Amazon Machine Learning Solutions Lab avec plus de 20 ans d'expérience académique et industrielle dans la création et le déploiement de solutions basées sur ML pour les problèmes commerciaux. Il a appliqué l'apprentissage automatique pour résoudre les problèmes des clients dans des secteurs tels que les télécommunications, les médias et le divertissement, l'AdTech, la télédétection, la vente au détail et la fabrication.
Jiyang-Kang est architecte senior en apprentissage profond chez Amazon ML Solutions Lab, où il aide les clients AWS de plusieurs secteurs à adopter l'IA et le cloud. Avant de rejoindre Amazon ML Solutions Lab, il a travaillé en tant qu'architecte de solutions pour l'une des entreprises clientes les plus avancées d'AWS, concevant diverses charges de travail cloud à l'échelle mondiale sur AWS. Auparavant, il a travaillé comme développeur de logiciels et architecte système pour des entreprises telles que Samsung Electronics dans des secteurs tels que les semi-conducteurs, les réseaux et les télécommunications.
Eden Duthie est le responsable de l'équipe des services professionnels d'apprentissage par renforcement chez AWS. Eden est passionné par le développement de solutions d'aide à la décision pour les clients. Il est particulièrement intéressé à aider les clients industriels en mettant l'accent sur l'optimisation de la chaîne d'approvisionnement.
- '
- 000
- 100
- 3d
- 7
- Compte
- Comptabilité
- infection
- Supplémentaire
- Adoption
- Avantage
- AI
- algorithme
- algorithmes
- Tous
- Permettre
- Amazon
- Apprentissage automatique d'Amazon
- Amazon Sage Maker
- Amazon Web Services
- parmi
- analytique
- applications
- architecture
- Réservé
- autour
- atout
- la gestion d'actifs
- Outils
- Australie
- auteurs
- Automatisation
- Automation
- disponibilité
- AWS
- LES MEILLEURS
- facturation
- Milliards
- construire
- Développement
- la performance des entreprises
- entreprises
- Compétences
- capital
- challenge
- classification
- le cloud
- adoption du cloud
- code
- collaboration
- Commun
- Communautés
- Sociétés
- conformité
- calcul
- Conducteur
- confiance
- consulting
- Contenant
- Conversion
- Costs
- crise
- Clients
- données
- informatique
- Data Scientist
- La prise de décision
- l'apprentissage en profondeur
- retarder
- Demande
- Développeur
- mobiles
- numérique
- Transformation numérique
- conduite
- Drones
- Économie
- économie
- risque numérique
- efficace
- Electronique
- énergie
- Les ingénieurs
- de l'Angleterre
- Entreprise
- clients entreprise
- Divertissement
- environnementales
- EU
- événements
- Développer vous
- expansion
- Découvrez
- expérience
- de santé
- Fonctionnalités:
- Flexibilité
- Focus
- formulaire
- le format
- avenir
- Global
- Bien
- gps
- GPU
- Croissance
- Matériel
- hélicoptère
- hélicoptères
- Haute
- Comment
- HTTPS
- majeur
- Des centaines
- identifier
- Y compris
- industriel
- secteurs
- industrie
- d'information
- Infrastructure
- Innovation
- technologie innovante
- intérêt
- enquêter
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- Emploi
- Emplois
- clés / KEY :
- King
- l'étiquetage
- COUTURE
- gros
- laser
- conduire
- APPRENTISSAGE
- apprentissage
- traiter
- lumière
- emplacement
- Location
- machine learning
- majeur
- Majorité
- Fabrication
- gestion
- fabrication
- mesurer
- Médias
- Melbourne
- Métrique
- million
- mineurs
- ML
- Algorithmes ML
- MLOps
- Breeze Mobile
- modèle
- application
- réseau et
- de mise en réseau
- New Zealand
- ouvert
- Opérations
- Opportunités
- Autres
- Extérieur
- performant
- pilote
- Plans
- power
- Produit
- Vidéo
- Produits
- Projet
- propriété
- gamme
- réduire
- apprentissage par renforcement
- dépendance
- rapport
- Exigences
- un article
- Ressources
- détail
- Retours
- Analyse
- Roulent
- Courir
- pour le running
- des
- Sécurité
- sagemaker
- Samsung
- économie
- Évolutivité
- Escaliers intérieurs
- scientifiques
- Secteurs
- Semi-conducteurs
- Services
- set
- étapes
- Taille
- PME
- So
- Réseaux sociaux
- Logiciels
- Solutions
- RÉSOUDRE
- spécialise
- j'ai commencé
- Commencez
- storage
- de Marketing
- succès
- la quantité
- chaîne d'approvisionnement
- Support
- surveillance
- Sondage
- combustion propre
- Système
- techniques
- Technologie
- Telco
- télécommunications
- le monde
- fiable
- Formation
- De La Carrosserie
- Voyage
- trillions
- us
- les services publics
- Plus-value
- Véhicules
- Entreprises
- web
- services Web
- Aile
- dans les
- Activités:
- la sécurité des travailleurs
- workflow
- vos contrats
- world
- X
- an
- années