El este de Australia se encuentra entre las regiones más propensas a incendios del mundo. Aunque los incendios forestales ocurren regularmente en Australia, la crisis de incendios forestales de 2019-2020 incendió más de 17 millones de hectáreas de tierra (más grande que el tamaño de Inglaterra), lo que le costó a la economía australiana más de $ 100 mil millones entre costos de propiedad, infraestructura, sociales y ambientales. .
Con eventos climáticos cada vez más extremos, el riesgo de incendios forestales en Australia no va a desaparecer pronto. Esto significa que la responsabilidad de los operadores de redes de energía de Australia de mantener un suministro seguro y confiable nunca ha sido mayor.
La red energética australiana incluye más de 880,000 kilómetros de líneas de distribución y transmisión (aproximadamente 22 viajes alrededor de la circunferencia de la Tierra) y 7 millones de postes de energía. Las condiciones climáticas extremas y el crecimiento de la vegetación cerca de las líneas eléctricas deben manejarse con cuidado para mitigar el riesgo de incendios forestales.
En esta publicación, discutimos cómo AusNet usa el aprendizaje automático (ML) y Amazon SageMaker para ayudar a mitigar los incendios forestales.
Innovación de AusNet con LiDAR
AusNet gestiona 54,000 kilómetros de líneas eléctricas y lleva energía a más de 1.5 millones de hogares y empresas de Victoria. El 62% de esta red se encuentra en zonas de alto riesgo de incendios forestales. AusNet ha desarrollado una solución innovadora para mantener de manera segura su red de energía y minimizar el riesgo de que la vegetación cause daños a la red.
Desde 2009, AusNet ha estado capturando datos LiDAR de alta calidad en toda la red utilizando sistemas de mapeo tanto aéreos como basados en carreteras. LiDAR es un método de detección remota que utiliza luz en forma de láser pulsado para medir distancias y direcciones. Un punto detectado de un objeto tiene información de coordenadas 3D (x, y, z), así como atributos adicionales como densidad, número de retornos, número de retorno, marca de tiempo GPS, etc. Esos puntos se representan como una nube de puntos 3D, que es una colección de toda la información de puntos. Tras el procesamiento, el LiDAR se convierte en un modelo 3D de los activos de la red de AusNet, lo que identifica el crecimiento de la vegetación que debe recortarse para la seguridad contra incendios forestales.
El proceso anterior para la clasificación LiDAR utilizaba la inferencia impulsada por reglas comerciales, con una gran dependencia de las ubicaciones precisas de los activos del Sistema de Información Geográfica (GIS) para impulsar la automatización. Se requería un esfuerzo de mano de obra manual con herramientas de etiquetado personalizadas para etiquetar correctamente los puntos LiDAR donde las ubicaciones de los activos eran inexactas o simplemente no existían. La corrección y clasificación manual de los puntos LiDAR aumentó los tiempos de procesamiento y dificultó la escalabilidad.
Aprendizaje automático de AusNet y Amazon
El equipo geoespacial de AusNet se asoció con los especialistas de Amazon ML, incluido Amazon Machine Learning Solutions Lab y Professional Services, para investigar cómo ML podría automatizar la clasificación de puntos LiDAR y acelerar el oneroso proceso de corregir manualmente los datos de ubicación GIS inexactos.
El costo anual de clasificar con precisión billones de puntos LiDAR capturados que representan las diferentes configuraciones de red en Australia superó los $ 700,000 por año e inhibió la capacidad de AusNet para expandir esto a áreas más grandes de la red.
AusNet y AWS se unieron para usar Amazon SageMaker para experimentar y construir modelos de aprendizaje profundo para automatizar la clasificación puntual de esta gran colección de datos LiDAR. Amazon SageMaker es un servicio completamente administrado que ayuda a los científicos y desarrolladores de datos a preparar, crear, entrenar e implementar rápidamente modelos de aprendizaje automático de alta calidad. El equipo de AusNet y AWS creó con éxito un modelo de segmentación semántica que clasificó con precisión los datos de la nube de puntos 3D en las siguientes categorías: conductor, edificio, poste, vegetación y otros.
Resultados de AusNet y mitigación de incendios forestales
La colaboración entre AWS y AusNet fue un gran éxito y produjo los siguientes resultados tanto para el negocio como para la reducción del riesgo de incendios forestales:
- Mayor seguridad de los trabajadores mediante el uso de datos LiDAR y la reducción de la necesidad de que los ingenieros, topógrafos y diseñadores viajen a los sitios
- Resultó en una precisión del 80.53 % en las cinco categorías de segmentación, lo que ahorró a AusNet un estimado de AUD $500,000 XNUMX por año a través de la clasificación automatizada
- Proporcionó un 91.66 % y un 92 % de precisión en la detección de conductores y vegetación, respectivamente, mejorando la clasificación automática de las dos clases de segmentos más importantes
- Proporcionó la flexibilidad para utilizar datos LiDAR obtenidos de drones, helicópteros, aviones y vehículos terrestres, teniendo en cuenta la variabilidad única de cada fuente de datos.
- Permitió que la empresa innovara más rápido y escalara los análisis en toda su red al reducir la dependencia de los datos de referencia GIS y los procesos de corrección manual.
- Proporcionó la capacidad de escalar el análisis en toda su red de energía con una mayor automatización de ML y una menor dependencia de los procesos manuales de corrección GIS.
La siguiente tabla muestra el rendimiento del modelo de segmentación semántica en datos no vistos (medidos utilizando métricas de "precisión" y "recordación", siendo mayor cuanto mejor), en las cinco categorías.
Puntos clasificados del modelo ML de una captura de helicóptero:
Resumen de la solución
El equipo de ML Solutions Lab incorporó un equipo de científicos y arquitectos de ML altamente experimentados para ayudar a impulsar la innovación y la experimentación. Con experiencia en aprendizaje automático de vanguardia en todas las industrias, el equipo colaboró con el equipo geoespacial de AusNet para resolver algunos de los problemas tecnológicos más desafiantes para el negocio. Con base en las capacidades profundas de ML de SageMaker, AusNet y AWS pudieron completar el piloto en solo 8 semanas.
La amplitud y profundidad de SageMaker jugaron un papel clave al permitir que los desarrolladores y científicos de datos de AusNet y AWS colaboraran en el proyecto. El equipo utilizó funciones de uso compartido de código y cuadernos y accedió fácilmente a los recursos informáticos de aprendizaje automático bajo demanda para la formación. La elasticidad de SageMaker permitió al equipo iterar rápidamente. El equipo también pudo aprovechar la disponibilidad de diferentes configuraciones de hardware para experimentar en AWS sin necesidad de invertir capital inicial para adquirir hardware local. Esto permitió a AusNet elegir fácilmente los recursos de ML del tamaño correcto y escalar sus experimentos a pedido. La flexibilidad y la disponibilidad de los recursos de GPU son fundamentales, especialmente cuando la tarea de ML requiere experimentos de vanguardia.
Usamos instancias de notebooks de SageMaker para explorar los datos y desarrollar código de preprocesamiento, y usamos trabajos de procesamiento y capacitación de SageMaker para cargas de trabajo a gran escala. El equipo también usó la optimización de hiperparámetros (HPO) para iterar rápidamente en múltiples trabajos de entrenamiento con varias configuraciones y versiones de conjuntos de datos para ajustar los hiperparámetros y encontrar el modelo con mejor rendimiento. Por ejemplo, creamos diferentes versiones de conjuntos de datos utilizando métodos de reducción de muestreo y aumento para superar los problemas de desequilibrio de datos. Ejecutar múltiples trabajos de entrenamiento con diferentes conjuntos de datos en paralelo le permite encontrar el conjunto de datos correcto rápidamente. Con conjuntos de datos de nubes de puntos grandes y desequilibrados, SageMaker brindó la capacidad de iterar rápidamente usando muchas configuraciones de experimentos y transformaciones de datos.
Los ingenieros de ML podrían realizar exploraciones iniciales de datos y algoritmos utilizando instancias de portátiles de bajo costo y luego descargar operaciones de datos pesados a las instancias de procesamiento más potentes. La facturación por segundo y la administración automática del ciclo de vida garantizan que las instancias de capacitación más costosas se inicien y detengan automáticamente y solo permanezcan activas durante el tiempo necesario, lo que aumenta la eficiencia de utilización.
El equipo pudo entrenar un modelo a una velocidad de 10.8 minutos por época en 17.2 GiB de datos sin comprimir en 1,571 archivos que suman aproximadamente 616 millones de puntos. A modo de inferencia, el equipo pudo procesar 33.6 GiB de datos sin comprimir en 15 archivos con un total de 1.2 millones de puntos en 22.1 horas. Esto se traduce en inferir un promedio de 15,760 puntos por segundo, incluido el tiempo de inicio amortizado.
Resolviendo el problema de la segmentación semántica
El modelo ML clasificó los puntos de una captura de ala fija:
Puntos clasificados del modelo ML desde una captura móvil:
El problema de asignar cada punto en una nube de puntos a una categoría de un conjunto de categorías se llama segmentación semántica problema. Las nubes de puntos 3D de AusNet de conjuntos de datos LiDAR consisten en millones de puntos. Etiquetar de manera precisa y eficiente cada punto en una nube de puntos 3D implica abordar dos desafíos:
- datos desequilibrados – El desequilibrio de clases es un problema común en las nubes de puntos del mundo real. Como se ve en los clips anteriores, la mayoría de los puntos consisten en vegetación, con un número significativamente menor de puntos compuestos por líneas eléctricas o conductores que representan menos del 1% del total de puntos. Los modelos entrenados con el conjunto de datos desequilibrados se sesgan fácilmente hacia las clases principales y funcionan mal en las secundarias. Este desequilibrio de clases es un problema común en los datos de nubes de puntos LiDAR para entornos al aire libre. Para esta tarea, es fundamental tener un buen desempeño en la clasificación de puntos conductores. Entrenar un modelo que funcione bien tanto en la clase mayor como en la menor es el mayor desafío.
- Nube de puntos a gran escala – La cantidad de datos de nube de puntos del sensor LiDAR puede cubrir un área abierta grande. En el caso de AusNet, la cantidad de puntos por nube de puntos puede oscilar entre cientos de miles y decenas de millones, y cada archivo de nube de puntos varía de cientos de megabytes a gigabytes. La mayoría de los algoritmos ML de segmentación de nubes de puntos requieren muestreo porque los operadores no pueden tomar todos los puntos como entrada. Desafortunadamente, muchos de los métodos de muestreo son computacionalmente pesados, lo que hace que tanto el entrenamiento como la inferencia sean lentos. En este trabajo, debemos elegir el algoritmo ML más eficiente que funcione en nubes de puntos a gran escala.
Los equipos de AWS y AusNet inventaron una nueva estrategia de reducción de muestreo a través de puntos de agrupación para resolver el problema de las clases muy desequilibradas. Esta estrategia de reducción de muestreo junto con las mitigaciones existentes, como la ponderación de clases, ayudó a resolver los desafíos en el entrenamiento de un modelo preciso con un conjunto de datos desequilibrado y también mejoró el rendimiento de la inferencia. También experimentamos con una estrategia de muestreo superior duplicando las clases menores y colocándolas en diferentes ubicaciones. Este proceso se creó como un trabajo de procesamiento de SageMaker para que pudiera aplicarse al conjunto de datos recién adquirido para una mayor capacitación del modelo dentro de una canalización de MLOps.
Los equipos investigaron varios modelos de segmentación de nubes de puntos teniendo en cuenta la precisión, la escalabilidad en términos del número de puntos y la eficiencia. A lo largo de múltiples experimentos, elegimos un algoritmo ML de última generación para una segmentación semántica de nube de puntos, que cumplió con los requisitos. También adoptamos métodos de aumento para que el modelo pudiera aprender de varios conjuntos de datos.
Arquitectura de producción
Para implementar la solución de segmentación de nubes de puntos, el equipo diseñó una canalización de ML utilizando SageMaker para capacitación e inferencia. El siguiente diagrama ilustra la arquitectura de producción general.
La canalización de capacitación cuenta con un contenedor de procesamiento personalizado en SageMaker Processing para realizar conversión de formato de nube de puntos, reasignación de categorías, muestreo ascendente, descendente y división del conjunto de datos. El trabajo de entrenamiento aprovecha las instancias de múltiples GPU en SageMaker con mayor capacidad de memoria para admitir el entrenamiento del modelo con un tamaño de lote más grande.
El flujo de trabajo de clasificación LiDAR de AusNet comienza con la ingesta de hasta terabytes de datos de nubes de puntos de vehículos de vigilancia aérea y terrestre en Servicio de almacenamiento simple de Amazon (Amazon S3). Luego, los datos se procesan y pasan a una tubería de inferencia para la clasificación de la nube de puntos. Para respaldar esto, se usa SageMaker Transform para ejecutar la inferencia por lotes en el conjunto de datos, y la salida se clasifica en archivos de nube de puntos con puntajes de confianza. Luego, la salida es procesada por el motor de clasificación de AusNet, que analiza el puntaje de confianza y genera un informe de gestión de activos.
Uno de los aspectos clave de la arquitectura es que proporciona a AusNet un enfoque escalable y modular para experimentar con nuevos conjuntos de datos, técnicas de procesamiento de datos y modelos. Con este enfoque, AusNet puede adaptar su solución a las condiciones ambientales cambiantes y adoptar futuros algoritmos de segmentación de nubes de puntos.
Conclusión y próximos pasos con AusNet
En esta publicación, discutimos cómo el equipo geoespacial de AusNet se asoció con los científicos de Amazon ML para automatizar la clasificación de puntos LiDAR al eliminar por completo la dependencia de los datos de ubicación GIS de la tarea de clasificación. Por lo tanto, se elimina el retraso producido por la corrección GIS manual para que la tarea de clasificación sea más rápida y escalable.
“Poder etiquetar de manera rápida y precisa nuestros datos de levantamientos aéreos es una parte fundamental para minimizar el riesgo de incendios forestales. Al trabajar con Amazon Machine Learning Solutions Lab, pudimos crear un modelo que logró una precisión media del 80.53 % en el etiquetado de datos. Esperamos poder reducir nuestros esfuerzos de etiquetado manual hasta en un 80 % con la nueva solución”, dice Daniel Pendlebury, Gerente de Producto de AusNet.
AusNet prevé que los modelos de clasificación de ML desempeñen un papel importante en el impulso de la eficiencia en sus operaciones de red. Al expandir sus bibliotecas de clasificación automática con nuevos modelos de segmentación, AusNet puede utilizar vastos conjuntos de datos de manera más productiva para garantizar el suministro seguro y confiable de energía a las comunidades de Victoria.
AGRADECIMIENTOS
Los autores desean agradecer a Sergiy Redko, Claire Burrows, William Manahan, Sahil Deshpande, Ross King y Damian Bisignano de AusNet por su participación en el proyecto y por aportar su experiencia en el dominio de los conjuntos de datos LiDAR y el entrenamiento de ML utilizando diferentes algoritmos de ML.
Laboratorio de soluciones de Amazon ML
Laboratorio de soluciones de Amazon ML une a su equipo con expertos en ML para ayudarlo a identificar e implementar las oportunidades de ML de mayor valor de su organización. Si desea obtener ayuda para acelerar el uso de ML en sus productos y procesos, comuníquese con el Laboratorio de soluciones de Amazon ML.
Acerca de los autores
Daniel Pendlebury es gerente de productos en AusNet Services y se especializa en la provisión de productos de cumplimiento automatizados e innovadores para empresas de servicios públicos en las áreas de administración de vegetación y mantenimiento de activos.
Natanael Weldon es un desarrollador de software geoespacial en Ausnet Services. Se especializa en construir y ajustar sistemas de procesamiento de datos geoespaciales a gran escala, con experiencia en los sectores de servicios públicos, recursos y medio ambiente.
David Motamed es administrador de cuentas en Amazon Web Services. Con sede en Melbourne, Australia, ayuda a los clientes empresariales a tener éxito en sus viajes de transformación digital.
Simón Johnston es líder en inteligencia artificial y es responsable del negocio de inteligencia artificial y aprendizaje automático de Amazon Web Services en Australia y Nueva Zelanda, y se especializa en estrategia y economía de inteligencia artificial. Más de 20 años de experiencia en investigación, gestión y consultoría (EE. UU., UE, APAC) que cubren una gama de proyectos innovadores de IA de investigación y comercialización liderados por la industria, que involucran a empresas emergentes, pymes, grandes corporaciones y el ecosistema más amplio.
Derrick Choo es arquitecto de soluciones en Amazon Web Services. Tiene su sede en Melbourne, Australia, y trabaja en estrecha colaboración con los clientes empresariales para acelerar su viaje en la nube. Le apasiona ayudar a los clientes a crear valor a través de la innovación y la creación de aplicaciones escalables y tiene un interés particular en AI y ML.
muhyun kim es científico de datos en Amazon Machine Learning Solutions Lab. Resuelve los diversos problemas comerciales de los clientes mediante la aplicación del aprendizaje automático y el aprendizaje profundo, y también los ayuda a capacitarse.
sujoy roy es un científico del Laboratorio de soluciones de aprendizaje automático de Amazon con más de 20 años de experiencia académica y en la industria creando e implementando soluciones basadas en ML para problemas comerciales. Ha aplicado el aprendizaje automático para resolver los problemas de los clientes en industrias como telecomunicaciones, medios y entretenimiento, tecnología publicitaria, detección remota, comercio minorista y fabricación.
Jiyang Kang es un arquitecto sénior de aprendizaje profundo en Amazon ML Solutions Lab, donde ayuda a los clientes de AWS en múltiples industrias con IA y adopción de la nube. Antes de unirse al laboratorio de soluciones de Amazon ML, trabajó como arquitecto de soluciones para uno de los clientes empresariales más avanzados de AWS, diseñando varias cargas de trabajo en la nube a escala global en AWS. Anteriormente trabajó como desarrollador de software y arquitecto de sistemas para empresas como Samsung Electronics en industrias como semiconductores, redes y telecomunicaciones.
Edén Duthie es el líder del equipo de servicios profesionales de aprendizaje por refuerzo en AWS. A Eden le apasiona desarrollar soluciones de toma de decisiones para los clientes. Está especialmente interesado en ayudar a los clientes industriales con un fuerte enfoque en la optimización de la cadena de suministro.
- '
- 000
- 100
- 3d
- 7
- Mi Cuenta
- Contabilidad
- lector activo
- Adicionales
- Adopción
- Ventaja
- AI
- algoritmo
- algoritmos
- Todos
- Permitir
- Amazon
- Aprendizaje automático de Amazon
- Amazon SageMaker
- Amazon Web Services
- entre
- Analytics
- aplicaciones
- arquitectura
- Reservada
- en torno a
- activo
- gestión de activos
- Activos
- Australia
- Autorzy
- Confirmación de Viaje
- Automatización
- disponibilidad
- AWS
- MEJOR
- facturación
- mil millones
- build
- Construir la
- negocios
- Capacidad
- capital
- Reto
- clasificación
- Soluciones
- adopción en la nube
- código
- colaboración
- Algunos
- Comunidades
- Empresas
- compliance
- Calcular
- conductor
- confianza
- consultoría
- Envase
- Conversión
- Precio
- humanitaria
- Clientes
- datos
- proceso de datos
- científico de datos
- Toma de Decisiones
- deep learning
- retrasar
- Demanda
- Developer
- desarrolladores
- digital
- Transformación Digital
- conducción
- Drones
- Ciencias económicas
- economia
- ecosistema
- eficiencia
- Electrónica
- energía
- certificados
- England
- Empresa
- clientes empresariales
- Entretenimiento
- ambientales
- EU
- Eventos
- Expandir
- en expansión
- experience
- experimento
- expertos
- Caracteristicas
- Flexibilidad
- Focus
- formulario
- formato
- futuras
- Buscar
- candidato
- gps
- GPU
- Crecimiento
- Materiales
- helicóptero
- helicópteros
- Alta
- Cómo
- HTTPS
- enorme
- Cientos
- Identifique
- Incluye
- industrial
- industrias
- energético
- información
- EN LA MINA
- Innovation
- originales
- intereses
- investigar
- cuestiones
- IT
- Trabajos
- Empleo
- Clave
- King
- etiquetado
- mano de obra
- large
- láser
- Lead
- APRENDE:
- aprendizaje
- LIDAR
- luz
- Ubicación
- Largo
- máquina de aprendizaje
- gran
- Mayoría
- Realizar
- Management
- Fabricación
- medir
- Medios
- Melbourne
- Métrica
- millones
- menores de edad
- ML
- Algoritmos ML
- MLOps
- Móvil
- modelo
- modulares
- del sistema,
- red
- Nueva Zelanda
- habiertos
- Operaciones
- Del Mañana
- Otros
- Exterior
- actuación
- piloto
- Aviones
- industria
- Producto
- Producción
- Productos
- proyecto
- perfecta
- distancia
- reducir
- aprendizaje reforzado
- dependencia
- reporte
- Requisitos
- la investigación
- Recursos
- el comercio minorista
- devoluciones
- Riesgo
- Rodar
- Ejecutar
- correr
- ambiente seguro
- Safety
- sabio
- Samsung
- ahorro
- Escalabilidad
- Escala
- los científicos
- Sectores
- Semiconductores
- Servicios
- set
- sencillos
- Tamaño
- PYME
- So
- Social
- Software
- Soluciones
- RESOLVER
- se especializa
- fundó
- inicio
- STORAGE
- Estrategia
- comercial
- suministro
- cadena de suministro
- SOPORTE
- vigilancia
- Peritaje
- te
- Todas las funciones a su disposición
- técnicas
- Tecnología
- Las redes de
- telecomunicaciones
- el mundo
- equipo
- Formación
- viajes
- billones
- us
- utilidades
- propuesta de
- Vehículos
- Ventures,
- web
- servicios web
- ala
- dentro de
- Actividades:
- la seguridad del trabajador
- flujo de trabajo
- funciona
- mundo
- X
- año
- años