Восточная Австралия является одним из самых пожароопасных регионов мира. Хотя лесные пожары являются обычным явлением в Австралии, в результате кризиса лесных пожаров 2019–2020 годов было сожжено более 17 миллионов гектаров земли (больше, чем площадь Англии), что обошлось австралийской экономике более чем в 100 миллиардов долларов США, включая затраты на недвижимость, инфраструктуру, социальные и экологические расходы. .
В связи со все более экстремальными погодными явлениями риск лесных пожаров в Австралии не исчезнет в ближайшее время. Это означает, что ответственность операторов энергосетей Австралии за обеспечение безопасного и надежного энергоснабжения никогда не была выше.
Австралийская энергетическая сеть включает более 880,000 22 километров распределительных и передающих линий (примерно 7 обхода вокруг Земли) и XNUMX миллионов опор ЛЭП. Необходимо тщательно контролировать экстремальные климатические условия и рост растительности вблизи линий электропередач, чтобы снизить риск лесных пожаров.
В этом посте мы обсудим, как AusNet использует машинное обучение (ML) и Создатель мудреца Амазонки чтобы помочь смягчить лесные пожары.
Инновации AusNet с LiDAR
AusNet управляет 54,000 1.5 километров линий электропередач и обеспечивает энергией более 62 миллиона домов и предприятий Виктории. XNUMX% этой сети расположены в районах с высоким риском лесных пожаров. Компания AusNet разработала инновационное решение для безопасного обслуживания своей энергетической сети и сведения к минимуму риска повреждения сети растительностью.
С 2009 года AusNet собирает высококачественные данные LiDAR по сети, используя как воздушные, так и дорожные картографические системы. LiDAR — это метод дистанционного зондирования, в котором используется свет в виде импульсного лазера для измерения расстояний и направлений. Обнаруженная точка объекта имеет информацию о трехмерных координатах (x, y, z), а также дополнительные атрибуты, такие как плотность, количество возвратов, номер возврата, отметка времени GPS и т. д. Эти точки представлены в виде трехмерного облака точек, которое представляет собой набор всей информации о точках. После обработки LiDAR превращается в 3D-модель сетевых активов AusNet, определяя рост растительности, который необходимо обрезать для обеспечения безопасности от лесных пожаров.
Предыдущий процесс классификации LiDAR использовал вывод на основе бизнес-правил, в значительной степени полагаясь на точное местоположение активов Географической информационной системы (ГИС) для автоматизации. Для правильной маркировки точек LiDAR, где расположение активов было неточным или просто не существовало, требовалась ручная работа с использованием специально созданных инструментов для маркировки. Ручная коррекция и классификация точек LiDAR увеличили время обработки и затруднили масштабирование.
Машинное обучение AusNet и Amazon
Геопространственная команда AusNet сотрудничала со специалистами Amazon ML, в том числе с Amazon Machine Learning Solutions Lab и Professional Services, чтобы выяснить, как ML может автоматизировать классификацию точек LiDAR и ускорить трудоемкий процесс ручной корректировки неточных данных о местоположении ГИС.
Годовые затраты на точную классификацию триллионов захваченных точек LiDAR, которые представляют различные конфигурации сети по всей Австралии, превышали 700,000 XNUMX долларов в год и препятствовали возможности AusNet расширить это на более крупные участки сети.
AusNet и AWS объединились для использования Создатель мудреца Амазонки экспериментировать и создавать модели глубокого обучения для автоматизации точечной классификации этой большой коллекции данных LiDAR. Amazon SageMaker — это полностью управляемый сервис, который помогает ученым и разработчикам данных быстро подготавливать, создавать, обучать и развертывать высококачественные модели машинного обучения. Команда AusNet и AWS успешно построила модель семантической сегментации, которая точно классифицировала трехмерные данные облака точек по следующим категориям: проводник, здание, столб, растительность и другие.
Результаты AusNet и смягчения последствий лесных пожаров
Сотрудничество между AWS и AusNet имело огромный успех и дало следующие результаты как для бизнеса, так и для снижения риска лесных пожаров:
- Повышение безопасности рабочих за счет использования данных LiDAR и уменьшения потребности инженеров, геодезистов и проектировщиков в поездках на объекты.
- Результатом стала точность 80.53 % по всем пяти категориям сегментации, что позволило AusNet сэкономить примерно 500,000 XNUMX австралийских долларов в год за счет автоматической классификации.
- Обеспечена точность 91.66% и 92% при обнаружении проводников и растительности соответственно, улучшена автоматическая классификация двух наиболее важных классов сегментов.
- Обеспечена гибкость использования данных LiDAR, полученных с дронов, вертолетов, самолетов и наземных транспортных средств, с учетом уникальной изменчивости каждого источника данных.
- Позволил бизнесу быстрее внедрять инновации и масштабировать аналитику по всей своей сети за счет снижения зависимости от справочных данных ГИС и процессов ручного исправления.
- Предоставили возможность масштабировать аналитику по всей своей энергетической сети с повышенной автоматизацией машинного обучения и снижением зависимости от ручных процессов корректировки ГИС.
В следующей таблице показана эффективность модели семантической сегментации для невидимых данных (измеренных с использованием показателей «точность» и «отзыв», где чем выше, тем лучше) по пяти категориям.
Модель ML классифицировала точки с вертолетного захвата:
Обзор решения
Команда ML Solutions Lab привлекла команду высококвалифицированных ученых и архитекторов ML, чтобы помочь внедрять инновации и экспериментировать. Обладая передовым опытом машинного обучения в разных отраслях, команда сотрудничала с геопространственной командой AusNet, чтобы решить некоторые из самых сложных технологических проблем для бизнеса. Основываясь на глубоких возможностях машинного обучения SageMaker, AusNet и AWS смогли завершить пилотный проект всего за 8 недель.
Широта и глубина SageMaker сыграли ключевую роль в том, что разработчики и специалисты по данным из AusNet и AWS смогли сотрудничать в проекте. Команда использовала функции совместного использования кода и блокнотов, а также легко получала доступ к вычислительным ресурсам машинного обучения по запросу для обучения. Гибкость SageMaker позволила команде быстро выполнять итерации. Команда также смогла воспользоваться доступностью различных конфигураций оборудования для экспериментов с AWS без необходимости вкладывать первоначальный капитал для приобретения локального оборудования. Это позволило AusNet легко выбрать ресурсы машинного обучения нужного размера и масштабировать свои эксперименты по требованию. Гибкость и доступность ресурсов графического процессора имеют решающее значение, особенно когда задача машинного обучения требует проведения передовых экспериментов.
Мы использовали экземпляры Notebook SageMaker для изучения данных и разработки кода предварительной обработки, а также использовали задания обработки и обучения SageMaker для крупномасштабных рабочих нагрузок. Команда также использовала оптимизацию гиперпараметров (HPO) для быстрой итерации нескольких учебных заданий с различными конфигурациями и версиями наборов данных для точной настройки гиперпараметров и поиска наиболее эффективной модели. Например, мы создали разные версии наборов данных, используя методы понижающей выборки и аугментации, чтобы преодолеть проблемы дисбаланса данных. Параллельное выполнение нескольких заданий обучения с разными наборами данных позволяет быстро найти нужный набор данных. С большими и несбалансированными наборами данных облаков точек SageMaker предоставил возможность быстро выполнять итерации, используя множество конфигураций экспериментов и преобразований данных.
Инженеры машинного обучения могут проводить начальные исследования данных и алгоритмов, используя недорогие экземпляры ноутбуков, а затем переносить тяжелые операции с данными на более мощные экземпляры обработки. Посекундное выставление счетов и автоматическое управление жизненным циклом гарантируют, что более дорогие обучающие экземпляры запускаются и останавливаются автоматически и остаются активными только до тех пор, пока это необходимо, что повышает эффективность использования.
Команде удалось обучить модель со скоростью 10.8 минут за эпоху на 17.2 ГиБ несжатых данных в 1,571 файле, насчитывающем примерно 616 миллионов точек. Для вывода команда смогла обработать 33.6 ГиБ несжатых данных в 15 файлах на общую сумму 1.2 миллиарда точек за 22.1 часа. Это означает вывод в среднем 15,760 XNUMX точек в секунду, включая амортизированное время запуска.
Решение проблемы семантической сегментации
Классифицированные точки модели ML от захвата неподвижного крыла:
Модель ML классифицировала точки с мобильного захвата:
Задача отнесения каждой точки в облаке точек к категории из набора категорий называется семантическая сегментация проблема. Облака трехмерных точек AusNet из наборов данных LiDAR состоят из миллионов точек. Точная и эффективная маркировка каждой точки в трехмерном облаке точек требует решения двух задач:
- Несбалансированные данные – Дисбаланс классов – распространенная проблема в реальных облаках точек. Как видно из предыдущих клипов, большинство точек состоит из растительности, при этом значительно меньше точек состоит из линий электропередач или проводников, что составляет менее 1% от общего количества точек. Модели, обученные с использованием несбалансированного набора данных, легко склоняются к основным классам и плохо работают с второстепенными. Этот дисбаланс классов является распространенной проблемой в данных облака точек LiDAR для наружной среды. Для этой задачи очень важно иметь хорошую производительность при классификации точек проводника. Обучение модели, которая хорошо работает как в основном, так и в второстепенном классе, является самой большой проблемой.
- Крупномасштабное облако точек – Объем данных облака точек от датчика LiDAR может охватывать большую открытую область. В случае AusNet количество точек в облаке точек может варьироваться от сотен тысяч до десятков миллионов, при этом размер каждого файла облака точек варьируется от сотен мегабайт до гигабайт. Большинство алгоритмов машинного обучения сегментации облака точек требуют выборки, потому что операторы не могут использовать все точки в качестве входных данных. К сожалению, многие из методов выборки требуют значительных вычислительных ресурсов, что замедляет как обучение, так и вывод. В этой работе нам нужно выбрать наиболее эффективный алгоритм машинного обучения, который работает с крупномасштабными облаками точек.
Команды AWS и AusNet изобрели новую стратегию понижения частоты дискретизации с помощью точек кластеризации, чтобы решить проблему сильно несбалансированных классов. Эта стратегия понижения дискретизации вместе с существующими мерами по смягчению последствий, такими как взвешивание классов, помогла решить проблемы обучения точной модели с несбалансированным набором данных, а также повысила производительность логического вывода. Мы также экспериментировали со стратегией повышения частоты дискретизации, дублируя второстепенные классы и размещая их в разных местах. Этот процесс был построен как задание обработки SageMaker, чтобы его можно было применить к вновь полученному набору данных для дальнейшего обучения модели в конвейере MLOps.
Команды исследовали различные модели сегментации облака точек с учетом точности, масштабируемости с точки зрения количества точек и эффективности. В ходе нескольких экспериментов мы выбрали современный алгоритм машинного обучения для семантической сегментации облака точек, который отвечал требованиям. Мы также внедрили методы дополнения, чтобы модель могла учиться на различных наборах данных.
Производственная архитектура
Чтобы развернуть решение для сегментации облака точек, команда разработала конвейер машинного обучения с использованием SageMaker для обучения и вывода. Следующая диаграмма иллюстрирует общую производственную архитектуру.
Конвейер обучения включает настраиваемый контейнер обработки в SageMaker Processing для выполнения преобразования формата облака точек, переназначения категорий, повышения и понижения дискретизации и разделения набора данных. Задание обучения использует преимущества экземпляров с несколькими графическими процессорами в SageMaker с большим объемом памяти для поддержки обучения модели с большим размером пакета.
Рабочий процесс классификации AusNet LiDAR начинается с приема до терабайт данных облака точек с наземных и воздушных транспортных средств наблюдения в Простой сервис хранения Amazon (Амазон С3). Затем данные обрабатываются и передаются в конвейер логического вывода для классификации облака точек. Чтобы поддержать это, SageMaker Transform используется для выполнения пакетного вывода по набору данных, при этом на выходе получаются классифицированные файлы облаков точек с показателями достоверности. Затем выходные данные обрабатываются классификационным механизмом AusNet, который анализирует показатель достоверности и создает отчет об управлении активами.
Одним из ключевых аспектов архитектуры является то, что она предоставляет AusNet масштабируемый и модульный подход для экспериментов с новыми наборами данных, методами обработки данных и моделями. При таком подходе AusNet может адаптировать свое решение к изменяющимся условиям окружающей среды и внедрить будущие алгоритмы сегментации облака точек.
Заключение и следующие шаги с AusNet
В этом посте мы обсудили, как геопространственная команда AusNet в партнерстве с учеными Amazon ML автоматизировала классификацию точек LiDAR, полностью исключив зависимость от данных о местоположении ГИС из задачи классификации. Следовательно, задержка, возникающая при ручной коррекции ГИС, устранена, чтобы сделать задачу классификации более быстрой и масштабируемой.
«Возможность быстро и точно маркировать данные аэрофотосъемки является важной частью минимизации риска лесных пожаров. Работая с лабораторией Amazon Machine Learning Solutions Lab, мы смогли создать модель, которая достигла средней точности 80.53% при маркировке данных. Мы рассчитываем, что с помощью нового решения мы сможем сократить наши усилия по ручной маркировке до 80%», — говорит Дэниел Пендлбери, менеджер по продукту в AusNet.
AusNet считает, что модели классификации машинного обучения играют важную роль в повышении эффективности их сетевых операций. Расширяя свои библиотеки автоматической классификации новыми моделями сегментации, AusNet может более продуктивно использовать обширные наборы данных, чтобы обеспечить безопасное и надежное энергоснабжение сообществ по всей Виктории.
Благодарности
Авторы хотели бы поблагодарить Сергея Редько, Клэр Берроуз, Уильяма Манахана, Сахила Дешпанде, Росса Кинга и Дамиана Бисиньяно из AusNet за их участие в проекте и предоставление своего опыта работы с наборами данных LiDAR и обучение машинному обучению с использованием различных алгоритмов машинного обучения.
Лаборатория решений Amazon ML
Лаборатория решений Amazon ML объединяет вашу команду с экспертами по машинному обучению, чтобы помочь вам определить и реализовать наиболее ценные возможности машинного обучения в вашей организации. Если вам нужна помощь в ускорении использования машинного обучения в ваших продуктах и процессах, обратитесь в Лаборатория решений Amazon ML.
Об авторах
Дэниел Пендлбери является менеджером по продукту в AusNet Services, специализирующейся на предоставлении инновационных, автоматизированных продуктов для обеспечения соответствия коммунальным предприятиям в областях управления растительностью и обслуживания активов.
Натаниэль Велдон является разработчиком геопространственного программного обеспечения в Ausnet Services. Он специализируется на создании и настройке крупномасштабных систем обработки геопространственных данных, имея опыт работы в секторах коммунальных услуг, ресурсов и окружающей среды.
Давид Мотамед работает менеджером по работе с клиентами в Amazon Web Services. Он живет в Мельбурне, Австралия, и помогает корпоративным клиентам добиться успеха на пути к цифровой трансформации.
Саймон Джонстон является лидером в области искусственного интеллекта и отвечает за бизнес Amazon Web Services AI/ML в Австралии и Новой Зеландии, специализируясь на стратегии и экономике искусственного интеллекта. Более 20 лет опыта в области исследований, управления и консалтинга (США, ЕС, Азиатско-Тихоокеанский регион), охватывающие ряд инновационных, отраслевых исследований и коммерциализации проектов в области искусственного интеллекта, включая стартапы, малые и средние предприятия, крупные корпорации и более широкую экосистему.
Деррик Чу работает архитектором решений в Amazon Web Services. Он живет в Мельбурне, Австралия, и тесно сотрудничает с корпоративными клиентами, чтобы ускорить их переход в облако. Он увлечен тем, что помогает клиентам создавать ценность за счет инноваций и создания масштабируемых приложений, и проявляет особый интерес к искусственному интеллекту и машинному обучению.
Мухён Ким Специалист по анализу данных в Amazon Machine Learning Solutions Lab. Он решает различные бизнес-задачи клиентов, применяя машинное обучение и глубокое обучение, а также помогает им получить навыки.
Суджой Рой — ученый из лаборатории Amazon Machine Learning Solutions Lab с более чем 20-летним академическим и отраслевым опытом создания и развертывания решений на основе машинного обучения для бизнес-задач. Он применял машинное обучение для решения проблем клиентов в таких отраслях, как телекоммуникации, СМИ и развлечения, рекламные технологии, дистанционное зондирование, розничная торговля и производство.
Цзиянг Кан — старший архитектор глубокого обучения в лаборатории Amazon ML Solutions Lab, где он помогает клиентам AWS в различных отраслях внедрять ИИ и облачные технологии. До прихода в лабораторию Amazon ML Solutions Lab он работал архитектором решений для одного из самых продвинутых корпоративных клиентов AWS, разрабатывая различные облачные рабочие нагрузки глобального масштаба на AWS. Ранее он работал разработчиком программного обеспечения и системным архитектором в таких компаниях, как Samsung Electronics, в таких отраслях, как полупроводники, сети и телекоммуникации.
Иден Дати является руководителем группы профессиональных услуг по обучению с подкреплением в AWS. Иден увлечен разработкой решений для принятия решений для клиентов. Он особенно заинтересован в помощи промышленным клиентам, уделяя особое внимание оптимизации цепочки поставок.
- '
- 000
- 100
- 3d
- 7
- Учетная запись
- Бухгалтерский учет
- активный
- дополнительный
- Принятие
- плюс
- AI
- алгоритм
- алгоритмы
- Все
- Позволяющий
- Amazon
- Амазонское машинное обучение
- Создатель мудреца Амазонки
- Amazon Web Services
- среди
- аналитика
- Приложения
- архитектура
- ПЛОЩАДЬ
- около
- активы
- управление активами
- Активы
- Австралия
- Авторы
- Автоматизированный
- автоматизация
- свободных мест
- AWS
- ЛУЧШЕЕ
- биллинг
- миллиард
- строить
- Строительство
- бизнес
- бизнес
- Пропускная способность
- столица
- вызов
- классификация
- облако
- принятие облака
- код
- сотрудничество
- Общий
- Сообщества
- Компании
- Соответствие закону
- Вычисление
- дирижер
- доверие
- консалтинг
- Container
- Конверсия
- Расходы
- кризис
- Клиенты
- данным
- обработка данных
- ученый данных
- Принятие решений
- глубокое обучение
- задерживать
- Спрос
- Застройщик
- застройщиков
- Интернет
- цифровое преобразование
- вождение
- беспилотники
- Экономика
- экономику
- экосистема
- затрат
- Electronics
- энергетика
- Инженеры
- Англия
- Предприятие
- корпоративные клиенты
- Развлечения
- окружающий
- EU
- События
- Расширьте
- расширяющийся
- опыт
- эксперимент
- эксперты
- Особенности
- Трансформируемость
- Фокус
- форма
- формат
- будущее
- Глобальный
- хорошо
- GPS
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- Рост
- Аппаратные средства
- вертолет
- вертолеты
- High
- Как
- HTTPS
- огромный
- Сотни
- определения
- В том числе
- промышленность
- промышленности
- промышленность
- информация
- Инфраструктура
- Инновации
- инновационный
- интерес
- исследовать
- вопросы
- IT
- работа
- Джобс
- Основные
- Король
- маркировка
- труд
- большой
- лазер
- вести
- УЧИТЬСЯ
- изучение
- дело
- легкий
- расположение
- Длинное
- обучение с помощью машины
- основной
- Большинство
- Создание
- управление
- производство
- проводить измерение
- Медиа
- Мельбурн
- Метрика
- миллиона
- несовершеннолетние
- ML
- Алгоритмы машинного обучения
- млн операций в секунду
- Мобильный телефон
- модель
- модульный
- сеть
- сетей
- Новая Зеландия
- открытый
- Операционный отдел
- Возможности
- Другое
- На открытом воздухе
- производительность
- пилот
- Planes
- мощностью
- Продукт
- Производство
- Продукция
- Проект
- собственность
- ассортимент
- уменьшить
- усиление обучения
- опора
- отчету
- Требования
- исследованиям
- Полезные ресурсы
- розничный
- Возвращает
- Снижение
- Катить
- Run
- Бег
- безопасный
- Сохранность
- sagemaker
- Samsung
- экономия
- Масштабируемость
- Шкала
- Ученые
- Сектора юридического права
- Полупроводниковые приборы
- Услуги
- набор
- просто
- Размер
- МСП
- So
- Соцсети
- Software
- Решения
- РЕШАТЬ
- специализируется
- и политические лидеры
- ввод в эксплуатацию
- диск
- Стратегия
- успех
- поставка
- цепочками поставок
- поддержка
- наблюдение
- Опрос
- система
- системы
- снижения вреда
- Технологии
- Telco
- связь
- мир
- время
- Обучение
- трансформация
- путешествовать
- триллионы
- us
- коммунальные услуги
- ценностное
- Транспорт
- VENTURES
- Web
- веб-сервисы
- Крыло
- в
- Работа
- охрана труда
- рабочий
- работает
- Мир
- X
- год
- лет