Східна Австралія є одним з найбільш пожежонебезпечних регіонів у світі. Незважаючи на те, що лісові пожежі є регулярним явищем в Австралії, криза лісових пожеж у 2019–2020 роках підпалила понад 17 мільйонів гектарів землі (більше, ніж площа Англії), що коштувало австралійській економіці понад 100 мільярдів доларів, включаючи витрати на майно, інфраструктуру, соціальні та екологічні витрати. .
Через дедалі екстремальніші погодні явища ризик лісових пожеж в Австралії не зникне найближчим часом. Це означає, що оператори енергетичних мереж Австралії зобов’язані підтримувати безпечне та надійне постачання, як ніколи.
Австралійська енергетична мережа включає понад 880,000 22 кілометрів ліній розподілу та передачі (приблизно 7 поїздки навколо земного кола) і XNUMX мільйонів стовпів електропередач. Необхідно ретельно керувати екстремальними кліматичними умовами та ростом рослинності поблизу ліній електропередач, щоб зменшити ризик лісових пожеж.
У цій публікації ми обговорюємо, як AusNet використовує машинне навчання (ML) і Amazon SageMaker щоб допомогти пом'якшити лісові пожежі.
Інновації AusNet з LiDAR
AusNet керує 54,000 1.5 кілометрами ліній електропередач і постачає енергію в понад 62 мільйона вікторіанських будинків і підприємств. XNUMX% цієї мережі розташовано в зонах високого ризику лісових пожеж. Компанія AusNet розробила інноваційне рішення для безпечного обслуговування своєї енергетичної мережі та мінімізації ризику пошкодження мережі рослинністю.
З 2009 року AusNet збирає високоякісні дані LiDAR по всій мережі, використовуючи як повітряні, так і дорожні системи картографування. LiDAR – це метод дистанційного зондування, який використовує світло у формі імпульсного лазера для вимірювання відстаней і напрямків. Розпізнана точка об’єкта має тривимірну інформацію про координати (x, y, z), а також додаткові атрибути, такі як щільність, кількість повернень, номер повернень, часову позначку GPS тощо. Ці точки представлено у вигляді тривимірної хмари точок, яка є сукупністю всієї інформації про точки. Після обробки LiDAR перетворюється на 3D-модель мережевих активів AusNet, ідентифікуючи рослинність, яку потрібно обрізати для безпеки від лісових пожеж.
Попередній процес для класифікації LiDAR використовував бізнес-правила, керовані бізнес-правилами, з великою залежністю від точного розташування активів Геоінформаційної системи (ГІС) для стимулювання автоматизації. Щоб правильно позначити точки LiDAR, де розташування активів було неточним або просто не існувало, були потрібні ручні зусилля з використанням спеціальних інструментів маркування. Ручна корекція та класифікація точок LiDAR збільшила час обробки та ускладнила масштабування.
Машинне навчання AusNet і Amazon
Команда AusNet Geospatial співпрацювала з фахівцями Amazon ML, включаючи Amazon Machine Learning Solutions Lab і Professional Services, щоб дослідити, як ML може автоматизувати класифікацію точок LiDAR і прискорити трудомісткий процес ручного виправлення неточних даних про місцезнаходження ГІС.
Щорічні витрати на точну класифікацію трильйонів захоплених точок LiDAR, які представляють різні мережеві конфігурації в Австралії, перевищували 700,000 XNUMX доларів США на рік, що перешкоджало AusNet розширити це на більші території мережі.
AusNet і AWS об’єдналися для використання Amazon SageMaker експериментувати та створювати моделі глибокого навчання для автоматизації поточкової класифікації цієї великої колекції даних LiDAR. Amazon SageMaker — це повністю керований сервіс, який допомагає дослідникам даних і розробникам швидко готувати, створювати, навчати та розгортати високоякісні моделі машинного навчання. Команда AusNet і AWS успішно створила модель семантичної сегментації, яка точно класифікувала тривимірні дані хмари точок за такими категоріями: провідник, будівля, стовп, рослинність та інші.
Результати AusNet і пом’якшення лісових пожеж
Співпраця між AWS і AusNet мала величезний успіх і дала наступні результати як для бізнесу, так і для зменшення ризику лісових пожеж:
- Підвищена безпека працівників завдяки використанню даних LiDAR і зменшенню потреби інженерів, геодезистів і дизайнерів у поїздках на об’єкти
- Це призвело до 80.53% точності в усіх п’яти категоріях сегментації, заощадивши AusNet приблизно 500,000 XNUMX австралійських доларів на рік завдяки автоматизованій класифікації
- Забезпечує точність 91.66% і 92% у виявленні провідників і рослинності відповідно, покращуючи автоматичну класифікацію двох найважливіших класів сегментів
- Забезпечує гнучкість використання даних LiDAR, отриманих від дронів, гелікоптерів, літаків і наземних транспортних засобів, враховуючи при цьому унікальну мінливість кожного джерела даних
- Дозволили компанії швидше впроваджувати інновації та масштабувати аналітику по всій мережі, зменшивши залежність від довідкових даних ГІС і процесів ручного коригування
- Надано можливість масштабувати аналітику по всій своїй енергетичній мережі з підвищеною автоматизацією ML і зменшеною залежністю від ручних процесів корекції ГІС
У наведеній нижче таблиці показано ефективність моделі семантичної сегментації на невидимих даних (виміряних за допомогою показників «точність» і «запам’ятовування», де вище означає краще) у п’яти категоріях.
Класифіковані точки моделі ML із захоплення вертольотом:
Огляд рішення
Команда ML Solutions Lab залучила команду досвідчених науковців і архітекторів ML, щоб сприяти розвитку інновацій та експериментів. Маючи передовий досвід ML у різних галузях, команда співпрацювала з командою AusNet Geospatial, щоб вирішити деякі з найскладніших технологічних проблем для бізнесу. Завдяки глибоким можливостям машинного навчання SageMaker AusNet і AWS змогли завершити пілотний проект лише за 8 тижнів.
Широта й глибина SageMaker зіграли ключову роль у дозволі розробникам і дослідникам обробки даних як з AusNet, так і з AWS співпрацювати над проектом. Команда використовувала функції спільного використання коду та блокнотів і легко отримувала доступ до обчислювальних ресурсів ML на вимогу для навчання. Еластичність SageMaker дозволила команді швидко виконувати ітерації. Команда також змогла скористатися наявністю різних конфігурацій апаратного забезпечення для експериментів на AWS без необхідності інвестувати початковий капітал для придбання локального обладнання. Це дозволило AusNet легко вибрати ресурси МЛ потрібного розміру та масштабувати свої експерименти на вимогу. Гнучкість і доступність ресурсів графічного процесора є критично важливими, особливо коли завдання ML вимагає передових експериментів.
Ми використовували екземпляри блокнотів SageMaker для дослідження даних і розробки коду попередньої обробки, а також використовували завдання обробки та навчання SageMaker для великих робочих навантажень. Команда також використовувала оптимізацію гіперпараметрів (HPO), щоб швидко повторити кілька навчальних завдань із різними конфігураціями та версіями набору даних, щоб точно налаштувати гіперпараметри та знайти найкращу модель. Наприклад, ми створили різні версії наборів даних, використовуючи методи зменшення вибірки та доповнення, щоб подолати проблеми дисбалансу даних. Паралельне виконання кількох навчальних завдань з різними наборами даних дозволяє швидко знайти потрібний набір даних. Завдяки великим і незбалансованим наборам даних хмари точок SageMaker надав можливість швидко повторювати, використовуючи багато конфігурацій експериментів і перетворень даних.
Інженери ML можуть провести початкові дослідження даних і алгоритмів, використовуючи недорогі екземпляри ноутбуків, а потім перекласти важкі операції з даними на більш потужні екземпляри обробки. Посекундна оплата й автоматичне керування життєвим циклом гарантують, що дорожчі екземпляри навчання запускаються й зупиняються автоматично й залишаються активними лише стільки, скільки необхідно, що підвищує ефективність використання.
Команда змогла навчити модель зі швидкістю 10.8 хвилини за епоху на 17.2 ГіБ нестиснених даних у 1,571 файлі загальною кількістю приблизно 616 мільйонів точок. Для висновку команда змогла обробити 33.6 ГіБ нестиснених даних у 15 файлах загальною кількістю 1.2 мільярда точок за 22.1 години. Це означає в середньому 15,760 XNUMX точок на секунду, включаючи амортизований час запуску.
Розв’язування задачі на семантичну сегментацію
Класифіковані точки моделі ML від захоплення нерухомого крила:
Модель ML класифікувала точки з мобільного захоплення:
Проблема віднесення кожної точки в хмарі точок до категорії з набору категорій називається a семантична сегментація проблема. Тривимірні хмари точок AusNet із наборів даних LiDAR складаються з мільйонів точок. Точне й ефективне маркування кожної точки в 3D-хмарі точок передбачає вирішення двох завдань:
- Незбалансовані дані – Дисбаланс класів є поширеною проблемою в реальних хмарах точок. Як видно з попередніх роликів, більшість точок складається з рослинності, зі значно меншою кількістю точок, що складаються з ліній електропередач або провідників, що становить менше 1% від загальної кількості точок. Моделі, навчені за допомогою незбалансованого набору даних, легко зміщуються в бік основних класів і погано працюють на другорядних. Цей дисбаланс класів є поширеною проблемою в даних хмари точок LiDAR для зовнішнього середовища. Для цього завдання дуже важливо мати хороші результати в класифікації точок провідника. Найважчим завданням є навчання моделі, яка добре працює як на основному, так і на другорядному класі.
- Великомасштабна хмара точок – Обсяг даних хмари точок від датчика LiDAR може охоплювати велику відкриту площу. У випадку AusNet кількість точок на хмару точок може коливатися від сотень тисяч до десятків мільйонів, причому розмір кожного файлу хмари точок варіюється від сотень мегабайт до гігабайт. Більшість алгоритмів ML сегментації хмари точок вимагають вибірки, оскільки оператори не можуть приймати всі точки як вхідні дані. На жаль, багато методів вибірки важкі для обчислень, що сповільнює як навчання, так і висновок. У цій роботі нам потрібно вибрати найбільш ефективний алгоритм ML, який працює на великомасштабних хмарах точок.
Команди AWS і AusNet винайшли нову стратегію зменшення дискретизації за допомогою точок кластеризації, щоб вирішити проблему сильно незбалансованих класів. Ця стратегія зменшення дискретизації разом із наявними пом’якшеннями, такими як зважування класів, допомогла вирішити проблеми з навчанням точної моделі з незбалансованим набором даних, а також підвищила продуктивність висновків. Ми також експериментували зі стратегією підвищення дискретизації, дублюючи другорядні класи та розміщуючи їх у різних місцях. Цей процес було створено як завдання обробки SageMaker, щоб його можна було застосувати до щойно отриманого набору даних для подальшого навчання моделі в конвеєрі MLOps.
Команди досліджували різні моделі сегментації хмари точок, враховуючи точність, масштабованість за кількістю точок і ефективність. Під час кількох експериментів ми вибрали найсучасніший алгоритм ML для семантичної сегментації хмари точок, який відповідав вимогам. Ми також застосували методи доповнення, щоб модель могла вивчати різні набори даних.
Архітектура виробництва
Щоб розгорнути рішення сегментації хмари точок, команда розробила конвеєр ML за допомогою SageMaker для навчання та висновків. Наступна діаграма ілюструє загальну виробничу архітектуру.
Навчальний конвеєр містить спеціальний контейнер обробки в SageMaker Processing для виконання перетворення формату хмари точок, перевідображення категорій, підвищення, зменшення дискретизації та розділення набору даних. Навчальне завдання використовує переваги екземплярів із декількома GPU у SageMaker із більшим об’ємом пам’яті для підтримки навчання моделі з більшим розміром пакету.
Робочий процес класифікації LiDAR від AusNet починається з надходження до терабайтів даних хмари точок із наземних і повітряних засобів спостереження в Служба простого зберігання Amazon (Amazon S3). Потім дані обробляються та передаються в конвеєр висновків для класифікації хмари точок. Щоб підтримати це, SageMaker Transform використовується для запуску пакетного висновку по всьому набору даних, а результатом є класифіковані файли хмари точок із оцінками достовірності. Потім вихідні дані обробляються механізмом класифікації AusNet, який аналізує оцінку довіри та створює звіт про управління активами.
Одним із ключових аспектів архітектури є те, що вона надає AusNet масштабований і модульний підхід до експериментування з новими наборами даних, методами обробки даних і моделями. Завдяки такому підходу AusNet може адаптувати своє рішення до мінливих умов навколишнього середовища та застосувати майбутні алгоритми сегментації хмари точок.
Висновок і наступні кроки з AusNet
У цій публікації ми обговорили, як команда AusNet Geospatial співпрацювала з вченими Amazon ML для автоматизації класифікації точок LiDAR, повністю усунувши залежність від даних розташування ГІС із завдання класифікації. Таким чином, затримку, яка виникла внаслідок ручної корекції ГІС, усувається, щоб зробити завдання класифікації швидшим і масштабованим.
«Можливість швидкого та точного маркування наших даних аерофотозйомки є важливою частиною мінімізації ризику лісових пожеж. Працюючи з Amazon Machine Learning Solutions Lab, ми змогли створити модель, яка досягла 80.53% середньої точності в маркуванні даних. Ми очікуємо, що завдяки новому рішенню ми зможемо скоротити наші зусилля з маркування вручну до 80%», — говорить Деніел Пендлбері, менеджер із продукції AusNet.
AusNet передбачає, що моделі класифікації машинного навчання відіграють важливу роль у підвищенні ефективності мережевих операцій. Розширюючи свої автоматичні бібліотеки класифікації за допомогою нових моделей сегментації, AusNet може більш продуктивно використовувати величезні набори даних для забезпечення безпечного та надійного енергопостачання громад у штаті Вікторія.
Подяки
Автори хотіли б подякувати Сергію Редько, Клер Берроуз, Вільяму Манахану, Сахілу Дешпанде, Россу Кінгу та Даміану Бізіньяно з AusNet за їхню участь у проекті та надання свого досвіду щодо наборів даних LiDAR і навчання ML з використанням різних алгоритмів ML.
Лабораторія рішень Amazon ML
Лабораторія рішень Amazon ML об’єднує вашу команду з експертами з ML, щоб допомогти вам визначити та реалізувати найбільш цінні можливості вашої організації з ML. Якщо вам потрібна допомога у прискоренні використання ML у своїх продуктах і процесах, зверніться до Лабораторія рішень Amazon ML.
Про авторів
Деніел Пендлбері є менеджером із продуктів у AusNet Services, який спеціалізується на наданні інноваційних, автоматизованих продуктів відповідності комунальним службам у сферах управління рослинністю та обслуговування активів.
Натанаель Велдон є розробником геопросторового програмного забезпечення в Ausnet Services. Він спеціалізується на створенні та налагодженні великомасштабних систем обробки геопросторових даних, має досвід роботи в сферах комунального господарства, ресурсів та охорони навколишнього середовища.
Девід Мотамед є менеджером облікових записів у Amazon Web Services. Перебуваючи в Мельбурні, Австралія, він допомагає корпоративним клієнтам досягти успіху на шляху цифрової трансформації.
Саймон Джонстон є керівником AI та відповідає за бізнес Amazon Web Services AI/ML в Австралії та Новій Зеландії, спеціалізується на стратегії та економіці AI. Понад 20 років дослідницького, управлінського та консультаційного досвіду (США, ЄС, Азіатсько-Тихоокеанський регіон), що охоплює низку інноваційних галузевих досліджень і комерціалізації штучного інтелекту – залучаючи стартапи/МСП/великі корпорації та ширшу екосистему.
Деррік Чу є архітектором рішень в Amazon Web Services. Він живе в Мельбурні, Австралія, і тісно співпрацює з корпоративними клієнтами, щоб прискорити їхню подорож у хмарі. Він пристрасно допомагає клієнтам створювати цінності за допомогою інновацій і створення масштабованих програм, а також особливо цікавиться штучним інтелектом і машинним навчанням.
Мухьон Кім є науковцем із даних у Amazon Machine Learning Solutions Lab. Він вирішує різноманітні бізнес-проблеми клієнтів, застосовуючи машинне навчання та глибоке навчання, а також допомагає їм здобути кваліфікацію.
Суджой Рой є науковцем з Amazon Machine Learning Solutions Lab із 20+ роками наукового та галузевого досвіду створення та розгортання рішень на основі машинного навчання для бізнес-задач. Він застосував машинне навчання для вирішення проблем клієнтів у таких галузях, як телекомунікації, медіа та розваги, рекламні технології, дистанційне зондування, роздрібна торгівля та виробництво.
Цзіян Кан є старшим архітектором глибокого навчання в Amazon ML Solutions Lab, де він допомагає клієнтам AWS у багатьох галузях із застосуванням ШІ та хмари. До того як приєднатися до Amazon ML Solutions Lab, він працював архітектором рішень для одного з найбільш просунутих корпоративних клієнтів AWS, розробляючи різноманітні глобальні хмарні робочі навантаження на AWS. Раніше він працював розробником програмного забезпечення та системним архітектором для таких компаній, як Samsung Electronics у таких галузях, як напівпровідники, мережі та телекомунікації.
Іден Даті очолює групу професійних послуг Reinforcement Learning в AWS. Іден захоплено розробляє рішення для прийняття рішень для клієнтів. Він особливо зацікавлений у допомозі промисловим клієнтам, які зосереджуються на оптимізації ланцюга поставок.
- '
- 000
- 100
- 3d
- 7
- рахунки
- бухгалтерський облік
- активний
- Додатковий
- Прийняття
- Перевага
- AI
- алгоритм
- алгоритми
- ВСІ
- Дозволити
- Amazon
- Амазонське машинне навчання
- Amazon SageMaker
- Amazon Web Services
- серед
- аналітика
- застосування
- архітектура
- ПЛОЩА
- навколо
- активи
- управління активами
- Активи
- Австралія
- authors
- Автоматизований
- Автоматизація
- наявність
- AWS
- КРАЩЕ
- біллінг
- Мільярд
- будувати
- Створюємо
- бізнес
- підприємства
- потужність
- капітал
- виклик
- класифікація
- хмара
- прийняття хмари
- код
- співробітництво
- загальний
- спільноти
- Компанії
- дотримання
- обчислення
- диригент
- довіра
- консалтинг
- Контейнер
- Перетворення
- витрати
- криза
- Клієнти
- дані
- обробка даних
- вчений даних
- Прийняття рішень
- глибоке навчання
- затримка
- Попит
- Розробник
- розробників
- цифровий
- цифрове перетворення
- водіння
- Дронів
- Економіка
- економіка
- екосистема
- ефективність
- електроніка
- енергія
- Інженери
- England
- підприємство
- корпоративні клієнти
- розваги
- навколишній
- EU
- Події
- Розширювати
- розширюється
- досвід
- експеримент
- experts
- риси
- Гнучкість
- Сфокусувати
- форма
- формат
- майбутнє
- Глобальний
- добре
- GPS
- GPU
- Зростання
- апаратні засоби
- вертоліт
- вертольоти
- Високий
- Як
- HTTPS
- величезний
- Сотні
- ідентифікувати
- У тому числі
- промислові
- промисловості
- промисловість
- інформація
- Інфраструктура
- інновація
- інноваційний
- інтерес
- дослідити
- питання
- IT
- робота
- Джобс
- ключ
- King
- маркування
- праця
- великий
- лазер
- вести
- УЧИТЬСЯ
- вивчення
- справа
- світло
- розташування
- Довго
- навчання за допомогою машини
- основний
- Більшість
- Робить
- управління
- виробництво
- вимір
- Медіа
- Мельбурн
- Метрика
- мільйона
- неповнолітні
- ML
- Алгоритми ML
- MLOps
- Mobile
- модель
- модульний
- мережу
- мережа
- Нова Зеландія
- відкрити
- операції
- Можливості
- інші
- Outdoor
- продуктивність
- пілот
- Літаки
- влада
- Product
- Production
- Продукти
- проект
- власність
- діапазон
- зменшити
- навчання
- опора
- звітом
- Вимога
- дослідження
- ресурси
- роздрібна торгівля
- Умови повернення
- Risk
- Котити
- прогін
- біг
- сейф
- Безпека
- мудрець
- Samsung
- економія
- масштабованість
- шкала
- Вчені
- Сектори
- Напівпровідникові прилади
- Послуги
- комплект
- простий
- Розмір
- МСП
- So
- соціальна
- Софтвер
- Рішення
- ВИРІШИТИ
- спеціалізується
- почалася
- введення в експлуатацію
- зберігання
- Стратегія
- успіх
- поставка
- ланцюжка поставок
- підтримка
- спостереження
- Огляд
- система
- Systems
- методи
- Технологія
- Telco
- зв'язок
- світ
- час
- Навчання
- Перетворення
- подорожувати
- трильйони
- us
- комунальні послуги
- значення
- Транспортні засоби
- Підприємства
- Web
- веб-сервіси
- крило
- в
- Work
- безпека працівників
- робочий
- працює
- світ
- X
- рік
- років