Kelet-Ausztrália a világ egyik legtűzveszélyesebb régiója. Bár a bozóttüzek rendszeresek Ausztráliában, a 2019–2020-as bozóttüzek válsága több mint 17 millió hektárnyi földet gyújtott fel (amely nagyobb, mint Anglia), ami több mint 100 milliárd dolláros kárt okozott az ausztrál gazdaságnak az ingatlanok, az infrastruktúra, a szociális és a környezeti költségek között. .
Az egyre szélsőségesebb időjárási események következtében Ausztráliában a bozóttüzek kockázata nem fog egyhamar megszűnni. Ez azt jelenti, hogy Ausztrália energiahálózat-üzemeltetőinek felelőssége a biztonságos és megbízható ellátás fenntartásában soha nem volt nagyobb.
Az ausztrál energiahálózat több mint 880,000 22 kilométernyi elosztó- és távvezetéket (körülbelül 7 út a Föld kerülete körül) és XNUMX millió villanyoszlopot foglal magában. A szélsőséges éghajlati viszonyokat és a növényzet növekedését az elektromos vezetékek közelében gondosan kezelni kell a bozóttüzek kockázatának csökkentése érdekében.
Ebben a bejegyzésben megvitatjuk, hogyan használja az AusNet a gépi tanulást (ML) és Amazon SageMaker hogy segítsen enyhíteni a bozóttüzeket.
AusNet innováció a LiDAR-ral
Az AusNet 54,000 1.5 kilométernyi elektromos vezetéket kezel, és több mint 62 millió viktoriánus otthont és vállalkozást szolgáltat energiával. A hálózat XNUMX%-a magas bozóttűzveszélyes területeken található. Az AusNet egy innovatív megoldást fejlesztett ki energiahálózatának biztonságos karbantartására, és minimalizálja annak kockázatát, hogy a növényzet károkat okozzon a hálózatban.
2009 óta az AusNet kiváló minőségű LiDAR-adatokat rögzít a hálózaton keresztül légi és útalapú térképészeti rendszerekkel egyaránt. A LiDAR egy távérzékelési módszer, amely fényt használ impulzuslézer formájában a távolságok és irányok mérésére. Egy objektum érzékelt pontja 3D koordináta-információkkal (x, y, z), valamint további attribútumokkal rendelkezik, mint például a sűrűség, a visszatérések száma, a visszatérési szám, a GPS-időbélyeg és így tovább. Ezeket a pontokat 3D pontfelhőként ábrázolják, amely az összes pontinformáció gyűjteménye. A feldolgozás során a LiDAR az AusNet hálózati eszközeinek 3D-s modelljévé válik, amely azonosítja a növényzet növekedését, amelyet le kell vágni a bozóttűz biztonsága érdekében.
A LiDAR besorolás korábbi folyamata üzleti szabályok által vezérelt következtetéseket használt, és nagymértékben támaszkodott a földrajzi információs rendszer (GIS) pontos eszközeinek helyére az automatizálás elősegítése érdekében. Egyedi címkézőeszközökkel végzett kézi munkára volt szükség a LiDAR-pontok helyes felcímkézéséhez, ahol az eszközök helye pontatlan volt, vagy egyszerűen nem létezett. A LiDAR-pontok kézi korrekciója és osztályozása megnövelte a feldolgozási átfutási időt, és megnehezítette a méretezhetőséget.
AusNet és Amazon gépi tanulás
Az AusNet térinformatikai csapata együttműködött az Amazon ML szakértőivel, köztük az Amazon Machine Learning Solutions Laborral és a Professional Services-szel, hogy megvizsgálják, hogyan automatizálhatja az ML a LiDAR-pontok osztályozását, és felgyorsíthatja a pontatlan GIS-helyadatok kézi javításának fáradságos folyamatát.
Az Ausztrália különböző hálózati konfigurációit képviselő LiDAR-pontok billióinak pontos osztályozásának éves költsége meghaladta az évi 700,000 XNUMX dollárt, és gátolta az AusNet azon képességét, hogy ezt a hálózat nagyobb területeire terjeszthesse ki.
Az AusNet és az AWS összeállt a használat érdekében Amazon SageMaker kísérletezni és mély tanulási modelleket építeni a LiDAR-adatok e nagy gyűjteményének pont szerinti osztályozásának automatizálására. Az Amazon SageMaker egy teljesen felügyelt szolgáltatás, amely segít az adatkutatóknak és fejlesztőknek kiváló minőségű gépi tanulási modellek gyors előkészítésében, létrehozásában, betanításában és üzembe helyezésében. Az AusNet és az AWS csapata sikeresen felépített egy szemantikai szegmentációs modellt, amely pontosan besorolta a 3D pontfelhő-adatokat a következő kategóriákba: vezető, épület, oszlop, növényzet és mások.
Az AusNet és a bozóttüzek enyhítésének eredményei
Az AWS és az AusNet közötti együttműködés óriási siker volt, és a következő eredményeket hozta mind az üzleti, mind a bozóttüzek kockázatának csökkentése érdekében:
- Növeli a dolgozók biztonságát a LiDAR adatok használatával, és csökkenti a mérnökök, földmérők és tervezők telephelyre való utazásának szükségességét
- 80.53%-os pontosságot eredményezett mind az öt szegmentációs kategóriában, így az AusNet becslések szerint évi 500,000 XNUMX ausztrál dollárt takarít meg az automatizált osztályozás révén
- 91.66%-os, illetve 92%-os pontosságot biztosít a vezetők és a növényzet észlelésében, javítva a két legfontosabb szegmensosztály automatikus osztályozását
- Rugalmasságot biztosított a drónokból, helikopterekből, repülőgépekből és földi járművekből nyert LiDAR adatok felhasználásához, miközben figyelembe veszi az egyes adatforrások egyedi változékonyságát
- Lehetővé tette a vállalkozás számára, hogy gyorsabban újítson meg, és skálázhatja az elemzést a teljes hálózaton, csökkentve a GIS referenciaadatoktól és a kézi javítási folyamatoktól való függőséget
- Lehetővé teszi az analitika méretezését a teljes energiahálózaton, fokozott ML-automatizálással és csökkentett függőséggel a kézi térinformatikai korrekciós folyamatoktól
A következő táblázat a szemantikai szegmentációs modell teljesítményét mutatja be nem látott adatokon (a „pontossági” és „visszahívási” mérőszámokkal mérve, ahol a magasabb érték jobb), az öt kategóriában.
Az ML modell besorolt pontokat egy helikopteres befogásból:
Megoldás áttekintése
Az ML Solutions Lab csapata nagy tapasztalattal rendelkező ML-tudósokból és építészekből álló csapatot vont be az innováció és a kísérletezés elősegítésére. Az iparágakban szerzett élvonalbeli ML-tapasztalattal a csapat együttműködött az AusNet térinformatikai csapatával, hogy megoldja a vállalkozás számára a legnagyobb kihívást jelentő technológiai problémákat. A SageMaker mélyreható ML képességei alapján az AusNet és az AWS mindössze 8 hét alatt tudta befejezni a kísérletet.
A SageMaker szélessége és mélysége kulcsszerepet játszott abban, hogy az AusNet és az AWS fejlesztői és adattudósai együttműködjenek a projektben. A csapat kód- és notebook-megosztási szolgáltatásokat, valamint könnyen elérhető, igény szerinti ML számítási erőforrásokat használt a képzéshez. A SageMaker rugalmassága lehetővé tette a csapat számára a gyors iterációt. A csapat a különböző hardverkonfigurációk elérhetőségét is kihasználta, hogy AWS-en kísérletezzen anélkül, hogy előzetes tőkébe kellett volna befektetnie a helyszíni hardver beszerzéséhez. Ez lehetővé tette az AusNet számára, hogy könnyen kiválaszthassa a megfelelő méretű ML erőforrásokat, és igény szerint méretezze kísérleteit. A GPU-erőforrások rugalmassága és elérhetősége kritikus fontosságú, különösen akkor, ha az ML-feladat élvonalbeli kísérleteket igényel.
A SageMaker notebook példányokat használtuk az adatok feltárására és az előfeldolgozási kód fejlesztésére, valamint a SageMaker feldolgozási és betanítási feladatokat használtuk nagyszabású terhelésekhez. A csapat a hiperparaméter-optimalizálást (HPO) is használta, hogy gyorsan iteráljon több képzési feladatot különféle konfigurációkkal és adatkészlet-verziókkal, hogy finomhangolhassa a hiperparamétereket és megtalálja a legjobban teljesítő modellt. Például az adathalmazok különböző verzióit hoztuk létre lefelé mintavételezési és kiegészítési módszerekkel, hogy kiküszöböljük az adatkiegyensúlyozatlansági problémákat. Több képzési feladat párhuzamos futtatása különböző adatkészletekkel lehetővé teszi a megfelelő adatkészlet gyors megtalálását. A nagy és kiegyensúlyozatlan pontfelhő-adatkészletekkel a SageMaker lehetővé tette a gyors iterációt a kísérletek és adatátalakítások számos konfigurációjával.
Az ML mérnökök elvégezhetik az adatok és algoritmusok kezdeti feltárását alacsony költségű notebook-példányok használatával, majd a nehéz adatműveleteket a nagyobb teljesítményű feldolgozási példányokra terhelhetik. A másodpercenkénti számlázás és az automatikus életciklus-kezelés gondoskodik arról, hogy a drágább képzési példányok automatikusan elinduljanak és leálljanak, és csak addig maradjanak aktívak, ameddig szükséges, ami növeli a felhasználás hatékonyságát.
A csapat korszakonként 10.8 perc sebességgel tudott modellt betanítani 17.2 GiB tömörítetlen adatra 1,571 fájlban, ami összesen körülbelül 616 millió pontot jelent. Következtetésképpen a csapat 33.6 GiB tömörítetlen adatot tudott feldolgozni 15 fájlban, összesen 1.2 milliárd pontot 22.1 óra alatt. Ez átlagosan 15,760 XNUMX pont/másodperc következtetést jelent, beleértve az amortizált indítási időt is.
A szemantikai szegmentálási probléma megoldása
Az ML modell besorolt pontokat rögzített szárnyfogásból:
Az ML modell besorolt pontokat egy mobil rögzítésből:
Azt a problémát, hogy egy pontfelhő minden pontját kategóriákból egy kategóriához rendeljük, a szemantikai szegmentáció probléma. Az AusNet LiDAR adatkészletekből származó 3D pontfelhői több millió pontból állnak. A 3D pontfelhő minden pontjának pontos és hatékony címkézése két kihívással jár:
- Kiegyensúlyozatlan adatok – Az osztálykiegyensúlyozatlanság gyakori probléma a valós pontfelhőkben. Ahogy az előző klipekben is látható, a pontok többsége növényzetből áll, és lényegesen kevesebb pont áll elektromos vezetékekből vagy vezetékekből, amelyek kevesebb mint 1%-át teszik ki az összes pontnak. A kiegyensúlyozatlan adatkészlettel kiképzett modellek könnyen elfogulnak a főbb osztályok felé, és rosszul működnek a kiskorúakon. Ez az osztálykiegyensúlyozatlanság gyakori probléma a kültéri LiDAR pontfelhő-adatokban. Ennél a feladatnál kritikus a jó teljesítmény a vezetőpontok osztályozásában. A legnagyobb kihívást egy olyan modell betanítása jelenti, amely mind a major, mind a minor osztályon jól működik.
- Nagyméretű pontfelhő – A LiDAR szenzorból származó pontfelhő adatok mennyisége nagy nyílt területet is lefedhet. Az AusNet esetében a pontfelhőnkénti pontok száma százezertől tízmillióig terjedhet, és minden pontfelhőfájl több száz megabájttól egészen gigabájtig terjedhet. A legtöbb pontfelhő-szegmentációs ML algoritmus mintavételt igényel, mivel az operátorok nem vehetik fel az összes pontot bemenetüknek. Sajnos sok mintavételi módszer számításilag nehéz, ami mind a képzést, mind a következtetést lelassítja. Ebben a munkában ki kell választanunk a leghatékonyabb ML algoritmust, amely nagyméretű pontfelhőkön működik.
Az AWS és az AusNet csapata egy új lemintavételezési stratégiát talált ki klaszterezési pontokon keresztül, hogy megoldja az erősen kiegyensúlyozatlan osztályok problémáját. Ez a mintavételezési stratégia a meglévő mérsékléssel, például az osztálysúlyozással együtt segített megoldani a kihívásokat egy kiegyensúlyozatlan adatkészlettel rendelkező pontos modell képzésében, és javította a következtetési teljesítményt. Kísérleteztünk egy felmintavételezési stratégiát is úgy, hogy a mellékosztályokat megkettőztük és különböző helyekre helyeztük el. Ezt a folyamatot SageMaker feldolgozási feladatként építettük fel, hogy az újonnan beszerzett adatkészletre alkalmazható legyen egy MLOps folyamaton belüli további modellképzéshez.
A csapatok különböző pontfelhő-szegmentációs modelleket kutattak a pontosság, a pontok számának skálázhatósága és a hatékonyság szempontjából. Több kísérlet során a legkorszerűbb ML algoritmust választottuk a pontfelhő szemantikai szegmentálásához, amely megfelelt a követelményeknek. Kiegészítési módszereket is alkalmaztunk, hogy a modell tanulhasson különféle adatkészletekből.
Gyártási architektúra
A pontfelhő-szegmentációs megoldás bevezetéséhez a csapat egy ML-folyamatot tervezett a SageMaker segítségével a képzéshez és a következtetésekhez. A következő diagram a teljes gyártási architektúrát szemlélteti.
A képzési folyamat egy egyéni feldolgozó tárolót tartalmaz a SageMaker Processing alkalmazásban, amely pontfelhőformátum-konverziót, kategória-újraleképezést, felmintavételezést, lemintavételezést és az adatkészlet felosztását hajtja végre. A betanítási feladat kihasználja a SageMaker több GPU-s példányait, amelyek nagyobb memóriakapacitással rendelkeznek, hogy támogassák a modell betanítását nagyobb kötegmérettel.
Az AusNet LiDAR besorolási munkafolyamata azzal kezdődik, hogy akár terabájtnyi pontfelhő adatot is beépít a szárazföldi és légi megfigyelő járművekből. Amazon egyszerű tárolási szolgáltatás (Amazon S3). Az adatokat ezután feldolgozzák, és egy következtetési folyamatba továbbítják a pontfelhő osztályozáshoz. Ennek alátámasztására egy SageMaker Transformot használnak kötegelt következtetések futtatására az adatkészletben, a kimenet pedig megbízhatósági pontszámokkal rendelkező osztályozott pontfelhő-fájlok. A kimenetet ezután az AusNet osztályozási motorja dolgozza fel, amely elemzi a megbízhatósági pontszámot, és vagyonkezelési jelentést készít.
Az architektúra egyik legfontosabb szempontja, hogy az AusNet számára skálázható és moduláris megközelítést biztosít az új adatkészletekkel, adatfeldolgozási technikákkal és modellekkel való kísérletezéshez. Ezzel a megközelítéssel az AusNet alkalmazhatja megoldását a változó környezeti feltételekhez, és alkalmazhatja a jövőbeli pontfelhő-szegmentációs algoritmusokat.
Következtetés és következő lépések az AusNet segítségével
Ebben a bejegyzésben megvitattuk, hogy az AusNet térinformatikai csapata az Amazon ML tudósaival együttműködve automatizálja a LiDAR-pontok osztályozását azáltal, hogy teljesen eltávolítja a GIS helyadatoktól való függőséget az osztályozási feladatból. Ezért a kézi térinformatikai korrekció okozta késleltetés megszűnik, hogy az osztályozási feladat gyorsabb és méretezhető legyen.
„Légi felmérési adataink gyors és pontos címkézése kritikus része a bozóttüzek kockázatának minimalizálásának. Az Amazon Machine Learning Solutions Laborral együttműködve olyan modellt tudtunk létrehozni, amely 80.53%-os átlagos pontosságot ért el az adatcímkézésben. Arra számítunk, hogy az új megoldással akár 80%-kal is csökkenthetjük kézi címkézési erőfeszítéseinket” – mondja Daniel Pendlebury, az AusNet termékmenedzsere.
Az AusNet elképzelése szerint az ML osztályozási modellek jelentős szerepet játszanak a hálózati műveletek hatékonyságának növelésében. Az automatikus osztályozási könyvtárak új szegmentációs modellekkel való bővítésével az AusNet hatalmas adatkészleteket produktívabban tud felhasználni, hogy biztosítsa Victoria közösségeinek biztonságos és megbízható energiaellátását.
Köszönetnyilvánítás
A szerzők szeretnének köszönetet mondani Sergiy Redko-nak, Claire Burrows-nak, William Manahan-nek, Sahil Deshpande-nek, Ross Kingnek és Damian Bisignanónak az AusNet-től, hogy részt vettek a projektben, és elhozták tartományi szakértelmüket a LiDAR adatkészletek és az ML képzés különböző ML algoritmusok segítségével.
Amazon ML Solutions Lab
Amazon ML Solutions Lab párosítja csapatát ML szakértőkkel, hogy segítsen azonosítani és megvalósítani szervezete legnagyobb értékű ML-lehetőségeit. Ha segítségre van szüksége az ML használatának felgyorsításához termékeiben és folyamataiban, kérjük, lépjen kapcsolatba a Amazon ML Solutions Lab.
A szerzőkről
Daniel Pendlebury az AusNet Services termékmenedzsere, aki innovatív, automatizált megfelelőségi termékek biztosítására szakosodott a növényzetkezelés és az eszközök karbantartása területén működő közművek számára.
Nathanael Weldon az Ausnet Services térinformatikai szoftverfejlesztője. Szakterülete a nagyméretű térinformatikai adatfeldolgozó rendszerek felépítése és hangolása, tapasztalattal rendelkezik a közművek, az erőforrások és a környezetvédelmi szektorban.
David Motamed az Amazon Web Services fiókkezelője. Az ausztráliai Melbourne-ben található, és segít a vállalati ügyfeleknek abban, hogy sikeresek legyenek a digitális átalakulás során.
Simon Johnston a mesterséges intelligencia vezetője, és az Amazon Web Services AI/ML üzletágáért felelős Ausztráliában és Új-Zélandon, AI stratégiára és gazdaságtanra szakosodva. Több mint 20 éves kutatási, irányítási és tanácsadási tapasztalat (USA, EU, APAC), amely egy sor innovatív, ipar által irányított kutatási és kereskedelmi AI-vállalkozást fed le – induló vállalkozások/kkv-k/nagyvállalatok és a tágabb ökoszisztéma között.
Derrick Choo az Amazon Web Services megoldástervezője. Székhelye az ausztráliai Melbourne-ben található, és szorosan együttműködik a vállalati ügyfelekkel, hogy felgyorsítsa útjukat a felhőben. Szenvedélyesen segít ügyfeleinek értéket teremteni innováción és méretezhető alkalmazások építésén keresztül, és különösen érdekli az AI és az ML.
Muhyun Kim az Amazon Machine Learning Solutions Lab adattudósa. Gépi tanulással és mély tanulással oldja meg az ügyfelek különféle üzleti problémáit, valamint segíti a szakképzettséget.
Sujoy Roy az Amazon Machine Learning Solutions Lab kutatója, több mint 20 éves tudományos és ipari tapasztalattal az ML alapú megoldások kidolgozásában és bevezetésében üzleti problémákra. A gépi tanulást alkalmazta az ügyfelek problémáinak megoldására olyan iparágakban, mint a telekommunikáció, a média és a szórakoztatás, az AdTech, a távérzékelés, a kiskereskedelem és a gyártás.
Jiyang Kang Senior Deep Learning Architect az Amazon ML Solutions Labnál, ahol számos iparágban segíti az AWS ügyfeleit a mesterséges intelligencia és a felhő alkalmazásában. Mielőtt csatlakozott volna az Amazon ML Solutions Labhoz, megoldástervezőként dolgozott az AWS egyik legfejlettebb vállalati ügyfelénél, és különféle globális szintű felhőalapú munkaterheléseket tervezett az AWS-en. Korábban szoftverfejlesztőként és rendszertervezőként dolgozott olyan cégeknél, mint a Samsung Electronics olyan iparágakban, mint a félvezetőgyártás, a hálózatépítés és a távközlés.
Eden Duthie az AWS megerősítési tanulási szakmai szolgáltatások csapatának vezetője. Az Eden szenvedélyesen törekszik döntéshozatali megoldások fejlesztésére az ügyfelek számára. Különösen az ellátási lánc optimalizálására koncentráló ipari ügyfelek segítése érdekli.
- '
- 000
- 100
- 3d
- 7
- Fiók
- számvitel
- aktív
- További
- Örökbefogadás
- Előny
- AI
- algoritmus
- algoritmusok
- Minden termék
- lehetővé téve
- amazon
- Amazon gépi tanulás
- Amazon SageMaker
- Az Amazon Web Services
- között
- analitika
- alkalmazások
- építészet
- TERÜLET
- körül
- vagyontárgy
- Vagyonkezelés
- Eszközök
- Ausztrália
- szerzők
- Automatizált
- Automatizálás
- elérhetőség
- AWS
- BEST
- számlázás
- Billió
- épít
- Épület
- üzleti
- vállalkozások
- Kapacitás
- tőke
- kihívás
- besorolás
- felhő
- felhő elfogadása
- kód
- együttműködés
- Közös
- Közösségek
- Companies
- teljesítés
- Kiszámít
- karmester
- bizalom
- tanácsadó
- Konténer
- Átalakítás
- kiadások
- válság
- Ügyfelek
- dátum
- adatfeldolgozás
- adattudós
- Döntéshozatal
- mély tanulás
- késleltetés
- Kereslet
- Fejlesztő
- fejlesztők
- digitális
- digitális átalakítás
- vezetés
- Drónok
- Közgazdaságtan
- gazdaság
- ökoszisztéma
- hatékonyság
- Elektronika
- energia
- Mérnökök
- Anglia
- Vállalkozás
- vállalati ügyfelek
- Szórakozás
- környezeti
- EU
- események
- Bontsa
- bővülő
- tapasztalat
- kísérlet
- szakértők
- Jellemzők
- Rugalmasság
- Összpontosít
- forma
- formátum
- jövő
- Globális
- jó
- gps
- GPU
- Növekedés
- hardver
- helikopter
- helikopterek
- Magas
- Hogyan
- HTTPS
- hatalmas
- Több száz
- azonosítani
- Beleértve
- ipari
- iparágak
- ipar
- információ
- Infrastruktúra
- Innováció
- újító
- kamat
- vizsgálja
- kérdések
- IT
- Munka
- Állások
- Kulcs
- király
- címkézés
- munkaerő
- nagy
- lézer
- vezet
- TANUL
- tanulás
- lidar
- fény
- elhelyezkedés
- Hosszú
- gépi tanulás
- fontos
- Többség
- Gyártás
- vezetés
- gyártási
- intézkedés
- Média
- Melbourne
- Metrics
- millió
- kiskorúak
- ML
- ML algoritmusok
- MLOps
- Mobil
- modell
- moduláris
- hálózat
- hálózatba
- Új-Zéland
- nyitva
- Művelet
- Lehetőségek
- Egyéb
- Kültér
- teljesítmény
- pilóta
- Planes
- hatalom
- Termékek
- Termelés
- Termékek
- program
- ingatlan
- hatótávolság
- csökkenteni
- megerősítő tanulás
- bizalom
- jelentést
- követelmények
- kutatás
- Tudástár
- kiskereskedelem
- Visszatér
- Kockázat
- Tekercs
- futás
- futás
- biztonságos
- Biztonság
- sagemaker
- Samsung
- megtakarítás
- skálázhatóság
- Skála
- tudósok
- ágazatok
- Félvezetők
- Szolgáltatások
- készlet
- Egyszerű
- Méret
- KKV-k
- So
- Közösség
- szoftver
- Megoldások
- SOLVE
- specializálódott
- kezdődött
- indítás
- tárolás
- Stratégia
- siker
- kínálat
- ellátási lánc
- támogatás
- felügyelet
- Felmérés
- rendszer
- Systems
- technikák
- Technológia
- Telco
- távközlés
- a világ
- idő
- Képzések
- Átalakítás
- utazás
- billió
- us
- segédprogramok
- érték
- Járművek
- Ventures
- háló
- webes szolgáltatások
- Szárny
- belül
- Munka
- a munkavállalók biztonsága
- munkafolyamat
- művek
- világ
- X
- év
- év