澳大利亚东部是世界上最容易发生火灾的地区之一。 尽管丛林大火在澳大利亚经常发生,但 2019-2020 年的丛林大火危机烧毁了超过 17 万公顷的土地(比英格兰的面积还大),使澳大利亚经济在财产、基础设施、社会和环境成本之间损失了超过 100 亿美元.
随着越来越多的极端天气事件,澳大利亚的丛林大火风险不会很快消失。 这意味着澳大利亚能源网络运营商维护安全可靠供应的责任从未如此重大。
澳大利亚的能源网络包括超过 880,000 公里的配电和输电线路(大约环绕地球 22 圈)和 7 万根电线杆。 必须谨慎管理极端气候条件和靠近输电线的植被生长,以减轻丛林火灾风险。
在这篇文章中,我们讨论了 AusNet 如何使用机器学习 (ML) 和 亚马逊SageMaker 帮助减轻丛林大火。
AusNet 创新与 LiDAR
AusNet 管理着 54,000 公里的电力线,为维多利亚州超过 1.5 万户家庭和企业提供能源。 该网络的 62% 位于丛林大火高风险地区。 AusNet 开发了一种创新的解决方案来安全地维护其能源网络,并将植被对网络造成破坏的风险降至最低。
自 2009 年以来,AusNet 一直在使用空中和基于道路的测绘系统在整个网络中捕获高质量的 LiDAR 数据。 LiDAR 是一种遥感方法,它使用脉冲激光形式的光来测量距离和方向。 物体的一个感测点具有3D坐标信息(x,y,z)以及密度、回波数、回波数、GPS时间戳等附加属性。 这些点表示为 3D 点云,它是所有点信息的集合。 处理后,LiDAR 会变成 AusNet 网络资产的 3D 模型,识别需要修剪以确保丛林火灾安全的植被生长。
以前的 LiDAR 分类过程使用业务规则驱动的推理,严重依赖准确的地理信息系统 (GIS) 资产位置来驱动自动化。 需要使用定制的标记工具进行人工劳动才能正确标记资产位置不准确或根本不存在的 LiDAR 点。 LiDAR 点的手动校正和分类增加了处理周转时间并使其难以扩展。
AusNet 和亚马逊机器学习
AusNet 的地理空间团队与包括亚马逊机器学习解决方案实验室和专业服务在内的 Amazon ML 专家合作,研究 ML 如何自动化 LiDAR 点分类并加速手动更正不准确的 GIS 位置数据的繁重过程。
对代表澳大利亚各地不同网络配置的数万亿个捕获的 LiDAR 点进行准确分类的年度成本超过每年 700,000 美元,并且抑制了 AusNet 将其扩展到更大网络区域的能力。
AusNet 和 AWS 联手使用 亚马逊SageMaker 试验并构建深度学习模型,以自动对大量 LiDAR 数据集合进行逐点分类。 Amazon SageMaker 是一项完全托管的服务,可帮助数据科学家和开发人员快速准备、构建、训练和部署高质量的机器学习模型。 AusNet 和 AWS 团队成功构建了语义分割模型,将 3D 点云数据准确分类为以下类别:导体、建筑物、电线杆、植被等。
AusNet 和丛林大火缓解的成果
AWS 和 AusNet 之间的合作取得了巨大成功,为降低业务和森林火灾风险产生了以下成果:
- 通过使用 LiDAR 数据提高工人安全并减少工程师、测量员和设计师前往现场的需要
- 在所有五个细分类别中产生了 80.53% 的准确率,通过自动分类每年可为 AusNet 节省 500,000 澳元
- 分别提供了 91.66% 和 92% 的导体和植被检测准确率,改进了两个最重要的网段类别的自动分类
- 提供了利用从无人机、直升机、飞机和地面车辆获得的 LiDAR 数据的灵活性,同时考虑到每个数据源的独特可变性
- 通过减少对 GIS 参考数据和手动更正流程的依赖,使企业能够在整个网络中更快地进行创新和扩展分析
- 通过提高 ML 自动化程度并减少对手动 GIS 校正过程的依赖,提供在整个能源网络中扩展分析的能力
下表描述了语义分割模型在五个类别中对未见数据的性能(使用“精度”和“召回”指标测量,越高越好)。
ML 模型对直升机捕获的点进行分类:
解决方案概述
ML Solutions Lab 团队引进了一支由经验丰富的 ML 科学家和架构师组成的团队来帮助推动创新和实验。 凭借跨行业的前沿 ML 经验,该团队与 AusNet 的地理空间团队合作,为企业解决了一些最具挑战性的技术问题。 基于 SageMaker 的深度 ML 功能,AusNet 和 AWS 能够在短短 8 周内完成试点。
SageMaker 的广度和深度在允许 AusNet 和 AWS 的开发人员和数据科学家就该项目进行协作方面发挥了关键作用。 该团队利用代码和笔记本共享功能,并轻松访问按需 ML 计算资源进行培训。 SageMaker 的弹性使团队能够快速迭代。 该团队还能够利用不同硬件配置的可用性在 AWS 上进行试验,而无需投入前期资金来获取本地硬件。 这使 AusNet 能够轻松选择合适大小的 ML 资源并按需扩展他们的实验。 GPU 资源的灵活性和可用性至关重要,尤其是当 ML 任务需要尖端实验时。
我们使用 SageMaker notebook 实例来探索数据和开发预处理代码,并使用 SageMaker 处理和训练作业来处理大规模工作负载。 该团队还使用超参数优化 (HPO) 快速迭代具有各种配置和数据集版本的多个训练作业,以微调超参数并找到性能最佳的模型。 例如,我们使用下采样和扩充方法创建了不同版本的数据集,以克服数据不平衡问题。 并行运行具有不同数据集的多个训练作业可以让您快速找到正确的数据集。 对于庞大且不平衡的点云数据集,SageMaker 提供了使用多种实验配置和数据转换进行快速迭代的能力。
ML 工程师可以使用低成本笔记本实例对数据和算法进行初步探索,然后将繁重的数据操作卸载到更强大的处理实例。 按秒计费和自动生命周期管理确保更昂贵的训练实例自动启动和停止,并且仅在必要时保持活动状态,从而提高利用效率。
该团队能够以每个时期 10.8 分钟的速度在 17.2 个文件中的 1,571 GiB 未压缩数据上训练模型,总计约 616 亿个点。 为了进行推理,该团队能够在 33.6 小时内处理 15 个文件中 1.2 GiB 的未压缩数据,总计 22.1 亿个点。 这意味着平均每秒推理 15,760 个点,包括摊销的启动时间。
解决语义分割问题
ML 模型从固定翼捕获中分类点:
ML 模型对来自移动捕获的点进行分类:
将点云中的每个点分配给一组类别中的一个类别的问题称为 语义分割 问题。 来自 LiDAR 数据集的 AusNet 3D 点云包含数百万个点。 准确高效地标记 3D 点云中的每个点涉及应对两个挑战:
- 数据不平衡 – 类不平衡是现实世界点云中的一个常见问题。 如前面的剪辑所示,大部分点由植被组成,由电源线或导体组成的点明显较少,占总点的不到 1%。 使用不平衡数据集训练的模型很容易偏向于大类,而在小类上效果不佳。 这种类别不平衡是室外环境的 LiDAR 点云数据中的常见问题。 对于此任务,在对导体点进行分类时具有良好的性能至关重要。 训练一个在大班和小班上都表现良好的模型是最大的挑战。
- 大规模点云 – 来自 LiDAR 传感器的点云数据量可以覆盖大片开放区域。 在 AusNet 的案例中,每个点云的点数可以从数十万到数千万不等,每个点云文件从数百兆字节到千兆字节不等。 大多数点云分割 ML 算法都需要采样,因为操作员无法将所有点作为输入。 不幸的是,许多采样方法的计算量很大,这使得训练和推理都很慢。 在这项工作中,我们需要选择适用于大规模点云的最有效的 ML 算法。
AWS 和 AusNet 团队通过聚类点发明了一种新颖的下采样策略,以解决严重不平衡的类别问题。 这种下采样策略与现有的缓解措施(例如类加权)一起,有助于解决使用不平衡数据集训练准确模型的挑战,并提高推理性能。 我们还通过复制次要类并将它们放置在不同位置来试验上采样策略。 此过程构建为 SageMaker 处理作业,因此它可以应用于新获取的数据集,以便在 MLOps 管道中进行进一步的模型训练。
团队研究了各种考虑准确性、点数可扩展性和效率的点云分割模型。 在多次实验中,我们选择了最先进的 ML 算法进行点云语义分割,满足了要求。 我们还采用了增强方法,以便模型可以从各种数据集中学习。
生产架构
为了推出点云分割解决方案,该团队使用 SageMaker 设计了一个 ML 管道进行训练和推理。 下图说明了整体生产架构。
训练管道在 SageMaker Processing 中具有自定义处理容器,用于执行点云格式转换、类别重新映射、上采样、下采样和数据集拆分。 训练作业利用 SageMaker 中具有更高内存容量的多 GPU 实例来支持训练具有更大批量大小的模型。
AusNet 的 LiDAR 分类工作流程开始于将来自陆地和空中监视车辆的多达 TB 的点云数据摄取到 亚马逊简单存储服务 (亚马逊 S3)。 然后处理数据并将其传递到用于点云分类的推理管道。 为支持这一点,SageMaker Transform 用于跨数据集运行批量推理,输出是具有置信度分数的分类点云文件。 然后输出由 AusNet 的分类引擎处理,该引擎分析置信度得分并生成资产管理报告。
该架构的一个关键方面是它为 AusNet 提供了一种可扩展的模块化方法来试验新的数据集、数据处理技术和模型。 通过这种方法,AusNet 可以使他们的解决方案适应不断变化的环境条件,并采用未来的点云分割算法。
AusNet 的结论和后续步骤
在本文中,我们讨论了 AusNet 的地理空间团队如何与 Amazon ML 科学家合作,通过从分类任务中完全消除对 GIS 位置数据的依赖来自动化 LiDAR 点分类。 因此,消除了手动 GIS 校正产生的延迟,使分类任务更快且可扩展。
“能够快速准确地标记我们的航测数据是将丛林大火风险降至最低的关键部分。 通过与 Amazon Machine Learning Solutions Lab 合作,我们能够创建一个在数据标记方面达到 80.53% 平均准确度的模型。 我们希望通过新解决方案能够将我们的手动标签工作减少多达 80%,”AusNet 产品经理 Daniel Pendlebury 说。
AusNet 设想 ML 分类模型在提高其网络运营效率方面发挥重要作用。 通过使用新的细分模型扩展其自动分类库,AusNet 可以更高效地利用庞大的数据集,以确保为整个维多利亚州的社区提供安全、可靠的能源供应。
致谢
作者要感谢 AusNet 的 Sergiy Redko、Claire Burrows、William Manahan、Sahil Deshpande、Ross King 和 Damian Bisignano 参与该项目,并利用他们在 LiDAR 数据集和使用不同 ML 算法的 ML 训练方面的领域专业知识。
亚马逊机器学习解决方案实验室
亚马逊机器学习解决方案实验室 将您的团队与 ML 专家配对,以帮助您识别和实施贵组织的最高价值 ML 机会。 如果您需要帮助加速在您的产品和流程中使用 ML,请联系 亚马逊机器学习解决方案实验室.
作者简介
丹尼尔彭德尔伯里 是 AusNet Services 的产品经理,专门为植被管理和资产维护领域的公用事业提供创新的自动化合规产品。
纳撒尼尔韦尔登 是 Ausnet Services 的地理空间软件开发人员。 他擅长构建和调整大型地理空间数据处理系统,在公用事业、资源和环境领域拥有丰富经验。
大卫莫塔梅德 是 Amazon Web Services 的客户经理。 他常驻澳大利亚墨尔本,帮助企业客户在数字化转型之旅中取得成功。
西蒙约翰斯顿 是 AI 领导者,负责澳大利亚和新西兰的 Amazon Web Services AI/ML 业务,专攻 AI 战略和经济学。 20 多年的研究、管理和咨询经验(美国、欧盟、亚太地区),涵盖一系列创新的、行业主导的研究和商业化 AI 企业——参与初创企业/中小企业/大型企业和更广泛的生态系统。
德里克周 是 Amazon Web Services 的解决方案架构师。 他常驻澳大利亚墨尔本,与企业客户密切合作,加速他们的云之旅。 他热衷于通过创新和构建可扩展的应用程序帮助客户创造价值,并且对人工智能和机器学习特别感兴趣。
金木h 是Amazon Machine Learning Solutions Lab的数据科学家。 他通过应用机器学习和深度学习解决了客户的各种业务问题,还帮助他们提高了技能。
苏乔伊罗伊 是亚马逊机器学习解决方案实验室的科学家,拥有 20 多年的学术和行业经验,为业务问题构建和部署基于 ML 的解决方案。 他应用机器学习来解决电信、媒体和娱乐、AdTech、遥感、零售和制造等行业的客户问题。
康继扬 是 Amazon ML 解决方案实验室的高级深度学习架构师,他帮助多个行业的 AWS 客户采用 AI 和云。 在加入 Amazon ML 解决方案实验室之前,他曾担任 AWS 最先进的企业客户之一的解决方案架构师,在 AWS 上设计各种全球规模的云工作负载。 他之前曾在三星电子等公司担任软件开发人员和系统架构师,从事半导体、网络和电信等行业。
伊甸杜西 是 AWS 强化学习专业服务团队的负责人。 Eden 热衷于为客户开发决策制定解决方案。 他特别热衷于帮助工业客户重点关注供应链优化。
- '
- 000
- 100
- 3d
- 7
- 账号管理
- 基本会计和财务报表
- 要积极。
- 额外
- 采用
- 优点
- AI
- 算法
- 算法
- 所有类型
- 允许
- Amazon
- 亚马逊机器学习
- 亚马逊SageMaker
- 亚马逊网络服务
- 其中
- 分析
- 应用领域
- 架构
- 国家 / 地区
- 围绕
- 财富
- 资产管理
- 办公室文员:
- 澳大利亚
- 作者
- 自动化
- 自动化
- 可用性
- AWS
- 最佳
- 计费
- 亿
- 建立
- 建筑物
- 商业
- 企业
- 容量
- 资本
- 挑战
- 分类
- 云端技术
- 云采用
- 码
- 合作
- 相当常见
- 地区
- 公司
- 符合
- 计算
- 导体
- 信心
- 咨询
- 容器
- 转化
- 成本
- 危机
- 合作伙伴
- data
- 数据处理
- 数据科学家
- 决策
- 深入学习
- 延迟
- 需求
- 开发商
- 开发
- 数字
- 数字化改造
- 驾驶
- 无人机电调
- 经济学
- 经济
- 生态系统
- 效率
- 电子
- 能源
- 工程师
- 英国
- 企业
- 企业客户
- 娱乐
- 环境的
- EU
- 事件
- 扩大
- 扩大
- 体验
- 实验
- 专家
- 特征
- 高度灵活
- 专注焦点
- 申请
- 格式
- 未来
- 全球
- 非常好
- GPS
- GPU
- 事业发展
- 硬件
- 直升机
- 直升机
- 高
- 创新中心
- HTTPS
- 巨大
- 数百
- 鉴定
- 包含
- 产业
- 行业
- 行业中的应用:
- 信息
- 基础设施
- 創新
- 创新
- 兴趣
- 调查
- 问题
- IT
- 工作
- 工作机会
- 键
- 国王
- 标签
- 劳工
- 大
- 激光器是如何工作的
- 铅
- 学习用品
- 学习
- 处理
- 光
- 圖書分館的位置
- 长
- 机器学习
- 主要
- 多数
- 制作
- 颠覆性技术
- 制造业
- 衡量
- 媒体
- 墨尔本
- 指标
- 百万
- 未成年人
- ML
- ML算法
- 多播
- 联络号码
- 模型
- 模块化
- 网络
- 工业网络
- 新西兰
- 打开
- 运营
- 机会
- 其它
- 户外
- 性能
- 飞行员
- 飞机
- 功率
- 产品
- 生产
- 热销产品
- 项目
- 财产
- 范围
- 减少
- 强化学习
- 信赖
- 报告
- 岗位要求
- 研究
- 资源
- 零售
- 回报
- 风险
- 滚
- 运行
- 运行
- 安全
- 实现安全
- sagemaker
- Samsung
- 保存
- 可扩展性
- 鳞片
- 科学家
- 行业
- 半导体
- 特色服务
- 集
- 简易
- 尺寸
- 中小企业
- So
- 社会
- 软件
- 解决方案
- 解决
- 专业
- 开始
- 启动
- 存储
- 策略
- 成功
- 供应
- 供应链
- SUPPORT
- 监控
- 调查
- 系统
- 产品
- 技术
- 专业技术
- 电信
- 电信
- 世界
- 次
- 产品培训
- 转型
- 旅行
- 万亿
- us
- 公用事业
- 折扣值
- 车辆
- 风险投资
- 卷筒纸
- Web服务
- 翼
- 中
- 工作
- 工人安全
- 工作流程
- 合作
- 世界
- X
- 年
- 年