这篇文章是与 Marubeni Power International 数据科学高级经理 Hernan Figueroa 合着的。
丸红电力国际公司 (MPII) 在美洲拥有并投资电力业务平台。 MPII 的一个重要垂直领域是可再生能源和储能资产的资产管理,这对于降低我们电力基础设施的碳强度至关重要。 使用可再生能源资产需要具有预测性和响应性的数字解决方案,因为可再生能源发电和电力市场条件在不断变化。 MPII 使用机器学习 (ML) 出价优化引擎为电力资产管理和交易中的上游决策流程提供信息。 该解决方案可帮助市场分析师设计和执行针对电力资产盈利能力优化的数据驱动投标策略。
在本文中,您将了解 Marubeni 如何通过使用广泛的 AWS 分析和 ML 服务来优化市场决策,以构建强大且具有成本效益的 Power Bid Optimization 解决方案。
解决方案概述
电力市场使电力和能源交易能够平衡电网中的电力供需并满足不同的电网可靠性需求。 市场参与者,如 MPII 资产运营商,不断向这些电力市场竞标电力和能源数量,以从其电力资产中获取利润。 市场参与者可以同时向不同市场提交报价以提高资产的盈利能力,但需要考虑资产功率限制和响应速度以及其他资产运营约束和这些市场的互操作性。
MPII 的出价优化引擎解决方案使用 ML 模型为参与不同市场生成最佳出价。 最常见的报价是日前能源报价,应在实际交易日前 1 天提交,以及实时能源报价,应在交易时间前 75 分钟提交。 该解决方案协调电力资产的动态投标和运营,并需要使用其 ML 模型中可用的优化和预测功能。
Power Bid Optimization 解决方案包括多个扮演特定角色的组件。 让我们来看看所涉及的组件及其各自的业务功能。
数据收集和摄取
数据收集和摄取层连接到所有上游数据源并将数据加载到数据湖中。 电力市场招标至少需要四种输入:
- 电力需求预测
- 天气预报
- 市场价格历史
- 电价预测
这些数据源只能通过 API 访问。 因此,摄取组件需要能够管理身份验证、拉取模式下的数据来源、数据预处理和数据存储。 由于数据每小时获取一次,因此还需要一种机制来编排和安排摄取作业。
资料准备
与大多数 ML 用例一样,数据准备起着至关重要的作用。 数据来自多种格式的不同来源。 在准备好用于 ML 模型训练之前,它必须经过以下一些步骤:
- 根据到达时间合并每小时数据集。 完整的数据集必须包括所有来源。
- 通过使用标准化、归一化或插值等技术提高数据质量。
在此过程结束时,整理的数据将被暂存并可供进一步使用。
模型训练和部署
下一步包括训练和部署一个模型,该模型能够预测买卖能源的最佳市场出价。 为了最大限度地降低性能不佳的风险,Marubeni 使用了集成建模技术。 集成建模包括组合多个 ML 模型以提高预测性能。 Marubeni 将外部和内部预测模型的输出与加权平均值相结合,以利用所有模型的优势。 Marubeni 的内部模型基于长短期记忆 (LSTM) 架构,这些架构有据可查且易于在 TensorFlow 中实施和定制。 亚马逊SageMaker 支持 TensorFlow 部署和许多其他 ML 环境。 外部模型是专有的,它的描述不能包含在这篇文章中。
在 Marubeni 的用例中,投标模型使用出版物中使用的目标函数的修改版本执行数值优化以最大化收入 CAISO 的储能机会.
SageMaker 使 Marubeni 能够在单一环境中运行 ML 和数值优化算法。 这很关键,因为在内部模型训练期间,数值优化的输出被用作预测损失函数的一部分。 有关如何解决数值优化用例的更多信息,请参阅 使用Amazon SageMaker Processing解决数字优化问题,例如计划,路由和分配.
然后,我们通过推理端点部署这些模型。 随着定期摄取新数据,模型需要重新训练,因为它们会随着时间的推移变得陈旧。 本文后面的架构部分提供了有关模型生命周期的更多详细信息。
电力投标数据生成
该解决方案每小时预测市场上应提供的最佳电力数量和价格——也称为 投标. 数量以 MW 衡量,价格以美元/MW 衡量。 针对预测和感知市场条件的多种组合生成出价。 下表显示了最终示例 出价曲线 在 Marubeni 洛杉矶办事处附近的一个说明性交易节点上,第 17 个小时营业时间的输出。
日期 | 小时 | 市场 | 地理位置 | MW | 价格 |
11/7/2022 | 17 | RT能源 | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | RT能源 | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | RT能源 | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | RT能源 | LCIENEGA_6_N001 | 8 | $230.15 |
此示例表示如果电价至少为 1.65 美元,我们愿意出价 80.79 兆瓦,如果电价至少为 5.15 美元,则为 105.34 兆瓦,如果电价至少为 8 美元,则为 230.15 兆瓦。
独立系统运营商 (ISO) 负责监督美国的电力市场,并负责授予和拒绝投标,以最经济的方式维持电网的可靠性。 加州独立系统运营商 (CAISO) 在加州经营电力市场,并在下一个投标窗口之前每小时发布一次市场结果。 通过将当前市场条件与曲线上的等效条件交叉参考,分析师能够推断出最佳收入。 Power Bid Optimization 解决方案使用新的传入市场信息和新模型预测输出更新未来的出价
AWS 架构概述
下图所示的解决方案架构实现了前面介绍的所有层。 它使用以下 AWS 服务作为解决方案的一部分:
- 亚马逊简单存储服务 (Amazon S3) 存储以下数据:
- 来自各种来源的定价、天气和负荷预测数据。
- 准备好用于模型训练的合并和扩充数据。
- 输出出价曲线每小时刷新一次。
- 亚马逊SageMaker 训练、测试和部署模型以通过推理端点提供优化的投标。
- AWS步骤功能 编排数据和 ML 管道。 我们使用两个状态机:
- 一个状态机来协调数据收集并确保所有源都已被摄取。
- 一个状态机来编排 ML 管道以及优化的投标生成工作流。
- AWS Lambda 实现摄取、预处理和后处理功能:
- 提取输入数据提要的三个函数,每个源一个函数。
- 一种整合和准备训练数据的功能。
- 一种通过调用部署在 SageMaker 中的模型端点生成价格预测的函数。
- 亚马逊雅典娜 为开发人员和业务分析师提供对生成数据的 SQL 访问以进行分析和故障排除。
- 亚马逊EventBridge 按计划触发数据摄取和 ML 管道以响应事件。
在以下部分中,我们将更详细地讨论工作流。
数据收集和准备
每小时都会调用数据准备 Step Functions 状态机。 它并行调用每个数据摄取 Lambda 函数,并等待所有四个函数完成。 数据收集函数调用各自的源 API 并检索过去一小时的数据。 然后每个函数将接收到的数据存储到各自的 S3 存储桶中。
这些功能共享一个共同的实施基线,为标准数据操作(如规范化或索引化)提供构建块。 为此,我们使用 Lambda 层和 AWS 圣杯,如中所述 将 AWS Lambda 层与 AWS Chalice 结合使用. 这可确保所有开发人员都使用相同的基础库来构建新的数据准备逻辑并加快实施速度。
在提取并存储所有四个源之后,状态机触发数据准备 Lambda 函数。 电价、天气和负载预测数据以 JSON 和字符分隔文件的形式接收。 每个文件的每个记录部分都带有一个时间戳,用于将数据馈送整合到一个涵盖 1 小时时间范围的数据集中。
该构造提供了一个完全由事件驱动的工作流程。 一旦摄取了所有预期数据,就会启动训练数据准备。
机器学习流水线
数据准备完成后,新数据集将存储到 Amazon S3 中。 EventBridge 规则通过 Step Functions 状态机触发 ML 管道。 状态机驱动两个进程:
- 检查出价曲线生成模型是否为最新
- 当性能下降或模型超过一定天数时自动触发模型重新训练
如果当前部署模型的年龄比最新数据集早某个阈值(比如 7 天),Step Functions 状态机将启动训练、测试和部署新推理端点的 SageMaker 管道。 如果模型仍然是最新的,工作流将跳过 ML 管道并继续进行投标生成步骤。 无论模型的状态如何,都会在交付新的每小时数据集时生成新的出价曲线。 下图说明了此工作流程。 默认情况下, StartPipelineExecution
动作是异步的。 我们可以让状态机在调用投标生成步骤之前等待管道结束,方法是使用 '等待回调' 选项。
为了降低构建试点解决方案的成本和上市时间,Marubeni 使用 Amazon SageMaker 无服务器推理. 这确保了用于训练和部署的底层基础设施仅在需要时才会产生费用。 这也使得构建管道的过程更加容易,因为开发人员不再需要管理基础设施。 对于在流量激增之间有空闲期的工作负载来说,这是一个很好的选择。 随着解决方案的成熟和过渡到生产,Marubeni 将审查他们的设计并采用更适合可预测和稳定使用的配置。
出价生成和数据查询
出价生成 Lambda 函数定期调用推理端点以生成每小时预测并将输出存储到 Amazon S3 中。
然后,开发人员和业务分析师可以使用 Athena 和 Microsoft Power BI 探索数据以实现可视化。 数据也可以通过 API 提供给下游业务应用程序。 在试点阶段,运营商可以直观地参考出价曲线,以支持他们在市场上的电力交易活动。 不过,Marubeni 正在考虑在未来实现这一过程的自动化,而该解决方案为此提供了必要的基础。
结论
该解决方案使 Marubeni 能够完全自动化他们的数据处理和摄取管道,并将他们的预测和优化模型的部署时间从几小时缩短到几分钟。 出价曲线现在自动生成,并随着市场条件的变化而保持最新。 从预配置推理端点切换到无服务器端点时,他们还实现了 80% 的成本降低。
MPII 的预测解决方案是 Marubeni Corporation 在电力行业推出的近期数字化转型计划之一。 MPII 计划构建更多数字解决方案以支持新的电力业务平台。 MPII 可以依靠 AWS 服务来支持他们在许多用例中的数字化转型战略。
“我们可以专注于管理新业务平台的价值链,因为我们知道 AWS 正在管理我们解决方案的底层数字基础设施。=
– Marubeni Power International 数据科学高级经理 Hernan Figueroa。
有关 AWS 如何帮助能源组织进行数字化转型和可持续发展计划的更多信息,请参阅 AWS 能源.
Marubeni Power International 是 Marubeni Corporation 的子公司。 Marubeni Corporation 是日本主要的贸易和投资企业集团。 Marubeni Power International 的使命是开发新的业务平台,评估新的能源趋势和技术,并管理 Marubeni 在美洲的电力产品组合。 如果您想了解更多关于 Marubeni Power 的信息,请查看 https://www.marubeni-power.com/.
作者简介
埃尔南菲格罗亚 领导 Marubeni Power International 的数字化转型计划。 他的团队应用数据科学和数字技术来支持 Marubeni Power 的增长战略。 在加入 Marubeni 之前,Hernan 是哥伦比亚大学的一名数据科学家。 他拥有博士学位。 电气工程学士学位和计算机工程学士学位。
利诺·布雷西亚 是纽约市的首席客户经理。 他拥有超过 25 年的技术经验,并于 2018 年加入 AWS。他负责管理全球企业客户,因为他们使用 AWS 云服务转变业务并执行大规模迁移。
纳西斯·泽克帕 是波士顿的高级解决方案架构师。 他通过 AWS 云上创新且可扩展的解决方案帮助美国东北部的客户加速业务转型。 当 Narcisse 不建造建筑时,他喜欢与家人共度时光、旅行、烹饪、打篮球和跑步。
佩德拉姆·贾汉吉里 是 AWS 的企业解决方案架构师,拥有电气工程博士学位。 他在能源和 IT 行业拥有 10 多年的经验。 Pedram 在高级分析的各个方面拥有多年的实践经验,可以利用云技术为企业构建定量和大规模的解决方案。
莎拉·奇尔德斯 是华盛顿特区的客户经理。 她曾是一名科学教育家,现在是云计算爱好者,专注于在客户的云之旅中为他们提供支持。 Sarah 喜欢与积极进取的团队一起工作,该团队鼓励多元化的想法,为客户提供最具创新性和最全面的解决方案。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :是
- $UP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- Able
- 关于我们
- 加快
- ACCESS
- 访问
- 账号管理
- 横过
- 操作
- 活动
- 额外
- 地址
- 采用
- 推进
- 高级
- 优点
- 算法
- 所有类型
- 分配
- 靠
- Amazon
- 亚马逊SageMaker
- 美洲
- 量
- 分析
- 分析师
- 分析
- 和
- 洛杉矶
- API
- APIs
- 应用领域
- 架构
- 保健
- 到来
- AS
- 方面
- 财富
- 资产管理
- 办公室文员:
- At
- 增强
- 认证
- 自动化
- 自动
- 自动化
- 可使用
- AWS
- AWS Lambda
- AWS机器学习
- 当前余额
- 基地
- 基于
- 底线
- 基础
- 篮球
- BE
- 因为
- 成为
- before
- 作为
- 最佳
- 之间
- 出价
- 吹氣梢
- 波士顿
- 广阔
- 建立
- 建筑物
- 商业
- 商业应用
- 业务转型
- 买房
- by
- 加州
- 呼叫
- 被称为
- 调用
- 呼叫
- CAN
- 不能
- 能力
- 能力
- 碳
- 案件
- 例
- 一定
- 链
- 更改
- 改变
- 字符
- 收费
- 查
- 云端技术
- 云服务
- 采集
- 哥伦比亚
- 组合
- 结合
- 相当常见
- 完成
- 组件
- 全面
- 一台
- 计算机工程
- 条件
- 配置
- 砾岩
- 所连接
- 考虑
- 考虑
- 巩固
- 经常
- 约束
- 建设
- 消费
- 消费
- 一直
- 烹调
- 公司
- 价格
- 降低成本
- 经济有效
- 外壳
- 覆盖
- 危急
- 交叉引用
- 策划
- 电流
- 目前
- 曲线
- 合作伙伴
- 定制
- data
- 数据湖
- 资料准备
- 数据处理
- 数据科学
- 数据科学家
- 数据存储
- 数据驱动
- 数据集
- 日期
- 天
- dc
- 决策
- 决定
- 默认
- 交货
- 需求
- 部署
- 部署
- 部署
- 部署
- 部署
- 部署
- 描述
- 描述
- 设计
- 细节
- 详情
- 开发
- 开发
- 不同
- 数字
- 数字化改造
- 讨论
- 不同
- 多元化
- ,我们将参加
- 动态
- 每
- 此前
- 更容易
- 易
- 电动
- 电气工程
- 电力
- enable
- 启用
- 使
- 鼓励
- 端点
- 能源
- 发动机
- 工程师
- 确保
- 确保
- 企业
- 企业客户
- 企业
- 爱好者
- 环境
- 环境中
- 醚(ETH)
- 事件
- 所有的
- 例子
- 只
- 执行
- 预期
- 体验
- 探索
- 外部
- 家庭
- 已取得
- 数字
- 文件
- 档
- 最后
- 专注焦点
- 重点
- 以下
- 针对
- 收益预测
- 前
- Foundations
- FRAME
- 新鲜
- 止
- 充分
- 功能
- 功能
- 功能
- 进一步
- 未来
- 生成
- 产生
- 产生
- 代
- 全球
- Go
- 大
- 格
- 事业发展
- 动手
- 有
- 帮助
- 帮助
- 持有
- HOURS
- 创新中心
- How To
- 但是
- HTML
- HTTPS
- 思路
- 空闲
- 实施
- 履行
- 器物
- 重要
- in
- 包括
- 包括
- 包括
- 来电
- 增加
- 独立
- 行业中的应用:
- 信息
- 基础设施
- 项目
- 创新
- 输入
- 内部
- 国际
- 互操作性
- 投资
- 投资
- 所调用
- 参与
- IT
- IT行业
- 它的
- 日文
- 工作机会
- 加盟
- 加盟
- 旅程
- JPG
- JSON
- 前场任意球
- 知道
- 会心
- 湖泊
- 大规模
- 最新
- 发射
- 层
- 层
- 信息
- 学习用品
- 学习
- 借力
- 库
- 生命周期
- 喜欢
- 范围
- 加载
- 负载
- 长
- 不再
- 该
- 洛杉矶
- 离
- 机
- 机器学习
- 机
- 制成
- 保持
- 主要
- 制作
- 管理
- 颠覆性技术
- 经理
- 管理
- 管理的
- 操作
- 许多
- 市场
- 市场条件
- 市场
- 成熟
- 生产力
- 机制
- 内存
- 微软
- 大幅减低
- 分钟
- 使命
- ML
- 时尚
- 模型
- 造型
- 模型
- 改性
- 更多
- 最先进的
- 动机
- 移动
- 多
- 近
- 必要
- 需求
- 打印车票
- 需要
- 全新
- 下页
- 节点
- 数
- 纽约市
- 目标
- 获得
- of
- 最多线路
- 公司联络号码
- on
- 一
- 运营
- 操作
- 操作
- 操作
- 操作者
- 运营商
- 最佳
- 优化
- 优化
- 追求项目的积极优化
- 附加选项
- 组织
- 其他名称
- 产量
- 拥有
- 并行
- 部分
- 与会者
- 参与
- 过去
- 感知
- 演出
- 性能
- 期
- 相
- 飞行员
- 管道
- 计划
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 播放
- 个人档案
- 帖子
- 功率
- Power BI
- 可编程电源
- 可预见
- 都曾预测
- 预测
- 预测
- 预测
- 预测
- Prepare
- 呈现
- 车资
- 价格预测
- 价格
- 校长
- 先
- 问题
- 过程
- 过程
- 处理
- 生产
- 盈利
- 利润
- 所有权
- 提供
- 提供
- 出版物
- 发布
- 质量
- 量
- 准备
- 实时的
- 实现
- 收到
- 最近
- 记录
- 减少
- 而不管
- 可靠性
- 依靠
- 可再生
- 再生能源
- 代表
- 必须
- 需要
- 那些
- 响应
- 提供品牌战略规划
- 响应
- 成果
- 再培训
- 收入
- 检讨
- 风险
- 健壮
- 角色
- 角色
- 第
- 运行
- 运行
- s
- sagemaker
- 同
- 可扩展性
- 始你
- 科学
- 科学家
- 部分
- 部分
- 扇形
- 卖房
- 服务
- 无服务器
- 特色服务
- 集
- Share
- 短期的
- 应该
- 作品
- 简易
- 同时
- 单
- So
- 方案,
- 解决方案
- 一些
- 不久
- 来源
- 来源
- 采购
- 具体的
- 速度
- 花费
- SQL
- 标准
- 州/领地
- 稳定
- 步
- 步骤
- 仍
- 存储
- 商店
- 存储
- 商店
- 策略
- 策略
- 实力
- 提交
- 提交
- 副
- 这样
- 供应
- 供需平衡
- SUPPORT
- 支持
- 支持
- 永续发展
- 系统
- 表
- 采取
- 团队
- 技术
- 技术
- 专业技术
- tensorflow
- test
- 测试
- 这
- 未来
- 国家
- 其
- 因此
- 博曼
- 通过
- 次
- 时间戳
- 至
- 交易
- 交通
- 培训
- 产品培训
- 火车
- 交易
- 改造
- 转型
- 转型策略
- 转换
- 旅游
- 趋势
- 触发
- 转身
- 类型
- 我们
- 相关
- 大学
- 最新动态
- 上游数据
- us
- 用法
- 使用
- 用例
- 折扣值
- 各个
- 版本
- 通过
- 可视化
- 等待
- 华盛顿
- 华盛顿特区
- 方法..
- 天气
- 井
- 这
- 将
- 意愿
- 中
- 工作流程
- 加工
- 将
- 年
- 和风网