この記事は、丸紅パワー インターナショナルのデータ サイエンス担当シニア マネージャーである Hernan Figueroa と共著しています。
丸紅パワーインターナショナル株式会社 (MPII) は、南北アメリカの電力ビジネス プラットフォームを所有し、投資しています。 MPII にとって重要な分野は、再生可能エネルギーとエネルギー貯蔵資産の資産管理です。これは、電力インフラの炭素強度を削減するために不可欠です。 再生可能エネルギー発電と電力市場の状況は絶えず変化しているため、再生可能電力資産を扱うには、予測的で応答性の高いデジタル ソリューションが必要です。 MPII は、機械学習 (ML) 入札最適化エンジンを使用して、電力資産の管理と取引における上流の意思決定プロセスに情報を提供しています。 このソリューションは、市場アナリストが電力資産の収益性のために最適化されたデータ主導の入札戦略を設計および実行するのに役立ちます。
この投稿では、丸紅が幅広い AWS 分析と ML サービスを使用して市場の意思決定を最適化し、堅牢で費用対効果の高い Power Bid Optimization ソリューションを構築する方法を学びます。
ソリューションの概要
電力市場は、電力とエネルギーの取引を可能にし、電力網の電力供給と需要のバランスを取り、さまざまな電力網の信頼性のニーズをカバーします。 MPII 資産運用者などの市場参加者は、電力資産から利益を得るために、これらの電力市場に電力とエネルギー量を絶えず入札しています。 市場参加者は、資産の収益性を高めるために異なる市場に同時に入札を送信できますが、資産の電力制限と応答速度、およびその他の資産運用上の制約とそれらの市場の相互運用性を考慮する必要があります。
MPII の入札最適化エンジン ソリューションは、ML モデルを使用して、さまざまな市場への参加に最適な入札を生成します。 最も一般的な入札は、実際の取引日の 1 日前に提出する必要がある前日エネルギー入札と、取引時間の 75 分前に提出する必要があるリアルタイム エネルギー入札です。 このソリューションは、電力資産の動的な入札と運用を調整し、ML モデルで利用可能な最適化と予測機能を使用する必要があります。
Power Bid Optimization ソリューションには、特定の役割を果たす複数のコンポーネントが含まれています。 関連するコンポーネントとそれぞれのビジネス機能について見ていきましょう。
データの収集と取り込み
データ収集および取り込みレイヤーは、すべてのアップストリーム データ ソースに接続し、データをデータ レイクに読み込みます。 電力市場の入札には、少なくとも XNUMX 種類の入力が必要です。
- 電力需要予測
- 気象予報
- 市場価格履歴
- 電力価格の予測
これらのデータ ソースは、API を介してのみアクセスされます。 したがって、取り込みコンポーネントは、認証、プル モードでのデータ ソーシング、データの前処理、およびデータ ストレージを管理できる必要があります。 データは XNUMX 時間ごとにフェッチされるため、取り込みジョブを調整およびスケジュールするためのメカニズムも必要です。
データの準備
ほとんどの ML ユース ケースと同様に、データの準備が重要な役割を果たします。 データは、さまざまな形式のさまざまなソースから取得されます。 ML モデルのトレーニングに使用する準備が整う前に、次のいくつかの手順を実行する必要があります。
- 到着時間に基づいて XNUMX 時間ごとのデータセットを統合します。 完全なデータセットには、すべてのソースが含まれている必要があります。
- 標準化、正規化、補間などの手法を使用して、データの品質を向上させます。
このプロセスの最後に、キュレートされたデータがステージングされ、さらに使用できるようになります。
モデルのトレーニングと展開
次のステップは、エネルギーを売買するための最適な市場入札を予測できるモデルをトレーニングして展開することです。 アンダーパフォーマンスのリスクを最小限に抑えるために、丸紅はアンサンブル モデリング手法を使用しました。 アンサンブル モデリングは、複数の ML モデルを組み合わせて予測パフォーマンスを向上させることで構成されます。 丸紅では、すべてのモデルの強みを活かすために、外部予測モデルと内部予測モデルの出力を加重平均でアンサンブルしています。 丸紅の内部モデルは、Long Short-Term Memory (LSTM) アーキテクチャに基づいており、十分に文書化されており、TensorFlow での実装とカスタマイズが容易です。 アマゾンセージメーカー TensorFlow のデプロイと他の多くの ML 環境をサポートしています。 外部モデルは独自のものであり、その説明をこの投稿に含めることはできません。
丸紅のユースケースでは、入札モデルは数値最適化を実行して、出版物で使用されている目的関数の修正バージョンを使用して収益を最大化します。 CAISO におけるエネルギー貯蔵の機会.
SageMaker により、丸紅は単一の環境で ML と数値最適化アルゴリズムを実行できます。 内部モデルのトレーニング中に、数値最適化の出力が予測損失関数の一部として使用されるため、これは重要です。 数値最適化のユース ケースに対処する方法の詳細については、次を参照してください。 Amazon SageMaker Processingを使用して、スケジューリング、ルーティング、割り当てなどの数値最適化問題を解決する.
次に、推論エンドポイントを介してそれらのモデルをデプロイします。 新しいデータが定期的に取り込まれるため、時間の経過とともにモデルが古くなるため、モデルを再トレーニングする必要があります。 この投稿の後半にあるアーキテクチャ セクションでは、モデルのライフサイクルの詳細について説明します。
電力入札データの生成
このソリューションは、市場で電力を提供する最適な量と価格を XNUMX 時間ごとに予測します。 入札. 数量は MW で測定され、価格は $/MW で測定されます。 入札は、予測および認識された市況の複数の組み合わせに対して生成されます。 次の表は、最終的な例を示しています 入札曲線 丸紅のロサンゼルス オフィス近くの例示的な取引ノードでの営業時間 17 時の出力。
日付 | 時間 | 市場 | 会場 | MW | 価格 |
11/7/2022 | 17 | RTエネルギー | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | RTエネルギー | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | RTエネルギー | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | RTエネルギー | LCIENEGA_6_N001 | 8 | $230.15 |
この例は、電力価格が 1.65 ドル以上の場合は 80.79 MW、電力価格が 5.15 ドル以上の場合は 105.34 MW、電力価格が 8 ドル以上の場合は 230.15 MW の電力を入札する意思があることを表しています。
独立系システム オペレーター (ISO) は、米国の電力市場を監督し、最も経済的な方法で電力網の信頼性を維持するための入札の落札と拒否を担当しています。 California Independent System Operator (CAISO) は、カリフォルニアで電力市場を運営し、次の入札ウィンドウの前に XNUMX 時間ごとに市場結果を公開しています。 アナリストは、現在の市況を曲線上の同等のものと相互参照することで、最適な収益を推測できます。 Power Bid Optimization ソリューションは、新しい市場情報と新しいモデル予測出力を使用して将来の入札を更新します
AWS アーキテクチャの概要
次の図に示すソリューション アーキテクチャは、前に示したすべてのレイヤーを実装しています。 ソリューションの一部として、次の AWS サービスを使用します。
- Amazon シンプル ストレージ サービス (Amazon S3) に次のデータを保存します。
- さまざまなソースからの価格、天気、および負荷予測データ。
- モデルのトレーニングにすぐに使用できる、統合および拡張されたデータ。
- 出力入札曲線は XNUMX 時間ごとに更新されます。
- アマゾンセージメーカー モデルをトレーニング、テスト、デプロイして、推論エンドポイントを通じて最適化された入札を提供します。
- AWSステップ関数 データと ML パイプラインの両方を調整します。 XNUMX つのステート マシンを使用します。
- データ収集を調整し、すべてのソースが取り込まれたことを確認するための XNUMX つのステート マシン。
- ML パイプラインと最適化された入札生成ワークフローを調整する XNUMX つのステート マシン。
- AWSラムダ 取り込み、前処理、および後処理機能を実装するには:
- 入力データ フィードを取り込む XNUMX つの関数 (ソースごとに XNUMX つの関数)。
- トレーニング用のデータを統合して準備するための XNUMX つの関数。
- SageMaker 内にデプロイされたモデルのエンドポイントを呼び出して価格予測を生成する XNUMX つの関数。
- アマゾンアテナ 開発者とビジネス アナリストが、分析とトラブルシューティングのために生成されたデータに SQL アクセスできるようにします。
- アマゾンイベントブリッジ スケジュールに従って、イベントに応じて、データの取り込みと ML パイプラインをトリガーします。
次のセクションでは、ワークフローについて詳しく説明します。
データの収集と準備
3 時間ごとに、データ準備の Step Functions ステート マシンが呼び出されます。 データ取り込み Lambda 関数のそれぞれを並行して呼び出し、XNUMX つすべてが完了するのを待ちます。 データ収集関数は、それぞれのソース API を呼び出し、過去 XNUMX 時間のデータを取得します。 次に、各関数は、受信したデータをそれぞれの SXNUMX バケットに保存します。
これらの関数は、正規化や索引付けなどの標準的なデータ操作の構成要素を提供する共通の実装ベースラインを共有しています。 これを実現するために、Lambda レイヤーと AWS チャリスで説明されているように AWS Chalice で AWS Lambda レイヤーを使用する. これにより、すべての開発者が同じ基本ライブラリを使用して新しいデータ準備ロジックを構築し、実装を高速化できます。
1 つのソースすべてが取り込まれて保存された後、ステート マシンはデータ準備 Lambda 関数をトリガーします。 電力価格、天気、および負荷予測データは、JSON および文字区切りファイルで受信されます。 各ファイルの各レコード部分には、データ フィードを XNUMX 時間の時間枠をカバーする XNUMX つのデータセットに統合するために使用されるタイムスタンプが含まれています。
このコンストラクトは、完全にイベント駆動型のワークフローを提供します。 予想されるすべてのデータが取り込まれるとすぐに、トレーニング データの準備が開始されます。
MLパイプライン
データの準備後、新しいデータセットは Amazon S3 に保存されます。 EventBridge ルールは、Step Functions ステート マシンを介して ML パイプラインをトリガーします。 ステート マシンは、次の XNUMX つのプロセスを駆動します。
- 入札曲線生成モデルが最新かどうかを確認する
- パフォーマンスが低下した場合、またはモデルが一定の日数を超えた場合に、モデルの再トレーニングを自動的にトリガーします
現在デプロイされているモデルの経過時間が最新のデータセットよりも特定のしきい値 (たとえば 7 日) だけ古い場合、Step Functions ステートマシンは、新しい推論エンドポイントをトレーニング、テスト、デプロイする SageMaker パイプラインを開始します。 モデルがまだ最新の場合、ワークフローは ML パイプラインをスキップし、入札生成ステップに進みます。 モデルの状態に関係なく、新しい時間単位のデータセットが配信されると、新しい入札曲線が生成されます。 次の図は、このワークフローを示しています。 デフォルトでは、 StartPipelineExecution
アクションは非同期です。 'コールバック待ち'オプション。
パイロット ソリューションを構築する際のコストと市場投入までの時間を短縮するために、丸紅は AmazonSageMakerサーバーレス推論. これにより、トレーニングと展開に使用される基盤となるインフラストラクチャは、必要な場合にのみ料金が発生します。 これにより、開発者がインフラストラクチャを管理する必要がなくなるため、パイプラインの構築プロセスも容易になります。 これは、トラフィックの急増の間にアイドル期間があるワークロードに最適なオプションです。 ソリューションが成熟し、本番環境に移行するにつれて、丸紅は設計を見直し、予測可能で安定した使用により適した構成を採用します。
入札の生成とデータのクエリ
入札生成 Lambda 関数は、推論エンドポイントを定期的に呼び出して 3 時間ごとの予測を生成し、出力を Amazon SXNUMX に保存します。
開発者とビジネス アナリストは、視覚化のために Athena と Microsoft Power BI を使用してデータを探索できます。 データは、API を介して下流のビジネス アプリケーションに提供することもできます。 パイロット段階では、事業者は入札曲線を視覚的に参照して、市場での電力取引活動をサポートします。 ただし、丸紅は将来的にこのプロセスの自動化を検討しており、このソリューションはそのために必要な基盤を提供します。
まとめ
このソリューションにより、丸紅はデータ処理と取り込みパイプラインを完全に自動化し、予測モデルと最適化モデルの展開時間を数時間から数分に短縮することができました。 入札曲線は自動的に生成され、市況の変化に応じて最新の状態に保たれます。 また、プロビジョニングされた推論エンドポイントからサーバーレス エンドポイントに切り替えると、80% のコスト削減も実現しました。
MPII の予測ソリューションは、丸紅株式会社が電力部門で立ち上げた最近のデジタル トランスフォーメーション イニシアチブの XNUMX つです。 MPII は、新しい電力ビジネス プラットフォームをサポートするために、追加のデジタル ソリューションを構築する予定です。 MPII は、AWS のサービスを利用して、多くのユースケースでデジタルトランスフォーメーション戦略をサポートできます。
「AWS がソリューションの基盤となるデジタル インフラストラクチャを管理していることを知っているので、新しいビジネス プラットフォームのバリュー チェーンの管理に集中できます。
– Hernan Figueroa 氏、丸紅パワー インターナショナルのデータ サイエンス担当シニア マネージャー。
AWS がエネルギー組織のデジタルトランスフォーメーションと持続可能性イニシアチブをどのように支援しているかの詳細については、以下を参照してください。 AWS エネルギー.
丸紅パワーインターナショナルは丸紅株式会社の子会社です。 丸紅株式会社は、日本の主要な貿易および投資事業のコングロマリットです。 丸紅パワー インターナショナルの使命は、新しいビジネス プラットフォームを開発し、新しいエネルギーの傾向と技術を評価し、南北アメリカにおける丸紅の電力ポートフォリオを管理することです。 丸紅パワーについてもっと知りたい方はこちら https://www.marubeni-power.com/.
著者について
エルナン・フィゲロア 丸紅パワーインターナショナルのデジタル変革イニシアチブを率いる。 彼のチームは、データ サイエンスとデジタル技術を適用して、丸紅パワーの成長戦略をサポートしています。 Hernan は丸紅に入社する前は、コロンビア大学のデータ サイエンティストでした。 彼は博士号を取得しています。 電気工学の学士号とコンピューター工学の学士号を取得しています。
リノ・ブレシア ニューヨークを拠点とするプリンシパル アカウント エグゼクティブです。 彼は 25 年以上の技術経験を持ち、2018 年に AWS に入社しました。AWS クラウド サービスを使用してビジネスを変革し、大規模な移行を実行するグローバル企業の顧客を管理しています。
ナルシスゼクパ ボストンを拠点とするシニア ソリューション アーキテクトです。 彼は、AWS クラウドでの革新的でスケーラブルなソリューションを通じて、米国北東部の顧客がビジネスの変革を加速するのを支援しています。 ナルシスが建築をしていないときは、家族との時間を過ごし、旅行、料理、バスケットボール、ランニングを楽しんでいます。
ペドラム・ジャハンギリ AWS のエンタープライズ ソリューション アーキテクトであり、電気工学の博士号を取得しています。 エネルギーおよび IT 業界で 10 年以上の経験があります。 Pedram は、クラウド テクノロジーを活用して企業向けの定量的かつ大規模なソリューションを構築するための高度な分析のあらゆる側面で、長年にわたる実践的な経験を持っています。
サラ・チルダーズ ワシントン DC を拠点とするアカウント マネージャーです。 彼女は元科学教育者であり、クラウドへの移行を通じて顧客をサポートすることに重点を置いたクラウド愛好家になりました。 サラは、最も革新的で包括的なソリューションを顧客に提供するための多様なアイデアを奨励する意欲的なチームと一緒に働くことを楽しんでいます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :は
- $UP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- できる
- 私たちについて
- 加速する
- アクセス
- アクセス
- 達成する
- 越えて
- Action
- 活動
- NEW
- 住所
- 採用
- 進める
- 高度な
- 利点
- アルゴリズム
- すべて
- 配分
- 並んで
- Amazon
- アマゾンセージメーカー
- 南北アメリカ
- 量
- 分析
- アナリスト
- 分析論
- &
- アンヘレス
- API
- API
- 建築
- です
- 到着
- AS
- 側面
- 資産
- 資産管理
- 資産
- At
- 増強された
- 認証
- 自動化する
- 自動的に
- 自動化する
- 利用できます
- 平均
- AWS
- AWSラムダ
- AWS機械学習
- ベース
- ベース
- ベースライン
- 基礎
- バスケットボール
- BE
- なぜなら
- になる
- さ
- BEST
- の間に
- 入札
- ブロック
- ボストン
- 広い
- ビルド
- 建物
- ビジネス
- ビジネスアプリケーション
- ビジネス変革
- 買収
- by
- カリフォルニア州
- コール
- 呼ばれます
- 呼び出し
- コール
- 缶
- 機能
- できる
- カーボン
- 場合
- 例
- 一定
- チェーン
- 変化する
- 変化
- 文字
- 課金
- チェック
- クラウド
- クラウドサービス
- コレクション
- Columbia
- 組み合わせ
- 結合
- コマンドと
- コンプリート
- コンポーネント
- 包括的な
- コンピュータ
- コンピューター工学
- 条件
- コングロマリット
- コネクト
- 検討
- 考えると
- 統合します
- 絶えず
- 制約
- 構築する
- 消費
- 消費
- 連続的に
- 料理
- 株式会社
- 費用
- コスト削減
- コスト効率の良い
- カバー
- カバーする
- 重大な
- 相互参照
- キュレーション
- 電流プローブ
- 現在
- 曲線
- Customers
- カスタマイズ
- データ
- データレイク
- データの準備
- データ処理
- データサイエンス
- データサイエンティスト
- データストレージ
- データ駆動型の
- データセット
- 日付
- 中
- dc
- 意思決定
- 決定
- デフォルト
- 配達
- 需要
- 展開します
- 展開
- 展開する
- 展開
- 配備
- 配備する
- 記載された
- 説明
- 設計
- 詳細
- 細部
- 開発する
- 開発者
- 異なります
- デジタル
- 話し合います
- 異なる
- 多様化した
- 間に
- ダイナミック
- 各
- 前
- 容易
- 簡単に
- 電気
- 電気工学
- 電気
- enable
- 使用可能
- 可能
- 励ます
- エンドポイント
- エネルギー
- エンジン
- エンジニアリング
- 確保
- 確実に
- Enterprise
- 企業顧客
- 企業
- 熱狂者
- 環境
- 環境
- 同等の
- エーテル(ETH)
- イベント
- あらゆる
- 例
- 排他的に
- エグゼクティブ
- 予想される
- 体験
- 探る
- 外部
- 家族
- フェッチ
- フィギュア
- File
- ファイナル
- フォーカス
- 焦点を当て
- フォロー中
- 予想
- 前者
- 財団
- FRAME
- 新鮮な
- から
- 完全に
- function
- 機能性
- 機能
- さらに
- 未来
- 生成する
- 生成された
- 生成
- 世代
- グローバル
- Go
- 素晴らしい
- グリッド
- 成長性
- 実践的な
- 持ってる
- 助け
- ことができます
- 保持している
- HOURS
- 認定条件
- How To
- しかしながら
- HTML
- HTTPS
- 考え
- アイドル
- 実装する
- 実装
- 実装する
- 重要
- in
- include
- 含まれました
- 含ま
- 入ってくる
- 増える
- 独立しました
- 産業を変えます
- 情報
- インフラ
- イニシアチブ
- 革新的な
- 内部
- 世界全体
- 相互運用性(インターオペラビリティ)
- 投資
- 投資する
- 呼び出す
- 関係する
- IT
- IT産業
- ITS
- 日本語
- Jobs > Create New Job
- 参加した
- 参加
- 旅
- JPG
- JSON
- キック
- 知っている
- 知っている
- 湖
- 大規模
- 最新の
- 発射
- 層
- 層
- リード
- LEARN
- 学習
- 活用
- ライブラリ
- wifecycwe
- ような
- 制限
- 負荷
- 負荷
- 長い
- より長いです
- インクルード
- ロサンゼルス
- 損失
- 機械
- 機械学習
- マシン
- 製
- 維持する
- 主要な
- 作る
- 管理します
- 管理
- マネージャー
- 管理する
- 管理する
- 操作
- 多くの
- 市場
- 市況
- マーケット
- 成熟する
- 最大化します
- メカニズム
- メモリ
- Microsoft
- 最小限に抑えます
- 分
- ミッション
- ML
- モード
- モデリング
- モデル
- 修正されました
- 他には?
- 最も
- やる気
- 移動
- の試合に
- 近く
- 必要
- 必要
- 必要とされる
- ニーズ
- 新作
- 次の
- 数
- NYC
- 客観
- 入手する
- of
- 提供
- Office
- on
- ONE
- 動作
- オペレーティング
- 操作
- オペレーショナル
- オペレータ
- 演算子
- 最適な
- 最適化
- 最適化
- 最適化
- オプション
- 組織
- その他
- 出力
- 所有する
- 並列シミュレーションの設定
- 部
- 参加者
- 参加
- 過去
- 知覚される
- 実行する
- パフォーマンス
- 期間
- 相
- パイロット
- パイプライン
- プラン
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- プレイ
- 再生
- ポートフォリオ
- ポスト
- 電力
- Power BI
- 電源
- 予測可能な
- 予測
- 予測
- 予測
- 予測
- 予測
- 準備
- PLM platform.
- ブランド
- 価格予測
- 価格、またオプションについて
- 校長
- 事前の
- 問題
- プロセス
- ラボレーション
- 処理
- 生産
- 収益性
- 利益
- 所有権
- 提供します
- は、大阪で
- 出版
- パブリッシュ
- 品質
- 準備
- への
- 実現
- 受け
- 最近
- 記録
- 減らします
- 関係なく
- 信頼性
- 頼る
- 再生可能な
- 再生可能エネルギー
- 表し
- の提出が必要です
- 必要
- それらの
- 応答
- 責任
- 反応する
- 結果
- 再訓練
- 収入
- レビュー
- リスク
- 堅牢な
- 職種
- 役割
- ルール
- ラン
- ランニング
- s
- セージメーカー
- 同じ
- ド電源のデ
- スケジュール
- 科学
- 科学者
- セクション
- セクション
- セクター
- 販売
- 役立つ
- サーバレス
- サービス
- セッションに
- シェアする
- 短期
- すべき
- 作品
- 簡単な拡張で
- 同時に
- So
- 溶液
- ソリューション
- 一部
- すぐに
- ソース
- ソース
- 部品調達
- 特定の
- 速度
- 支出
- SQL
- 標準
- 都道府県
- 着実
- 手順
- ステップ
- まだ
- ストレージ利用料
- 店舗
- 保存され
- 店舗
- 作戦
- 戦略
- 力
- 提出する
- 提出された
- 子会社
- そのような
- 供給
- 需要と供給
- サポート
- 支援する
- サポート
- 3つの柱
- テーブル
- 取る
- チーム
- テクニック
- テクノロジー
- テクノロジー
- テンソルフロー
- test
- テスト
- それ
- 未来
- ステート
- アプリ環境に合わせて
- したがって、
- ボーマン
- 介して
- 時間
- タイムスタンプ
- 〜へ
- トレーディング
- トラフィック
- トレーニング
- トレーニング
- 列車
- トランザクション
- 最適化の適用
- 変換
- 変革戦略
- 遷移
- 旅行
- トレンド
- トリガー
- オン
- 私達
- 根本的な
- 大学
- 更新版
- 上流データ
- us
- 使用法
- つかいます
- 使用事例
- 値
- さまざまな
- バージョン
- 、
- 可視化
- wait
- ワシントン
- ワシントンDC
- 仕方..
- 天気
- WELL
- which
- 意志
- 意欲
- 以内
- ワークフロー
- ワーキング
- でしょう
- 年
- ゼファーネット