Цей допис написано у співавторстві з Ернаном Фігероа, старшим менеджером відділу даних у Marubeni Power International.
Marubeni Power International Inc (MPII) володіє та інвестує в енергетичні бізнес-платформи в Америці. Важливою вертикаллю для MPII є управління активами для відновлюваних джерел енергії та активів зберігання енергії, які мають вирішальне значення для зниження викидів вуглецю в нашій енергетичній інфраструктурі. Робота з активами відновлюваної енергетики вимагає передбачуваних і чутливих цифрових рішень, оскільки виробництво відновлюваної енергії та умови на ринку електроенергії постійно змінюються. MPII використовує механізм оптимізації ставок машинного навчання (ML) для інформування процесів прийняття рішень у сфері управління енергетичними активами та торгівлі. Це рішення допомагає аналітикам ринку розробляти та виконувати керовані даними стратегії призначення ставок, оптимізовані для прибутковості енергетичних активів.
У цій публікації ви дізнаєтеся, як Marubeni оптимізує ринкові рішення за допомогою широкого набору аналітики AWS і служб машинного навчання, щоб створити надійне та економічно ефективне рішення Power Bid Optimization.
Огляд рішення
Ринки електроенергії дозволяють торгувати електроенергією та енергією, щоб збалансувати пропозицію та попит на електроенергію в електричній мережі та задовольнити різні потреби щодо надійності електричної мережі. Учасники ринку, такі як оператори активів MPII, постійно пропонують кількість електроенергії та енергії на цих ринках електроенергії, щоб отримати прибуток від своїх енергетичних активів. Учасник ринку може подавати заявки на різні ринки одночасно, щоб збільшити прибутковість активу, але він повинен враховувати обмеження потужності активу та швидкість реагування, а також інші операційні обмеження активів і взаємодію цих ринків.
Рішення MPII для оптимізації ставок використовує моделі ML для створення оптимальних ставок для участі на різних ринках. Найпоширенішими є заявки на енергію на добу наперед, які слід подавати за 1 день до фактичного торгового дня, і заявки на енергію в реальному часі, які слід подавати за 75 хвилин до години торгів. Рішення керує динамічними ставками та роботою енергетичного активу та вимагає використання можливостей оптимізації та прогнозування, доступних у його моделях ML.
Рішення Power Bid Optimization включає кілька компонентів, які виконують певні ролі. Розглянемо задіяні компоненти та їхні відповідні бізнес-функції.
Збір і прийом даних
Рівень збору та прийому даних підключається до всіх вищестоящих джерел даних і завантажує дані в озеро даних. Торги на ринку електроенергії вимагають щонайменше чотирьох типів вхідних даних:
- Прогнози попиту на електроенергію
- Прогнози погоди
- Історія ринкових цін
- Прогноз цін на електроенергію
Доступ до цих джерел даних здійснюється виключно через API. Таким чином, компоненти прийому повинні мати можливість керувати автентифікацією, джерелом даних у режимі отримання, попередньою обробкою даних і зберіганням даних. Оскільки дані збираються щогодини, також потрібен механізм для організації та планування завдань прийому даних.
Підготовка даних
Як і в більшості випадків використання ML, підготовка даних відіграє вирішальну роль. Дані надходять із різних джерел у різних форматах. Перш ніж він буде готовий до використання для навчання моделі ML, він повинен пройти кілька з наступних кроків:
- Консолідуйте погодинні набори даних на основі часу прибуття. Повний набір даних повинен містити всі джерела.
- Підвищуйте якість даних за допомогою таких методів, як стандартизація, нормалізація або інтерполяція.
Наприкінці цього процесу підібрані дані встановлюються та стають доступними для подальшого використання.
Модель навчання та розгортання
Наступний крок полягає в навчанні та розгортанні моделі, здатної передбачати оптимальні ринкові ставки для купівлі та продажу енергії. Щоб мінімізувати ризик невиконання, Марубені використав техніку ансамблевого моделювання. Ансамблеве моделювання складається з об’єднання кількох моделей ML для підвищення ефективності прогнозування. Marubeni об’єднує результати зовнішніх і внутрішніх моделей прогнозування зі зваженим середнім, щоб скористатися перевагами всіх моделей. Внутрішні моделі Marubeni базуються на архітектурах довгострокової короткочасної пам’яті (LSTM), які добре задокументовані та прості для впровадження та налаштування в TensorFlow. Amazon SageMaker підтримує розгортання TensorFlow і багато інших середовищ машинного навчання. Зовнішня модель є запатентованою, і її опис не можна включити в цю публікацію.
У випадку використання Марубені моделі призначення ставок виконують чисельну оптимізацію для максимізації доходу за допомогою модифікованої версії цільових функцій, які використовуються в публікації Можливості зберігання енергії в CAISO.
SageMaker дозволяє Marubeni запускати алгоритми машинного навчання та чисельної оптимізації в одному середовищі. Це критично, оскільки під час навчання внутрішньої моделі вихідні дані чисельної оптимізації використовуються як частина функції прогнозованих втрат. Для отримання додаткової інформації про те, як розглядати випадки використання чисельної оптимізації, див Вирішення проблем чисельної оптимізації, таких як планування, маршрутизація та розподіл за допомогою Amazon SageMaker Processing.
Потім ми розгортаємо ці моделі через кінцеві точки висновку. Оскільки періодично надходять свіжі дані, моделі потрібно перенавчати, оскільки з часом вони стають неактуальними. Розділ про архітектуру далі в цьому дописі містить більше деталей про життєвий цикл моделей.
Генерація даних потужних ставок
Рішення щогодини прогнозує оптимальні обсяги та ціни, за якими електроенергія має пропонуватися на ринку — також називається ставки. Кількість вимірюється в МВт, а ціни вимірюються в доларах США/МВт. Ставки генеруються для кількох комбінацій прогнозованих і передбачуваних ринкових умов. У наступній таблиці наведено приклад фіналу крива ставок вихід на робочу годину 17 в ілюстративному торговому вузлі поблизу офісу Marubeni в Лос-Анджелесі.
Дата | годину | ринок | Місце розташування | MW | ціна |
11/7/2022 | 17 | RT Energy | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | RT Energy | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | RT Energy | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | RT Energy | LCIENEGA_6_N001 | 8 | $230.15 |
Цей приклад демонструє нашу готовність запропонувати 1.65 МВт електроенергії, якщо ціна електроенергії становить щонайменше 80.79 доларів США, 5.15 МВт, якщо ціна електроенергії становить щонайменше 105.34 доларів США, і 8 МВт, якщо ціна електроенергії становить щонайменше 230.15 доларів США.
Незалежні системні оператори (ISO) контролюють ринки електроенергії в США та відповідають за присудження та відхилення заявок на підтримку надійності електромережі найбільш економічним способом. Каліфорнійський незалежний системний оператор (CAISO) управляє ринками електроенергії в Каліфорнії та публікує результати ринку щогодини до наступного вікна торгів. Перехресно порівнюючи поточні ринкові умови з їх еквівалентом на кривій, аналітики можуть зробити висновок про оптимальний дохід. Рішення Power Bid Optimization оновлює майбутні ставки, використовуючи нову вхідну ринкову інформацію та нові прогнозні результати моделі
Огляд архітектури AWS
Архітектура рішення, показана на наступному малюнку, реалізує всі рівні, представлені раніше. Він використовує такі служби AWS як частину рішення:
- Служба простого зберігання Amazon (Amazon S3) для зберігання таких даних:
- Дані про ціни, погоду та завантаження прогнозів із різних джерел.
- Консолідовані та доповнені дані готові до використання для навчання моделей.
- Криві вихідних ставок оновлюються щогодини.
- Amazon SageMaker навчати, тестувати та розгортати моделі для обслуговування оптимізованих ставок через кінцеві точки висновку.
- Функції кроку AWS для організації конвеєрів даних і машинного навчання. Ми використовуємо два автомати стану:
- Один кінцевий автомат для організації збору даних і забезпечення того, що всі джерела були використані.
- Один кінцевий автомат для управління конвеєром машинного навчання, а також оптимізованого робочого процесу створення ставок.
- AWS Lambda для впровадження функцій прийому, попередньої та постобробки:
- Три функції для прийому каналів вхідних даних, по одній функції на джерело.
- Одна функція для консолідації та підготовки даних для навчання.
- Одна функція, яка генерує прогноз ціни шляхом виклику кінцевої точки моделі, розгорнутої в SageMaker.
- Амазонка Афіна щоб надати розробникам і бізнес-аналітикам доступ SQL до згенерованих даних для аналізу та усунення несправностей.
- Amazon EventBridge щоб запускати прийом даних і конвеєр ML за розкладом і у відповідь на події.
У наступних розділах ми детальніше обговорюємо робочий процес.
Збір і підготовка даних
Щогодини запускається кінцевий автомат етапу підготовки даних. Він паралельно викликає кожну лямбда-функцію прийому даних і чекає завершення всіх чотирьох. Функції збору даних викликають API відповідного джерела та отримують дані за останню годину. Потім кожна функція зберігає отримані дані у відповідному сегменті S3.
Ці функції мають загальну базову лінію реалізації, яка забезпечує стандартні маніпуляції даними, такі як нормалізація чи індексація. Для цього ми використовуємо лямбда-шари та Чаша AWS, як описано в Використання AWS Lambda Layers з AWS Chalice. Це гарантує, що всі розробники використовують однакові базові бібліотеки для створення нових логік підготовки даних і прискорює впровадження.
Після того, як усі чотири джерела були прийняті та збережені, кінцевий автомат запускає функцію підготовки даних Лямбда. Дані про ціну електроенергії, прогноз погоди та навантаження надходять у файли JSON і файли з роздільниками. Кожна частина запису кожного файлу містить мітку часу, яка використовується для консолідації каналів даних в один набір даних, що охоплює часовий проміжок 1 година.
Ця конструкція забезпечує повністю керований подіями робочий процес. Підготовка навчальних даних розпочинається, як тільки всі очікувані дані будуть отримані.
Трубопровід ML
Після підготовки даних нові набори даних зберігаються в Amazon S3. Правило EventBridge запускає конвеєр ML через кінцевий автомат Step Functions. Кінцева машина керує двома процесами:
- Перевірте, чи актуальна модель створення кривої ставок
- Автоматично ініціювати повторне навчання моделі, якщо продуктивність знижується або моделі старше певної кількості днів
Якщо вік поточної розгорнутої моделі старший за останній набір даних на певний поріг, скажімо, 7 днів, станковий автомат Step Functions запускає конвеєр SageMaker, який навчає, тестує та розгортає нову кінцеву точку висновку. Якщо моделі все ще актуальні, робочий процес пропускає конвеєр ML і переходить до етапу створення ставок. Незалежно від стану моделі нова крива ставок генерується після доставки нового щогодинного набору даних. Наступна діаграма ілюструє цей робочий процес. За замовчуванням, StartPipelineExecution
дія асинхронна. За допомогою 'Очікування зворотного дзвінка'варіант.
Щоб скоротити витрати та час виходу на ринок у розробці пілотного рішення, Marubeni використовував Безсерверний висновок Amazon SageMaker. Це гарантує, що базова інфраструктура, яка використовується для навчання та розгортання, стягуватиме плату лише за потреби. Це також полегшує процес будівництва трубопроводу, оскільки розробникам більше не потрібно керувати інфраструктурою. Це чудовий варіант для робочих навантажень, які мають періоди простою між стрибками трафіку. У міру того, як рішення дозріє та перейде у виробництво, Marubeni перегляне їх дизайн і прийме конфігурацію, більш придатну для передбачуваного та стабільного використання.
Формування ставок і запит даних
Лямбда-функція генерації ставок періодично викликає кінцеву точку висновку для створення погодинних прогнозів і зберігає вихідні дані в Amazon S3.
Потім розробники та бізнес-аналітики можуть досліджувати дані за допомогою Athena та Microsoft Power BI для візуалізації. Дані також можуть бути доступні через API для подальших бізнес-додатків. На пілотному етапі оператори візуально перевіряють криву ставок, щоб підтримувати свою активність угод на ринках. Однак Marubeni розглядає можливість автоматизації цього процесу в майбутньому, і це рішення забезпечує необхідні основи для цього.
Висновок
Це рішення дозволило Marubeni повністю автоматизувати обробку даних і конвеєри прийому даних, а також скоротити час розгортання моделей прогнозування й оптимізації з годин до хвилин. Криві ставок тепер автоматично генеруються та оновлюються в міру зміни ринкових умов. Вони також усвідомили зниження витрат на 80% при переході з ініціалізованої кінцевої точки на кінцеву точку без сервера.
Рішення для прогнозування MPII є однією з останніх ініціатив цифрової трансформації, яку Marubeni Corporation запускає в енергетичному секторі. MPII планує створити додаткові цифрові рішення для підтримки нових потужних бізнес-платформ. MPII може покладатися на служби AWS для підтримки своєї стратегії цифрової трансформації в багатьох випадках використання.
"Ми можемо зосередитися на управлінні ланцюжком створення вартості для нових бізнес-платформ, знаючи, що AWS керує базовою цифровою інфраструктурою наших рішень."
– Ернан Фігероа, старший менеджер Data Science компанії Marubeni Power International.
Щоб дізнатися більше про те, як AWS допомагає енергетичним організаціям у їхніх ініціативах з цифрової трансформації та сталого розвитку, зверніться до AWS Energy.
Marubeni Power International є дочірньою компанією Marubeni Corporation. Корпорація Marubeni є великим японським конгломератом торгового та інвестиційного бізнесу. Місія Marubeni Power International полягає в розробці нових бізнес-платформ, оцінці нових енергетичних тенденцій і технологій та управлінні енергетичним портфелем Marubeni в Америці. Якщо ви хочете дізнатися більше про Marubeni Power, перегляньте https://www.marubeni-power.com/.
Про авторів
Ернан Фігероа очолює ініціативи з цифрової трансформації в Marubeni Power International. Його команда застосовує науку про дані та цифрові технології для підтримки стратегій зростання Marubeni Power. До того як приєднатися до Марубені, Ернан працював спеціалістом з даних у Колумбійському університеті. Має ступінь доктора філософії. в галузі електротехніки та ступінь бакалавра комп’ютерної інженерії.
Ліно Брешіа є головним менеджером з роботи з клієнтами, який базується в Нью-Йорку. Він має понад 25 років досвіду роботи в області технологій і приєднався до AWS у 2018 році. Він керує глобальними корпоративними клієнтами, які трансформують свій бізнес за допомогою хмарних сервісів AWS і здійснюють масштабну міграцію.
Нарцисс Зекпа є старшим архітектором рішень у Бостоні. Він допомагає клієнтам на північному сході США прискорити трансформацію свого бізнесу за допомогою інноваційних та масштабованих рішень у хмарі AWS. Коли Нарцисс не займається будівництвом, він любить проводити час із сім’єю, подорожувати, готувати їжу, грати в баскетбол і бігати.
Педрам Джахангірі є архітектором корпоративних рішень в AWS, має ступінь доктора філософії з електротехніки. Має понад 10 років досвіду роботи в енергетиці та ІТ-галузі. Pedram має багаторічний практичний досвід у всіх аспектах Advanced Analytics для створення кількісних і масштабних рішень для підприємств за допомогою хмарних технологій.
Сара Чайлдерс є менеджером з роботи з обліковим записом у Вашингтоні, округ Колумбія. Вона колишній викладач науки, а потім ентузіаст хмари, зосереджений на підтримці клієнтів у їхній хмарній подорожі. Сарі подобається працювати разом із мотивованою командою, яка заохочує різноманітні ідеї, щоб якнайкраще забезпечити клієнтів найінноваційнішими та комплексними рішеннями.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :є
- $UP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- Здатний
- МЕНЮ
- прискорювати
- доступ
- доступний
- рахунки
- Achieve
- через
- дію
- діяльності
- Додатковий
- адреса
- прийняти
- просування
- просунутий
- Перевага
- алгоритми
- ВСІ
- розподіл
- пліч-о-пліч
- Amazon
- Amazon SageMaker
- Північної та Південної Америки
- кількість
- аналіз
- аналітики
- аналітика
- та
- -Анджелесі
- API
- Інтерфейси
- застосування
- архітектура
- ЕСТЬ
- прибуття
- AS
- аспекти
- активи
- управління активами
- Активи
- At
- збільшено
- Authentication
- автоматизувати
- автоматично
- автоматизація
- доступний
- середній
- AWS
- AWS Lambda
- AWS Машинне навчання
- Balance
- база
- заснований
- Базова лінія
- основа
- баскетбол
- BE
- оскільки
- ставати
- перед тим
- буття
- КРАЩЕ
- між
- пропозиція
- блоки
- Бостон
- широкий
- будувати
- Створюємо
- бізнес
- Бізнес-додатки
- Трансформація бізнесу
- Купівля
- by
- Каліфорнія
- call
- званий
- покликання
- Виклики
- CAN
- не може
- можливості
- здатний
- вуглець
- випадок
- випадків
- певний
- ланцюг
- зміна
- заміна
- характер
- вантажі
- перевірка
- хмара
- хмарні сервіси
- збір
- Columbia
- комбінації
- об'єднання
- загальний
- повний
- Компоненти
- всеосяжний
- комп'ютер
- Комп'ютерна інженерія
- Умови
- конфігурація
- конгломерат
- з'єднує
- Вважати
- беручи до уваги
- Консолідувати
- постійно
- обмеження
- будувати
- спожитий
- споживання
- постійно
- приготування
- КОРПОРАЦІЯ
- Коштувати
- зниження витрат
- рентабельним
- обкладинка
- покриття
- критичний
- перехресні посилання
- Куратор
- Поточний
- В даний час
- крива
- Клієнти
- налаштувати
- дані
- Озеро даних
- Підготовка даних
- обробка даних
- наука про дані
- вчений даних
- зберігання даних
- керовані даними
- набори даних
- Дата
- день
- dc
- Прийняття рішень
- рішення
- дефолт
- доставка
- Попит
- розгортання
- розгорнути
- розгортання
- розгортання
- розгортання
- розгортає
- описаний
- description
- дизайн
- деталь
- деталі
- розвивати
- розробників
- різний
- цифровий
- цифрове перетворення
- обговорювати
- розрізнені
- диверсифіковані
- під час
- динамічний
- кожен
- Раніше
- легше
- легко
- електричний
- електротехніка
- електрика
- включіть
- включений
- дозволяє
- заохочує
- Кінцева точка
- енергія
- двигун
- Машинобудування
- забезпечувати
- гарантує
- підприємство
- корпоративні клієнти
- підприємств
- ентузіаст
- Навколишнє середовище
- середовищах
- Еквівалент
- Ефір (ETH)
- Події
- Кожен
- приклад
- виключно
- виконавчий
- очікуваний
- досвід
- дослідити
- зовнішній
- сім'я
- Отримано
- Рисунок
- філе
- Файли
- остаточний
- Сфокусувати
- увагу
- після
- для
- Прогноз
- Колишній
- Підвалини
- FRAME
- свіжий
- від
- повністю
- функція
- функціональність
- Функції
- далі
- майбутнє
- породжувати
- генерується
- генерує
- покоління
- Глобальний
- Go
- великий
- сітка
- Зростання
- практичний
- Мати
- допомогу
- допомагає
- тримає
- ГОДИННИК
- Як
- How To
- Однак
- HTML
- HTTPS
- ідеї
- Idle
- здійснювати
- реалізація
- implements
- важливо
- in
- включати
- включені
- includes
- Вхідний
- Augmenter
- незалежний
- промисловість
- інформація
- Інфраструктура
- ініціативи
- інноваційний
- вхід
- внутрішній
- Міжнародне покриття
- Взаємодія
- інвестиції
- Інвестує
- викликає
- залучений
- IT
- ІТ-індустрія
- ЙОГО
- японський
- Джобс
- приєднався
- приєднання
- подорож
- JPG
- json
- Kicks
- Знати
- Знання
- озеро
- масштабний
- останній
- запуск
- шар
- шарів
- Веде за собою
- УЧИТЬСЯ
- вивчення
- використання
- libraries
- Життєвий цикл
- як
- рамки
- загрузка
- вантажі
- Довго
- довше
- в
- Лос-Анджелес
- від
- машина
- навчання за допомогою машини
- Машинки для перманенту
- made
- підтримувати
- основний
- РОБОТИ
- управляти
- управління
- менеджер
- управляє
- управління
- Маніпуляція
- багато
- ринок
- ринкові умови
- ринки
- дозріває
- Максимізувати
- механізм
- пам'ять
- Microsoft
- мінімізувати
- протокол
- Місія
- ML
- режим
- модель
- моделювання
- Моделі
- модифікований
- більше
- найбільш
- мотивовані
- рухається
- множинний
- Близько
- необхідно
- Необхідність
- необхідний
- потреби
- Нові
- наступний
- вузол
- номер
- Нью-Йорк
- мета
- отримувати
- of
- запропонований
- Office
- on
- ONE
- працює
- операційний
- операція
- оперативний
- оператор
- Оператори
- оптимальний
- оптимізація
- оптимізований
- оптимізуючий
- варіант
- організації
- Інше
- вихід
- володіє
- Паралельні
- частина
- Учасники
- участь
- Минуле
- сприймається
- виконувати
- продуктивність
- періодів
- фаза
- пілот
- трубопровід
- плани
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- Play
- ігри
- портфель
- пошта
- влада
- Потужність БІ
- джерело живлення
- Передбачуваний
- передвіщений
- прогнозування
- прогноз
- Прогнози
- Прогнози
- Готувати
- представлений
- price
- прогноз цін
- ціни
- Головний
- попередній
- проблеми
- процес
- процеси
- обробка
- Production
- рентабельність
- прибутку
- власником
- забезпечувати
- забезпечує
- Публікація
- Видає
- якість
- кількісний
- готовий
- реального часу
- зрозумів,
- отримано
- останній
- запис
- зменшити
- Незалежно
- надійність
- покладатися
- Поновлюваний
- відновлювальна енергія
- представляє
- вимагається
- Вимагається
- ті
- відповідь
- відповідальний
- реагувати
- результати
- перепідготовка
- revenue
- огляд
- Risk
- міцний
- Роль
- ролі
- Правило
- прогін
- біг
- s
- мудрець
- то ж
- масштабовані
- розклад
- наука
- вчений
- розділ
- розділам
- сектор
- Продаж
- служити
- Без сервера
- Послуги
- комплект
- Поділитись
- короткий термін
- Повинен
- Шоу
- простий
- одночасно
- один
- So
- рішення
- Рішення
- деякі
- Скоро
- Source
- Джерела
- Про
- конкретний
- швидкість
- Витрати
- SQL
- standard
- стан
- стійкий
- Крок
- заходи
- Як і раніше
- зберігання
- зберігати
- зберігати
- магазинів
- стратегії
- Стратегія
- сила
- представляти
- представлений
- допоміжний
- такі
- поставка
- Попит та пропозиція
- підтримка
- Підтримуючий
- Опори
- Sustainability
- система
- таблиця
- Приймати
- команда
- методи
- Технології
- Технологія
- тензорний потік
- тест
- Тести
- Що
- Команда
- Майбутнє
- Держава
- їх
- отже
- Ці
- через
- час
- відмітка часу
- до
- торгові площі
- трафік
- поїзд
- Навчання
- поїзда
- угода
- Перетворення
- Перетворення
- Стратегія трансформації
- переходи
- Подорож
- Тенденції
- викликати
- Опинився
- Типи
- нас
- що лежить в основі
- університет
- Updates
- Вихідні дані
- us
- Використання
- використання
- використання випадку
- значення
- різний
- версія
- через
- візуалізації
- чекати
- Вашингтон
- Вашингтон, округ Колумбія
- шлях..
- погода
- ДОБРЕ
- який
- волі
- Готовність
- з
- в
- робочий
- робочий
- б
- років
- зефірнет