Этот пост написан в соавторстве с Эрнаном Фигероа, старшим менеджером по науке о данных в Marubeni Power International.
Марубени Пауэр Интернэшнл Инк (MPII) владеет и инвестирует в энергетические бизнес-платформы в Америке. Важной вертикалью для MPII является управление активами для возобновляемых источников энергии и активов для хранения энергии, которые имеют решающее значение для снижения углеродоемкости нашей энергетической инфраструктуры. Работа с возобновляемыми источниками энергии требует прогнозирующих и быстро реагирующих цифровых решений, поскольку условия производства возобновляемой энергии и рынка электроэнергии постоянно меняются. MPII использует механизм оптимизации ставок с помощью машинного обучения (ML) для информирования вышестоящих процессов принятия решений в управлении энергетическими активами и торговле. Это решение помогает рыночным аналитикам разрабатывать и реализовывать стратегии назначения ставок на основе данных, оптимизированные для повышения рентабельности энергетических активов.
В этом посте вы узнаете, как Marubeni оптимизирует рыночные решения, используя широкий набор аналитики AWS и сервисов машинного обучения для создания надежного и экономичного решения Power Bid Optimization.
Обзор решения
Рынки электроэнергии позволяют торговать мощностью и энергией, чтобы сбалансировать спрос и предложение электроэнергии в электрической сети и удовлетворить различные потребности в надежности электрической сети. Участники рынка, такие как операторы активов MPII, постоянно предлагают мощность и энергию на этих рынках электроэнергии для получения прибыли от своих энергетических активов. Участник рынка может одновременно подавать заявки на разные рынки, чтобы повысить прибыльность актива, но ему необходимо учитывать ограничения мощности актива и скорости отклика, а также другие операционные ограничения актива и совместимость этих рынков.
Решение MPII для оптимизации ставок использует модели машинного обучения для создания оптимальных ставок для участия в различных рынках. Наиболее распространенными являются заявки на энергию на сутки вперед, которые должны быть представлены за 1 день до фактического торгового дня, и заявки на энергию в режиме реального времени, которые должны быть представлены за 75 минут до начала торгов. Решение управляет динамическими ставками и работой энергетического актива и требует использования возможностей оптимизации и прогнозирования, доступных в его моделях машинного обучения.
Решение Power Bid Optimization включает несколько компонентов, играющих определенные роли. Давайте рассмотрим задействованные компоненты и их соответствующие бизнес-функции.
Сбор и прием данных
Уровень сбора и приема данных подключается ко всем восходящим источникам данных и загружает данные в озеро данных. Торги на рынке электроэнергии требуют как минимум четырех типов входных данных:
- Прогнозы спроса на электроэнергию
- Прогнозы погоды
- История рыночных цен
- Прогнозы цен на электроэнергию
Доступ к этим источникам данных осуществляется исключительно через API. Следовательно, компоненты приема должны иметь возможность управлять аутентификацией, поиском данных в режиме извлечения, предварительной обработкой данных и хранением данных. Поскольку данные извлекаются ежечасно, также требуется механизм для организации и планирования заданий приема.
Подготовка данных
Как и в большинстве случаев использования машинного обучения, подготовка данных играет решающую роль. Данные поступают из разрозненных источников в различных форматах. Прежде чем он будет готов к использованию для обучения модели машинного обучения, он должен пройти некоторые из следующих шагов:
- Консолидация почасовых наборов данных на основе времени прибытия. Полный набор данных должен включать все источники.
- Повышайте качество данных, используя такие методы, как стандартизация, нормализация или интерполяция.
В конце этого процесса кураторские данные размещаются и становятся доступными для дальнейшего использования.
Обучение модели и развертывание
Следующий шаг состоит в обучении и развертывании модели, способной прогнозировать оптимальные рыночные предложения для покупки и продажи энергии. Чтобы свести к минимуму риск неудовлетворительной работы, Marubeni использовал метод ансамблевого моделирования. Моделирование ансамбля состоит из объединения нескольких моделей машинного обучения для повышения эффективности прогнозирования. Marubeni объединяет выходные данные внешних и внутренних моделей прогнозирования со средневзвешенным значением, чтобы использовать сильные стороны всех моделей. Внутренние модели Marubeni основаны на архитектурах с долговременной кратковременной памятью (LSTM), которые хорошо документированы и просты в реализации и настройке в TensorFlow. Создатель мудреца Амазонки поддерживает развертывание TensorFlow и многие другие среды машинного обучения. Внешняя модель является частной, и ее описание не может быть включено в этот пост.
В случае использования Marubeni модели торгов выполняют численную оптимизацию для максимизации дохода, используя модифицированную версию целевых функций, используемых в публикации. Возможности для хранения энергии в CAISO.
SageMaker позволяет Marubeni запускать алгоритмы машинного обучения и численной оптимизации в единой среде. Это очень важно, потому что во время обучения внутренней модели выходные данные численной оптимизации используются как часть функции потерь при прогнозировании. Для получения дополнительной информации о том, как решать варианты использования численной оптимизации, см. Решение задач численной оптимизации, таких как планирование, маршрутизация и распределение, с помощью Amazon SageMaker Processing.
Затем мы развертываем эти модели через конечные точки вывода. Поскольку периодически поступают свежие данные, модели необходимо переобучать, поскольку со временем они устаревают. Раздел архитектуры далее в этом посте содержит более подробную информацию о жизненном цикле моделей.
Генерация данных о ставках мощности
Ежечасно решение прогнозирует оптимальные объемы и цены, по которым мощность должна предлагаться на рынке, что также называется предложения. Количества измеряются в МВт, а цены измеряются в долларах США за МВт. Заявки генерируются для нескольких комбинаций прогнозируемых и предполагаемых рыночных условий. В следующей таблице показан пример окончательного кривая предложения выходные данные за 17-й час работы иллюстративного торгового узла рядом с офисом Marubeni в Лос-Анджелесе.
Время | час | рынок | Адрес | MW | Цена |
11/7/2022 | 17 | РТ Энергия | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | РТ Энергия | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | РТ Энергия | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | РТ Энергия | LCIENEGA_6_N001 | 8 | $230.15 |
Этот пример представляет нашу готовность предложить 1.65 МВт мощности, если цена электроэнергии составляет не менее 80.79 долл. США, 5.15 МВт, если цена электроэнергии составляет не менее 105.34 долл. США, и 8 МВт, если цена электроэнергии составляет не менее 230.15 долл. США.
Независимые системные операторы (ISO) контролируют рынки электроэнергии в США и несут ответственность за присуждение и отклонение заявок на поддержание надежности электросетей наиболее экономичным способом. Калифорнийский независимый системный оператор (CAISO) управляет рынками электроэнергии в Калифорнии и публикует рыночные результаты каждый час до следующего окна торгов. Сопоставляя текущие рыночные условия с их эквивалентами на кривой, аналитики могут сделать вывод об оптимальном доходе. Решение Power Bid Optimization обновляет будущие ставки, используя новую входящую рыночную информацию и прогнозные данные новой модели.
Обзор архитектуры AWS
Архитектура решения, показанная на следующем рисунке, реализует все уровни, представленные ранее. В составе решения используются следующие сервисы AWS:
- Простой сервис хранения Amazon (Amazon S3) для хранения следующих данных:
- Данные о ценах, погоде и прогнозах нагрузки из разных источников.
- Консолидированные и дополненные данные готовы к использованию для обучения модели.
- Кривые выходных ставок обновляются ежечасно.
- Создатель мудреца Амазонки для обучения, тестирования и развертывания моделей для обслуживания оптимизированных ставок через конечные точки логического вывода.
- Шаговые функции AWS для организации конвейеров данных и машинного обучения. Мы используем два конечных автомата:
- Единый конечный автомат для организации сбора данных и обеспечения загрузки всех источников.
- Единый конечный автомат для организации конвейера машинного обучения, а также оптимизированного рабочего процесса генерации ставок.
- AWS Lambda для реализации функций приема, предварительной обработки и постобработки:
- Три функции для приема потоков входных данных, по одной функции на каждый источник.
- Одна функция для консолидации и подготовки данных для обучения.
- Одна функция, которая генерирует прогноз цен, вызывая конечную точку модели, развернутую в SageMaker.
- Амазонка Афина предоставить разработчикам и бизнес-аналитикам SQL-доступ к сгенерированным данным для анализа и устранения неполадок.
- Amazon EventBridge для запуска приема данных и конвейера машинного обучения по расписанию и в ответ на события.
В следующих разделах мы обсудим рабочий процесс более подробно.
Сбор и подготовка данных
Каждый час вызывается конечный автомат Step Functions подготовки данных. Он вызывает каждую из функций Lambda приема данных параллельно и ожидает завершения всех четырех. Функции сбора данных вызывают соответствующий исходный API и извлекают данные за последний час. Затем каждая функция сохраняет полученные данные в соответствующее ведро S3.
Эти функции имеют общую основу реализации, которая предоставляет стандартные блоки для стандартных операций с данными, таких как нормализация или индексация. Для этого мы используем слои Lambda и Чаша AWSкак описано в Использование AWS Lambda Layers с AWS Chalice. Это гарантирует, что все разработчики используют одни и те же базовые библиотеки для создания новой логики подготовки данных, и ускоряет внедрение.
После приема и сохранения всех четырех источников конечный автомат запускает лямбда-функцию подготовки данных. Данные о ценах на электроэнергию, погоде и прогнозах нагрузки принимаются в формате JSON и файлах с разделителями символов. Каждая часть записи каждого файла имеет отметку времени, которая используется для объединения потоков данных в один набор данных, охватывающий временной интервал в 1 час.
Эта конструкция обеспечивает полностью управляемый событиями рабочий процесс. Подготовка обучающих данных начинается, как только все ожидаемые данные получены.
конвейер машинного обучения
После подготовки данных новые наборы данных сохраняются в Amazon S3. Правило EventBridge запускает конвейер машинного обучения через конечный автомат Step Functions. Конечный автомат управляет двумя процессами:
- Проверьте, актуальна ли модель генерации кривой ставок.
- Автоматически запускать переобучение модели, когда производительность снижается или модели старше определенного количества дней.
Если возраст развернутой в настоящее время модели старше последнего набора данных на определенный порог — скажем, 7 дней — конечный автомат Step Functions запускает конвейер SageMaker, который обучает, тестирует и развертывает новую конечную точку логического вывода. Если модели все еще актуальны, рабочий процесс пропускает конвейер машинного обучения и переходит к этапу создания предложения. Независимо от состояния модели новая кривая ставок создается при доставке нового почасового набора данных. Следующая диаграмма иллюстрирует этот рабочий процесс. По умолчанию StartPipelineExecution
действие асинхронно. Мы можем заставить конечный автомат ждать окончания конвейера, прежде чем вызывать этап генерации ставок, используя 'Ожидание обратного вызова'.
Чтобы сократить затраты и время вывода на рынок при создании пилотного решения, Marubeni использовала Бессерверный инференс Amazon SageMaker. Это гарантирует, что базовая инфраструктура, используемая для обучения и развертывания, будет оплачиваться только тогда, когда это необходимо. Это также упрощает процесс построения конвейера, поскольку разработчикам больше не нужно управлять инфраструктурой. Это отличный вариант для рабочих нагрузок с периодами простоя между скачками трафика. По мере развития решения и его перехода в производство Marubeni пересмотрит их дизайн и примет конфигурацию, более подходящую для предсказуемого и стабильного использования.
Генерация ставок и запрос данных
Функция генерации ставок Lambda периодически вызывает конечную точку вывода для создания почасовых прогнозов и сохраняет выходные данные в Amazon S3.
Затем разработчики и бизнес-аналитики могут исследовать данные с помощью Athena и Microsoft Power BI для визуализации. Данные также могут быть доступны через API для последующих бизнес-приложений. На пилотном этапе операторы визуально сверяются с кривой предложения, чтобы поддерживать свою деятельность по сделкам с электроэнергией на рынках. Тем не менее, Marubeni рассматривает возможность автоматизации этого процесса в будущем, и это решение предоставляет для этого необходимые основы.
Заключение
Это решение позволило Marubeni полностью автоматизировать конвейеры обработки и приема данных, а также сократить время развертывания моделей прогнозирования и оптимизации с часов до минут. Кривые ставок теперь генерируются автоматически и обновляются по мере изменения рыночных условий. Они также добились снижения затрат на 80 % при переходе с подготовленной конечной точки вывода на бессерверную конечную точку.
Решение MPII для прогнозирования — одна из последних инициатив по цифровой трансформации, которую Marubeni Corporation запускает в энергетическом секторе. MPII планирует создать дополнительные цифровые решения для поддержки новых мощных бизнес-платформ. MPII может полагаться на сервисы AWS для поддержки своей стратегии цифровой трансформации во многих случаях использования.
Мы можем сосредоточиться на управлении цепочкой создания стоимости для новых бизнес-платформ, зная, что AWS управляет базовой цифровой инфраструктурой наших решений.
– Эрнан Фигероа, старший менеджер по науке о данных в Marubeni Power International.
Дополнительную информацию о том, как AWS помогает энергетическим организациям в их инициативах по цифровому преобразованию и устойчивому развитию, см. АВС Энергия.
Marubeni Power International является дочерней компанией Marubeni Corporation. Marubeni Corporation — крупный японский торговый и инвестиционный конгломерат. Миссия Marubeni Power International заключается в разработке новых бизнес-платформ, оценке новых энергетических тенденций и технологий и управлении энергетическим портфелем Marubeni в Северной и Южной Америке. Если вы хотите узнать больше о Marubeni Power, посетите https://www.marubeni-power.com/.
Об авторах
Эрнан Фигероа возглавляет инициативы цифровой трансформации в Marubeni Power International. Его команда применяет науку о данных и цифровые технологии для поддержки стратегий роста Marubeni Power. До прихода в Marubeni Эрнан был специалистом по данным в Колумбийском университете. Он имеет докторскую степень. в области электротехники и степень бакалавра в области вычислительной техники.
Лино Брешиа является главным менеджером по работе с клиентами в Нью-Йорке. У него более 25 лет опыта работы с технологиями, и он присоединился к AWS в 2018 году. Он управляет корпоративными клиентами по всему миру, когда они трансформируют свой бизнес с помощью облачных сервисов AWS и выполняют крупномасштабные миграции.
Нарцисс Зекпа является старшим архитектором решений из Бостона. Он помогает клиентам на северо-востоке США ускорить преобразование их бизнеса с помощью инновационных и масштабируемых решений в облаке AWS. Когда Нарцисс не занимается строительством, ему нравится проводить время со своей семьей, путешествовать, готовить, играть в баскетбол и бегать.
Педрам Джахангири является архитектором корпоративных решений в AWS, имеет докторскую степень в области электротехники. Имеет более 10 лет опыта работы в сфере энергетики и информационных технологий. Педрам имеет многолетний практический опыт во всех аспектах расширенной аналитики для создания количественных и крупномасштабных решений для предприятий с использованием облачных технологий.
Сара Чайлдерс является менеджером по работе с клиентами в Вашингтоне, округ Колумбия. Она — бывший преподаватель естественных наук, ставшая энтузиастом облачных вычислений, сосредоточенная на поддержке клиентов во время их перехода к облачным технологиям. Саре нравится работать вместе с целеустремленной командой, которая поощряет разнообразные идеи, чтобы предоставить клиентам самые инновационные и комплексные решения.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :является
- $UP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- в состоянии
- О нас
- ускорять
- доступ
- Доступ
- Учетная запись
- Достигать
- через
- Действие
- активно
- дополнительный
- адрес
- принять
- продвижение
- продвинутый
- плюс
- алгоритмы
- Все
- распределение
- рядом
- Amazon
- Создатель мудреца Амазонки
- Северной и Южной Америки
- количество
- анализ
- Аналитики
- аналитика
- и
- -Анджелесе
- API
- API
- Приложения
- архитектура
- МЫ
- прибытие
- AS
- аспекты
- активы
- управление активами
- Активы
- At
- дополненная
- Аутентификация
- автоматизировать
- автоматически
- Автоматизация
- доступен
- в среднем
- AWS
- AWS Lambda
- Машинное обучение AWS
- Баланс
- Использование темпера с изогнутым основанием
- основанный
- Базовая линия
- основа
- Баскетбол
- BE
- , так как:
- становиться
- до
- не являетесь
- ЛУЧШЕЕ
- между
- предложение
- Блоки
- Бостон
- широкий
- строить
- Строительство
- бизнес
- Бизнес-приложения
- Трансформация бизнеса
- покупка
- by
- Калифорния
- призывают
- под названием
- вызова
- Объявления
- CAN
- не могу
- возможности
- способный
- углерод
- случаев
- случаев
- определенный
- цепь
- изменение
- изменения
- персонаж
- расходы
- проверка
- облако
- облачные сервисы
- лыжных шлемов
- Columbia
- комбинации
- комбинируя
- Общий
- полный
- компоненты
- комплексный
- компьютер
- Компьютерная инженерия
- Условия
- Конфигурация
- конгломерат
- подключает
- Рассматривать
- принимая во внимание
- консолидировать
- постоянно
- ограничения
- строить
- потребленный
- потребление
- непрерывно
- приготовление
- КОРПОРАЦИЯ
- Цена
- снижение расходов
- рентабельным
- чехол для варгана
- покрытие
- критической
- перекрестные ссылки
- Куратор
- Текущий
- В настоящее время
- кривая
- Клиенты
- настроить
- данным
- Озеро данных
- Подготовка данных
- обработка данных
- наука о данных
- ученый данных
- хранение данных
- управляемых данными
- Наборы данных
- Время
- день
- dc
- Принятие решений
- решения
- По умолчанию
- поставка
- Спрос
- развертывание
- развернуть
- развертывание
- развертывание
- развертывания
- развертывает
- описано
- описание
- Проект
- подробность
- подробнее
- развивать
- застройщиков
- различный
- Интернет
- цифровое преобразование
- обсуждать
- безрассудство
- многоотраслевой
- в течение
- динамический
- каждый
- Ранее
- легче
- легко
- Электрический
- электротехника
- электричество
- включить
- включен
- позволяет
- призывает
- Конечная точка
- энергетика
- Двигатель
- Проект и
- обеспечивать
- обеспечивает
- Предприятие
- корпоративные клиенты
- предприятий
- энтузиаст
- Окружающая среда
- средах
- Эквивалент
- Эфир (ETH)
- События
- Каждая
- пример
- исключительно
- исполнительный
- ожидаемый
- опыт
- Больше
- и, что лучший способ
- семья
- Получено
- фигура
- Файл
- Файлы
- окончательный
- Фокус
- внимание
- после
- Что касается
- Прогноз
- Бывший
- Устои
- КАДР
- свежий
- от
- полностью
- функция
- функциональность
- Функции
- далее
- будущее
- порождать
- генерируется
- генерирует
- поколение
- Глобальный
- Go
- большой
- сетка
- Рост
- практический
- Есть
- помощь
- помогает
- имеет
- ЧАСЫ
- Как
- How To
- Однако
- HTML
- HTTPS
- идеи
- Idle
- осуществлять
- реализация
- инвентарь
- важную
- in
- включают
- включены
- включает в себя
- Входящий
- Увеличение
- независимые
- промышленность
- информация
- Инфраструктура
- инициативы
- инновационный
- вход
- в нашей внутренней среде,
- Мультиязычность
- Взаимодействие
- инвестиций
- Инвестирует
- Запускает
- вовлеченный
- IT
- IT индустрия
- ЕГО
- Японский
- Джобс
- присоединился
- присоединение
- путешествие
- JPG
- JSON
- Kicks
- Знать
- знание
- озеро
- крупномасштабный
- последний
- запуск
- слой
- слоев
- Лиды
- УЧИТЬСЯ
- изучение
- Используя
- библиотеки
- Жизненный цикл
- такое как
- рамки
- загрузка
- грузы
- Длинное
- дольше
- лос
- Лос-Анджелес
- от
- машина
- обучение с помощью машины
- Продукция
- сделанный
- поддерживать
- основной
- ДЕЛАЕТ
- управлять
- управление
- менеджер
- управляет
- управления
- Манипуляция
- многих
- рынок
- рыночные условия
- Области применения:
- созревает
- Максимизировать
- механизм
- Память
- Microsoft
- минимизировать
- минут
- Наша миссия
- ML
- режим
- модель
- моделирование
- Модели
- модифицировало
- БОЛЕЕ
- самых
- мотивированные
- движется
- с разными
- Возле
- необходимо
- Необходимость
- необходимый
- потребности
- Новые
- следующий
- узел
- номер
- Нью-Йорк
- цель
- получать
- of
- предложенный
- Офис
- on
- ONE
- работает
- операционный
- операция
- оперативный
- оператор
- Операторы
- оптимальный
- оптимизация
- оптимизированный
- оптимизирующий
- Опция
- организации
- Другие контрактные услуги
- выходной
- владеет
- Параллельные
- часть
- новыми участниками
- участие
- мимо
- восприятии
- выполнять
- производительность
- периодов
- фаза
- пилот
- трубопровод
- Планы
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Играть
- игры
- «портфель»
- После
- мощностью
- Power BI
- Напряжение питания
- предсказуемый
- предсказанный
- прогнозирования
- прогноз
- Predictions
- предсказывает
- Подготовить
- представлены
- цена
- прогноз цен
- Цены
- Основной
- Предварительный
- проблемам
- процесс
- Процессы
- обработка
- Производство
- прибыли
- доходы
- ( изучите наши патенты),
- обеспечивать
- приводит
- Публикация
- Публикует
- количественный
- готовый
- реального времени
- реализованный
- получила
- последний
- запись
- уменьшить
- Несмотря на
- надежность
- полагаться
- Возобновляемый
- Возобновляемая энергия
- представляет
- обязательный
- требуется
- те
- ответ
- ответственный
- отзывчивый
- Итоги
- переквалификация
- доходы
- обзоре
- Снижение
- надежный
- Роли
- роли
- Правило
- Run
- Бег
- s
- sagemaker
- то же
- масштабируемые
- график
- Наука
- Ученый
- Раздел
- разделах
- сектор
- продажа
- служить
- Serverless
- Услуги
- набор
- Поделиться
- краткосрочный
- должен
- Шоу
- просто
- одновременно
- одинарной
- So
- Решение
- Решения
- некоторые
- Скоро
- Источник
- Источники
- Об
- конкретный
- скорость
- Расходы
- SQL
- стандарт
- Область
- устойчивый
- Шаг
- Шаги
- По-прежнему
- диск
- магазин
- хранить
- магазины
- стратегий
- Стратегия
- прочность
- отправить
- представленный
- вспомогательный
- такие
- поставка
- Спрос и предложение
- поддержка
- поддержки
- Поддержка
- Стабильность
- система
- ТАБЛИЦЫ
- взять
- команда
- снижения вреда
- технологии
- Технологии
- tensorflow
- тестXNUMX
- тестов
- который
- Ассоциация
- Будущее
- Государство
- их
- следовательно
- Эти
- Через
- время
- отметка времени
- в
- Торговля
- трафик
- Train
- Обучение
- поезда
- сделка
- Transform
- трансформация
- Стратегия трансформации
- переходы
- Путешествие
- Тенденции
- вызвать
- Оказалось
- Типы
- нам
- лежащий в основе
- Университет
- Updates
- Восходящие данные
- us
- Применение
- использование
- прецедент
- ценностное
- различный
- версия
- с помощью
- визуализация
- ждать
- Вашингтон
- Вашингтон
- Путь..
- Погода
- ЧТО Ж
- который
- будете
- Готовность
- в
- рабочий
- работает
- бы
- лет
- зефирнет