Dette indlæg er skrevet sammen med Hernan Figueroa, Sr. Manager Data Science hos Marubeni Power International.
Marubeni Power International Inc (MPII) ejer og investerer i kraftforretningsplatforme i Amerika. En vigtig vertikal for MPII er asset management for vedvarende energi og energilagringsaktiver, som er afgørende for at reducere kulstofintensiteten i vores elinfrastruktur. At arbejde med vedvarende energiaktiver kræver forudsigelige og lydhøre digitale løsninger, fordi produktionen af vedvarende energi og vilkårene på elmarkedet konstant ændrer sig. MPII bruger en maskinindlæring (ML) budoptimeringsmotor til at informere opstrøms beslutningsprocesser inden for styring af strømaktiver og handel. Denne løsning hjælper markedsanalytikere med at designe og udføre datadrevne budstrategier, der er optimeret til lønsomhed i kraftaktiver.
I dette indlæg lærer du, hvordan Marubeni optimerer markedsbeslutninger ved at bruge det brede sæt af AWS-analyse og ML-tjenester til at bygge en robust og omkostningseffektiv Power Bid Optimization-løsning.
Løsningsoversigt
Elektricitetsmarkeder gør det muligt for handel med strøm og energi at balancere strømforsyning og -efterspørgsel i elnettet og til at dække forskellige el-nettets pålidelighedsbehov. Markedsdeltagere, såsom MPII-aktivoperatører, byder konstant strøm og energimængder ind på disse elmarkeder for at opnå overskud fra deres elaktiver. En markedsdeltager kan afgive bud på forskellige markeder samtidigt for at øge et aktivs rentabilitet, men den skal tage højde for aktivstyrkegrænser og responshastigheder samt andre aktivs operationelle begrænsninger og interoperabiliteten af disse markeder.
MPIIs budoptimeringsmotorløsning bruger ML-modeller til at generere optimale bud for deltagelse på forskellige markeder. De mest almindelige bud er day-ahead energibud, som skal afgives 1 dag før den faktiske handelsdag, og real-time energibud, som skal afgives 75 minutter før børstiden. Løsningen orkestrerer den dynamiske budgivning og driften af et strømaktiv og kræver brug af optimerings- og forudsigelsesmuligheder, der er tilgængelige i dets ML-modeller.
Power Bid Optimization-løsningen inkluderer flere komponenter, der spiller specifikke roller. Lad os gennemgå de involverede komponenter og deres respektive forretningsfunktioner.
Dataindsamling og indtagelse
Dataindsamlings- og indtagelseslaget forbinder til alle opstrøms datakilder og indlæser dataene i datasøen. Budgivning på elmarkedet kræver mindst fire typer input:
- Prognoser for elefterspørgsel
- Vejrudsigter
- Markedspris historie
- Strømprisprognoser
Disse datakilder tilgås udelukkende via API'er. Derfor skal indtagelseskomponenterne være i stand til at administrere godkendelse, datakilde i pull-tilstand, dataforbehandling og datalagring. Fordi dataene hentes hver time, kræves der også en mekanisme til at orkestrere og planlægge indlæsningsjob.
Forberedelse af data
Som med de fleste ML-brugssager, spiller dataforberedelse en kritisk rolle. Data kommer fra forskellige kilder i en række formater. Før det er klar til at blive brugt til ML-modeltræning, skal det gennemgå nogle af følgende trin:
- Konsolider timedatasæt baseret på ankomsttidspunkt. Et komplet datasæt skal indeholde alle kilder.
- Øg kvaliteten af dataene ved at bruge teknikker som standardisering, normalisering eller interpolation.
Ved afslutningen af denne proces iscenesættes de kuraterede data og gøres tilgængelige for yderligere forbrug.
Modeltræning og implementering
Næste trin består i at træne og implementere en model, der er i stand til at forudsige optimale markedsbud for køb og salg af energi. For at minimere risikoen for underperformance brugte Marubeni ensemblemodelleringsteknikken. Ensemble-modellering består af at kombinere flere ML-modeller for at forbedre forudsigelsesydelsen. Marubeni samler output fra eksterne og interne forudsigelsesmodeller med et vægtet gennemsnit for at drage fordel af styrken af alle modeller. Marubenis interne modeller er baseret på Long Short-Term Memory (LSTM) arkitekturer, som er veldokumenterede og nemme at implementere og tilpasse i TensorFlow. Amazon SageMaker understøtter TensorFlow-implementeringer og mange andre ML-miljøer. Den eksterne model er proprietær, og dens beskrivelse kan ikke inkluderes i dette indlæg.
I Marubenis anvendelsestilfælde udfører budmodellerne numerisk optimering for at maksimere indtjeningen ved hjælp af en modificeret version af de objektive funktioner, der bruges i publikationen Muligheder for energilagring i CAISO.
SageMaker gør det muligt for Marubeni at køre ML og numeriske optimeringsalgoritmer i et enkelt miljø. Dette er kritisk, fordi under den interne modeltræning bruges output fra den numeriske optimering som en del af forudsigelsestabsfunktionen. For mere information om, hvordan man adresserer numerisk optimeringsbrug, se Løsning af numeriske optimeringsproblemer som planlægning, routing og allokering med Amazon SageMaker Processing.
Vi implementerer derefter disse modeller gennem inferensendepunkter. Da friske data indtages med jævne mellemrum, skal modellerne omskoles, fordi de bliver forældede med tiden. Arkitekturafsnittet senere i dette indlæg giver flere detaljer om modellernes livscyklus.
Generering af strømbuddata
På timebasis forudsiger løsningen de optimale mængder og priser, som strøm skal udbydes til på markedet – også kaldet bud. Mængder måles i MW og priser er målt i $/MW. Bud genereres for flere kombinationer af forudsagte og opfattede markedsforhold. Følgende tabel viser et eksempel på finalen budkurve output for driftstime 17 på en illustrativ handelsknude nær Marubenis kontor i Los Angeles.
Dato | Time | Marked | Lokation | MW | Pris |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 8 | $230.15 |
Dette eksempel repræsenterer vores villighed til at byde 1.65 MW strøm, hvis strømprisen er mindst $80.79, 5.15 MW, hvis strømprisen er mindst $105.34, og 8 MW, hvis strømprisen er mindst $230.15.
Uafhængige systemoperatører (ISO'er) fører tilsyn med elmarkederne i USA og er ansvarlige for at tildele og afvise bud for at opretholde elnettets pålidelighed på den mest økonomiske måde. California Independent System Operator (CAISO) driver elektricitetsmarkeder i Californien og offentliggør markedsresultater hver time før næste budvindue. Ved at krydsreferencer de nuværende markedsforhold med deres ækvivalent på kurven, er analytikere i stand til at udlede optimal indtjening. Power Bid Optimization-løsningen opdaterer fremtidige bud ved hjælp af nye indkommende markedsoplysninger og nye modelforudsigende output
AWS arkitektur oversigt
Løsningsarkitekturen illustreret i den følgende figur implementerer alle de tidligere præsenterede lag. Den bruger følgende AWS-tjenester som en del af løsningen:
- Amazon Simple Storage Service (Amazon S3) for at gemme følgende data:
- Prissætning, vejr og belastningsprognosedata fra forskellige kilder.
- Konsolideret og udvidet data klar til at blive brugt til modeltræning.
- Output budkurver opdateres hver time.
- Amazon SageMaker at træne, teste og implementere modeller til at levere optimerede bud gennem slutningsendepunkter.
- AWS-trinfunktioner at orkestrere både data- og ML-pipelines. Vi bruger to statsmaskiner:
- Én statsmaskine til at orkestrere dataindsamling og sikre, at alle kilder er blevet indtaget.
- Én statsmaskine til at orkestrere ML-pipelinen samt den optimerede budgenereringsworkflow.
- AWS Lambda at implementere indtagelses-, forbehandlings- og efterbehandlingsfunktionalitet:
- Tre funktioner til at indlæse inputdatafeeds med én funktion pr. kilde.
- Én funktion til at konsolidere og forberede data til træning.
- En funktion, der genererer prisprognosen ved at kalde modellens endepunkt indsat i SageMaker.
- Amazonas Athena at give udviklere og forretningsanalytikere SQL-adgang til de genererede data til analyse og fejlfinding.
- Amazon Eventbridge at udløse dataindtagelsen og ML-pipeline på en tidsplan og som reaktion på hændelser.
I de følgende afsnit diskuterer vi arbejdsgangen mere detaljeret.
Dataindsamling og forberedelse
Hver time aktiveres tilstandsmaskinen for dataforberedelse Trinfunktioner. Den kalder hver af dataindtagelsen Lambda-funktioner parallelt og venter på, at alle fire er færdige. Dataindsamlingsfunktionerne kalder deres respektive kilde-API og henter data for den seneste time. Hver funktion gemmer derefter de modtagne data i deres respektive S3-bøtte.
Disse funktioner deler en fælles implementeringsbaseline, der giver byggeklodser til standarddatamanipulation såsom normalisering eller indeksering. For at opnå dette bruger vi Lambda-lag og AWS kalk, som beskrevet i Brug af AWS Lambda Layers med AWS Chalice. Dette sikrer, at alle udviklere bruger de samme basisbiblioteker til at bygge nye dataforberedelseslogikker og fremskynder implementeringen.
Efter at alle fire kilder er blevet indtaget og gemt, udløser tilstandsmaskinen dataforberedelsen Lambda-funktionen. Strømpris-, vejr- og belastningsprognosedata modtages i JSON- og tegnafgrænsede filer. Hver postdel af hver fil har et tidsstempel, der bruges til at konsolidere datafeeds i ét datasæt, der dækker en tidsramme på 1 time.
Denne konstruktion giver et fuldt hændelsesdrevet arbejdsflow. Træningsdataforberedelse påbegyndes, så snart alle de forventede data er indtaget.
ML pipeline
Efter dataforberedelse gemmes de nye datasæt i Amazon S3. En EventBridge-regel udløser ML-pipelinen gennem en Step Functions-tilstandsmaskine. Statsmaskinen driver to processer:
- Tjek, om budkurvegenereringsmodellen er aktuel
- Udløs automatisk modelomskoling, når ydeevnen forringes, eller modellerne er ældre end et bestemt antal dage
Hvis alderen på den aktuelt implementerede model er ældre end det seneste datasæt med en vis tærskel – for eksempel 7 dage – starter Step Functions-tilstandsmaskinen SageMaker-pipelinen, der træner, tester og implementerer et nyt inferensendepunkt. Hvis modellerne stadig er opdaterede, springer arbejdsgangen over ML-pipelinen og går videre til budgenereringstrinnet. Uanset modellens tilstand genereres en ny budkurve ved levering af et nyt timedatasæt. Følgende diagram illustrerer denne arbejdsgang. Som standard er StartPipelineExecution
handlingen er asynkron. Vi kan få statsmaskinen til at vente på slutningen af pipelinen, før vi påberåber os budgenereringstrinnet ved at bruge 'Vent på tilbagekald' mulighed.
For at reducere omkostninger og time to market ved at bygge en pilotløsning brugte Marubeni Amazon SageMaker Serverless Inference. Dette sikrer, at den underliggende infrastruktur, der bruges til træning og implementering, kun pålægges gebyrer, når det er nødvendigt. Dette gør også processen med at bygge pipelinen nemmere, fordi udviklere ikke længere behøver at administrere infrastrukturen. Dette er en fantastisk mulighed for arbejdsbelastninger, der har inaktive perioder mellem trafik-spurgterne. Efterhånden som løsningen modnes og overgår til produktion, vil Marubeni gennemgå deres design og vedtage en konfiguration, der er mere egnet til forudsigelig og stabil brug.
Budgenerering og dataforespørgsel
Lambda-funktionen til budgenerering påkalder periodisk inferensendepunktet for at generere timelige forudsigelser og gemmer outputtet i Amazon S3.
Udviklere og forretningsanalytikere kan derefter udforske dataene ved hjælp af Athena og Microsoft Power BI til visualisering. Dataene kan også gøres tilgængelige via API til downstream forretningsapplikationer. I pilotfasen konsulterer operatører budkurven visuelt for at understøtte deres eltransaktionsaktiviteter på markederne. Marubeni overvejer dog at automatisere denne proces i fremtiden, og denne løsning giver det nødvendige grundlag for at gøre det.
Konklusion
Denne løsning gjorde det muligt for Marubeni fuldt ud at automatisere deres databehandlings- og indtagelsespipelines samt reducere deres forudsigelses- og optimeringsmodellers implementeringstid fra timer til minutter. Budkurver genereres nu automatisk og holdes ajour, efterhånden som markedsforholdene ændrer sig. De realiserede også en omkostningsreduktion på 80 %, når de skiftede fra et klargjort slutpunkt til et serverløst slutpunkt.
MPII's prognoseløsning er et af de seneste digitale transformationsinitiativer, som Marubeni Corporation lancerer i elsektoren. MPII planlægger at bygge yderligere digitale løsninger til at understøtte nye power business platforme. MPII kan stole på AWS-tjenester til at understøtte deres digitale transformationsstrategi på tværs af mange use cases.
"Vi kan fokusere på at styre værdikæden for nye forretningsplatforme, velvidende at AWS administrerer den underliggende digitale infrastruktur i vores løsninger."
– Hernan Figueroa, Sr. Manager Data Science hos Marubeni Power International.
For mere information om, hvordan AWS hjælper energiorganisationer med deres digitale transformations- og bæredygtighedsinitiativer, se AWS Energi.
Marubeni Power International er et datterselskab af Marubeni Corporation. Marubeni Corporation er et stort japansk handels- og investeringskonglomerat. Marubeni Power Internationals mission er at udvikle nye forretningsplatforme, vurdere nye energitrends og -teknologier og administrere Marubenis energiportefølje i Amerika. Hvis du gerne vil vide mere om Marubeni Power, så tjek ud https://www.marubeni-power.com/.
Om forfatterne
Hernan Figueroa leder de digitale transformationsinitiativer hos Marubeni Power International. Hans team anvender datavidenskab og digitale teknologier til at understøtte Marubeni Powers vækststrategier. Før han kom til Marubeni, var Hernan dataforsker ved Columbia University. Han har en ph.d. i elektroteknik og en bachelor i computerteknik.
Lino Brescia er en Principal Account Executive baseret i NYC. Han har over 25 års teknologierfaring og har sluttet sig til AWS i 2018. Han administrerer globale virksomhedskunder, mens de transformerer deres forretning med AWS cloud-tjenester og udfører store migreringer.
Narcisse Zekpa er en Sr. Solutions Architect baseret i Boston. Han hjælper kunder i det nordøstlige USA med at accelerere deres forretningstransformation gennem innovative og skalerbare løsninger på AWS Cloud. Når Narcisse ikke bygger, nyder han at bruge tid med sin familie, rejse, lave mad, spille basketball og løbe.
Pedram Jahangiri er en Enterprise Solution Architect med AWS, med en PhD i elektroteknik. Han har 10+ års erfaring i energi- og IT-branchen. Pedram har mange års praktisk erfaring i alle aspekter af Advanced Analytics til at bygge kvantitative og store løsninger til virksomheder ved at udnytte cloud-teknologier.
Sarah Childers er en Account Manager baseret i Washington DC. Hun er en tidligere naturvidenskabelig underviser, der blev cloud-entusiast med fokus på at støtte kunder gennem deres cloud-rejse. Sarah nyder at arbejde sammen med et motiveret team, der tilskynder til diversificerede ideer for bedst muligt at udstyre kunderne med de mest innovative og omfattende løsninger.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :er
- $OP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- I stand
- Om
- fremskynde
- adgang
- af udleverede
- Konto
- opnå
- tværs
- Handling
- aktiviteter
- Yderligere
- adresse
- vedtage
- fremme
- fremskreden
- Fordel
- algoritmer
- Alle
- allokering
- langs med
- Amazon
- Amazon SageMaker
- Amerika
- beløb
- analyse
- Analytikere
- analytics
- ,
- Angeles
- api
- API'er
- applikationer
- arkitektur
- ER
- ankomst
- AS
- aspekter
- aktiv
- formueforvaltning
- Aktiver
- At
- augmented
- Godkendelse
- automatisere
- automatisk
- Automatisering
- til rådighed
- gennemsnit
- AWS
- AWS Lambda
- AWS maskinindlæring
- Balance
- bund
- baseret
- Baseline
- grundlag
- Basketball
- BE
- fordi
- bliver
- før
- være
- BEDSTE
- mellem
- bud
- Blocks
- boston
- bred
- bygge
- Bygning
- virksomhed
- Business Applications
- Forretningstransformation
- Købe
- by
- california
- ringe
- kaldet
- ringer
- Opkald
- CAN
- kan ikke
- kapaciteter
- stand
- kulstof
- tilfælde
- tilfælde
- vis
- kæde
- lave om
- skiftende
- karakter
- afgifter
- kontrollere
- Cloud
- cloud-tjenester
- samling
- Columbia
- kombinationer
- kombinerer
- Fælles
- fuldføre
- komponenter
- omfattende
- computer
- Computer Engineering
- betingelser
- Konfiguration
- konglomerat
- forbinder
- Overvej
- Overvejer
- konsolidere
- konstant
- begrænsninger
- konstruere
- forbruges
- forbrug
- kontinuerligt
- madlavning
- VIRKSOMHED
- Koste
- omkostningsreduktion
- omkostningseffektiv
- dæksel
- dækker
- kritisk
- krydshenvisninger
- kurateret
- Nuværende
- For øjeblikket
- skøger
- Kunder
- tilpasse
- data
- Data Lake
- Dataforberedelse
- databehandling
- datalogi
- dataforsker
- data opbevaring
- datastyret
- datasæt
- Dato
- dag
- dc
- Beslutningstagning
- afgørelser
- Standard
- levering
- Efterspørgsel
- indsætte
- indsat
- implementering
- implementering
- implementeringer
- udruller
- beskrevet
- beskrivelse
- Design
- detail
- detaljer
- udvikle
- udviklere
- forskellige
- digital
- Digital Transformation
- diskutere
- dårskab
- diversificeret
- i løbet af
- dynamisk
- hver
- tidligere
- lettere
- let
- Elektrisk
- Elektroteknik
- elektricitet
- muliggøre
- aktiveret
- muliggør
- tilskynder
- Endpoint
- energi
- Engine (Motor)
- Engineering
- sikre
- sikrer
- Enterprise
- virksomhedskunder
- virksomheder
- entusiast
- Miljø
- miljøer
- Ækvivalent
- Ether (ETH)
- begivenheder
- Hver
- eksempel
- udelukkende
- udøvende
- forventet
- erfaring
- udforske
- ekstern
- familie
- Hentet
- Figur
- File (Felt)
- Filer
- endelige
- Fokus
- fokuserede
- efter
- Til
- Forecast
- Tidligere
- Fonde
- FRAME
- frisk
- fra
- fuldt ud
- funktion
- funktionalitet
- funktioner
- yderligere
- fremtiden
- generere
- genereret
- genererer
- generation
- Global
- Go
- stor
- Grid
- Vækst
- hands-on
- Have
- hjælpe
- hjælper
- besidder
- HOURS
- Hvordan
- How To
- Men
- HTML
- HTTPS
- ideer
- tomgang
- gennemføre
- implementering
- redskaber
- vigtigt
- in
- omfatter
- medtaget
- omfatter
- Indgående
- Forøg
- uafhængig
- industrien
- oplysninger
- Infrastruktur
- initiativer
- innovativ
- indgang
- interne
- internationalt
- Interoperabilitet
- investering
- investerer
- påberåber sig
- involverede
- IT
- It-industrien
- ITS
- japansk
- Karriere
- sluttede
- sammenføjning
- rejse
- jpg
- json
- Kicks
- Kend
- Kendskab til
- sø
- storstilet
- seneste
- lancering
- lag
- lag
- Leads
- LÆR
- læring
- løftestang
- biblioteker
- livscyklus
- ligesom
- grænser
- belastning
- belastninger
- Lang
- længere
- den
- Los Angeles
- off
- maskine
- machine learning
- Maskiner
- lavet
- vedligeholde
- større
- maerker
- administrere
- ledelse
- leder
- administrerer
- styring
- Håndtering
- mange
- Marked
- markedsforhold
- Markeder
- modnes
- Maksimer
- mekanisme
- Hukommelse
- microsoft
- minimere
- minutter
- Mission
- ML
- tilstand
- model
- modellering
- modeller
- modificeret
- mere
- mest
- motiveret
- bevæger sig
- flere
- I nærheden af
- nødvendig
- Behov
- behov
- behov
- Ny
- næste
- node
- nummer
- NYC
- objektiv
- opnå
- of
- tilbydes
- Office
- on
- ONE
- opererer
- drift
- drift
- operationelle
- operatør
- Operatører
- optimal
- optimering
- optimeret
- optimering
- Option
- organisationer
- Andet
- output
- ejer
- Parallel
- del
- deltagere
- deltagelse
- forbi
- opfattet
- udføre
- ydeevne
- perioder
- fase
- pilot
- pipeline
- planer
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- Leg
- spiller
- portefølje
- Indlæg
- magt
- Power BI
- Strømforsyning
- Forudsigelig
- forudsagde
- forudsige
- forudsigelse
- Forudsigelser
- forudser
- Forbered
- forelagt
- pris
- prisprognose
- Priser
- Main
- Forud
- problemer
- behandle
- Processer
- forarbejdning
- produktion
- rentabilitet
- overskud
- proprietære
- give
- giver
- Offentliggørelse
- Udgiver
- kvalitet
- kvantitativ
- klar
- realtid
- gik op for
- modtaget
- nylige
- optage
- reducere
- Uanset
- pålidelighed
- stole
- Vedvarende
- vedvarende energi
- repræsenterer
- påkrævet
- Kræver
- dem
- svar
- ansvarlige
- lydhør
- Resultater
- omskoling
- indtægter
- gennemgå
- Risiko
- robust
- roller
- roller
- Herske
- Kør
- kører
- s
- sagemaker
- samme
- skalerbar
- planlægge
- Videnskab
- Videnskabsmand
- Sektion
- sektioner
- sektor
- Salg
- tjener
- Serverless
- Tjenester
- sæt
- Del
- kort sigt
- bør
- Shows
- Simpelt
- samtidigt
- enkelt
- So
- løsninger
- Løsninger
- nogle
- Snart
- Kilde
- Kilder
- Sourcing
- specifikke
- hastigheder
- udgifterne
- SQL
- standard
- Tilstand
- steady
- Trin
- Steps
- Stadig
- opbevaring
- butik
- opbevaret
- forhandler
- strategier
- Strategi
- styrke
- indsende
- indsendt
- datterselskabet
- sådan
- forsyne
- Udbud og efterspørgsel
- support
- Støtte
- Understøtter
- Bæredygtighed
- systemet
- bord
- Tag
- hold
- teknikker
- Teknologier
- Teknologier
- tensorflow
- prøve
- tests
- at
- Fremtiden
- Staten
- deres
- derfor
- Disse
- Gennem
- tid
- tidsstempel
- til
- Trading
- Trafik
- Tog
- Kurser
- tog
- transaktion
- Transform
- Transformation
- Transformationsstrategi
- overgange
- Traveling
- Tendenser
- udløse
- Drejede
- typer
- os
- underliggende
- universitet
- opdateringer
- Opstrøms data
- us
- Brug
- brug
- brug tilfælde
- værdi
- forskellige
- udgave
- via
- visualisering
- vente
- washington
- Washington DC
- Vej..
- Vejr
- GODT
- som
- vilje
- villighed
- med
- inden for
- workflow
- arbejder
- ville
- år
- zephyrnet