Dette innlegget er skrevet sammen med Hernan Figueroa, Sr. Manager Data Science ved Marubeni Power International.
Marubeni Power International Inc (MPII) eier og investerer i kraftforretningsplattformer i Amerika. En viktig vertikal for MPII er aktivaforvaltning for fornybar energi og energilagring, som er avgjørende for å redusere karbonintensiteten i kraftinfrastrukturen vår. Arbeid med fornybare kraftressurser krever prediktive og responsive digitale løsninger, fordi fornybar energiproduksjon og strømmarkedsforholdene er i kontinuerlig endring. MPII bruker en maskinlæring (ML) budoptimaliseringsmotor for å informere oppstrøms beslutningsprosesser innen forvaltning og handel med kraftressurser. Denne løsningen hjelper markedsanalytikere med å designe og utføre datadrevne budstrategier som er optimalisert for lønnsomhet i kraftaktiva.
I dette innlegget vil du lære hvordan Marubeni optimaliserer markedsbeslutninger ved å bruke det brede settet av AWS-analyse og ML-tjenester, for å bygge en robust og kostnadseffektiv Power Bid Optimization-løsning.
Løsningsoversikt
Elektrisitetsmarkeder gjør det mulig for handel med kraft og energi å balansere kraftforsyning og etterspørsel i det elektriske nettet og for å dekke ulike behov for pålitelighet av elektriske nett. Markedsaktører, som MPII-aktivaoperatører, byr stadig på kraft- og energimengder inn i disse kraftmarkedene for å få fortjeneste fra kraftmidlene sine. En markedsdeltaker kan legge inn bud til forskjellige markeder samtidig for å øke lønnsomheten til en eiendel, men den må vurdere ressursgrenser og responshastigheter samt andre driftsbegrensninger for aktiva og interoperabiliteten til disse markedene.
MPIIs budoptimaliseringsmotorløsning bruker ML-modeller for å generere optimale bud for deltakelse i ulike markeder. De vanligste budene er day-ahead energibud, som skal sendes 1 dag før selve handelsdagen, og sanntids energibud, som skal sendes 75 minutter før børstime. Løsningen orkestrerer den dynamiske budgivningen og driften av et kraftelement og krever bruk av optimalisering og prediktive funksjoner som er tilgjengelige i ML-modellene.
Power Bid Optimization-løsningen inkluderer flere komponenter som spiller bestemte roller. La oss gå gjennom de involverte komponentene og deres respektive forretningsfunksjoner.
Datainnsamling og inntak
Datainnsamlings- og inntakslaget kobles til alle oppstrøms datakilder og laster dataene inn i datasjøen. Budgivning på elektrisitetsmarkedet krever minst fire typer input:
- Prognoser for etterspørsel etter strøm
- Værmeldinger
- Markedsprishistorikk
- Kraftprisprognoser
Disse datakildene er kun tilgjengelig via APIer. Derfor må inntakskomponentene kunne administrere autentisering, datainnhenting i pull-modus, dataforbehandling og datalagring. Fordi dataene hentes hver time, kreves det også en mekanisme for å orkestrere og planlegge inntaksjobber.
Dataforberedelse
Som med de fleste ML-brukssaker, spiller dataforberedelse en kritisk rolle. Data kommer fra ulike kilder i en rekke formater. Før den er klar til å bli konsumert for ML-modellopplæring, må den gå gjennom noen av følgende trinn:
- Konsolider timedatasett basert på ankomsttid. Et komplett datasett må inkludere alle kilder.
- Øk kvaliteten på dataene ved å bruke teknikker som standardisering, normalisering eller interpolering.
På slutten av denne prosessen iscenesettes de kurerte dataene og gjøres tilgjengelige for videre forbruk.
Modelltrening og utplassering
Det neste trinnet består av opplæring og implementering av en modell som er i stand til å forutsi optimale markedsbud for kjøp og salg av energi. For å minimere risikoen for underytelse brukte Marubeni ensemblemodelleringsteknikken. Ensemblemodellering består av å kombinere flere ML-modeller for å forbedre prediksjonsytelsen. Marubeni samler utdataene til eksterne og interne prediksjonsmodeller med et vektet gjennomsnitt for å dra nytte av styrken til alle modellene. Marubenis interne modeller er basert på Long Short-Term Memory (LSTM) arkitekturer, som er godt dokumentert og enkle å implementere og tilpasse i TensorFlow. Amazon SageMaker støtter TensorFlow-distribusjoner og mange andre ML-miljøer. Den eksterne modellen er proprietær, og beskrivelsen kan ikke inkluderes i dette innlegget.
I Marubenis brukstilfelle utfører budmodellene numerisk optimalisering for å maksimere inntektene ved å bruke en modifisert versjon av objektivfunksjonene som brukes i publikasjonen Muligheter for energilagring i CAISO.
SageMaker gjør det mulig for Marubeni å kjøre ML og numeriske optimaliseringsalgoritmer i ett enkelt miljø. Dette er kritisk, fordi under den interne modellopplæringen, brukes utgangen av den numeriske optimaliseringen som en del av prediksjonstapsfunksjonen. For mer informasjon om hvordan du adresserer brukstilfeller for numerisk optimalisering, se Løsning av numeriske optimaliseringsproblemer som planlegging, ruting og tildeling med Amazon SageMaker Processing.
Vi distribuerer deretter disse modellene gjennom sluttpunkter. Ettersom fersk data inntas med jevne mellomrom, må modellene omskoleres fordi de blir foreldede over tid. Arkitekturdelen senere i dette innlegget gir flere detaljer om modellenes livssyklus.
Generering av strømbuddata
På timebasis predikerer løsningen de optimale mengder og priser som kraft skal tilbys på markedet til – også kalt bud. Mengder måles i MW og priser måles i $/MW. Bud genereres for flere kombinasjoner av spådde og oppfattede markedsforhold. Tabellen nedenfor viser et eksempel på finalen budkurve utgang for driftstime 17 på en illustrativ handelsnode nær Marubenis kontor i Los Angeles.
Dato | time | marked | Sted | MW | Pris |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 8 | $230.15 |
Dette eksemplet representerer vår vilje til å by på 1.65 MW kraft hvis kraftprisen er minst $80.79, 5.15 MW hvis kraftprisen er minst $105.34, og 8 MW hvis kraftprisen er minst $230.15.
Uavhengige systemoperatører (ISOer) overvåker elektrisitetsmarkedene i USA og er ansvarlige for å tildele og avvise bud for å opprettholde det elektriske nettets pålitelighet på den mest økonomiske måten. California Independent System Operator (CAISO) driver strømmarkeder i California og publiserer markedsresultater hver time før neste budvindu. Ved å kryssreferanser gjeldende markedsforhold med tilsvarende på kurven, er analytikere i stand til å konkludere med optimal inntekt. Power Bid Optimization-løsningen oppdaterer fremtidige bud ved å bruke ny innkommende markedsinformasjon og nye modellprediktive utdata
AWS-arkitekturoversikt
Løsningsarkitekturen illustrert i den følgende figuren implementerer alle lagene presentert tidligere. Den bruker følgende AWS-tjenester som en del av løsningen:
- Amazon enkel lagringstjeneste (Amazon S3) for å lagre følgende data:
- Priser, vær og lastmeldingsdata fra ulike kilder.
- Konsoliderte og utvidede data klare til å brukes til modelltrening.
- Utgangsbudkurver oppdateres hver time.
- Amazon SageMaker å trene, teste og distribuere modeller for å levere optimaliserte bud gjennom sluttpunkter.
- AWS trinnfunksjoner å orkestrere både data- og ML-rørledningene. Vi bruker to statsmaskiner:
- Én statsmaskin for å orkestrere datainnsamling og sikre at alle kilder er inntatt.
- Én statsmaskin for å orkestrere ML-rørledningen samt den optimaliserte arbeidsflyten for budgivning.
- AWS Lambda for å implementere inntaks-, forbehandlings- og etterbehandlingsfunksjonalitet:
- Tre funksjoner for å innta inndatastrømmer, med én funksjon per kilde.
- En funksjon for å konsolidere og forberede dataene for trening.
- En funksjon som genererer prisprognosen ved å kalle modellens endepunkt utplassert i SageMaker.
- Amazonas Athena å gi utviklere og forretningsanalytikere SQL-tilgang til de genererte dataene for analyse og feilsøking.
- Amazon EventBridge for å utløse datainntaket og ML-pipeline på en tidsplan og som svar på hendelser.
I de følgende avsnittene diskuterer vi arbeidsflyten mer detaljert.
Datainnsamling og forberedelse
Hver time aktiveres tilstandsmaskinen for dataforberedelse Step Functions. Den kaller hver av datainntaksfunksjonene for Lambda parallelt, og venter på at alle fire skal fullføres. Datainnsamlingsfunksjonene kaller deres respektive kilde-API og henter data for den siste timen. Hver funksjon lagrer deretter de mottatte dataene i deres respektive S3-bøtte.
Disse funksjonene deler en felles implementeringsgrunnlinje som gir byggeklosser for standard datamanipulering som normalisering eller indeksering. For å få til dette bruker vi Lambdalag og AWS kalk, som beskrevet i Bruke AWS Lambda Layers med AWS Chalice. Dette sikrer at alle utviklere bruker de samme basisbibliotekene for å bygge nye dataforberedelseslogikker og fremskynder implementeringen.
Etter at alle fire kildene er inntatt og lagret, utløser tilstandsmaskinen lambda-funksjonen for dataforberedelse. Strømpris, vær og belastningsprognosedata mottas i JSON og tegndelte filer. Hver postdel av hver fil har et tidsstempel som brukes til å konsolidere datastrømmer til ett datasett som dekker en tidsramme på 1 time.
Denne konstruksjonen gir en fullstendig hendelsesdrevet arbeidsflyt. Forberedelse av treningsdata igangsettes så snart alle forventede data er inntatt.
ML-rørledning
Etter dataforberedelse lagres de nye datasettene i Amazon S3. En EventBridge-regel utløser ML-rørledningen gjennom en tilstandsmaskin for trinnfunksjoner. Statsmaskinen driver to prosesser:
- Sjekk om budkurvegenereringsmodellen er gjeldende
- Utløs automatisk modellomopplæring når ytelsen reduseres eller modellene er eldre enn et visst antall dager
Hvis alderen til den for øyeblikket utplasserte modellen er eldre enn det siste datasettet med en viss terskel – for eksempel 7 dager – starter Step Functions-tilstandsmaskinen SageMaker-pipelinen som trener, tester og distribuerer et nytt inferensendepunkt. Hvis modellene fortsatt er oppdatert, hopper arbeidsflyten over ML-pipelinen og går videre til budgenereringstrinnet. Uavhengig av tilstanden til modellen, genereres en ny budkurve ved levering av et nytt timedatasett. Følgende diagram illustrerer denne arbeidsflyten. Som standard er StartPipelineExecution
handlingen er asynkron. Vi kan la statsmaskinen vente på slutten av rørledningen før vi påkaller budgenereringstrinnet ved å bruke 'Vent på tilbakeringing'alternativet.
For å redusere kostnadene og tiden til markedet i å bygge en pilotløsning brukte Marubeni Amazon SageMaker Serverless Inference. Dette sikrer at den underliggende infrastrukturen som brukes til opplæring og distribusjon, kun påløper kostnader når det er nødvendig. Dette gjør også prosessen med å bygge rørledningen enklere fordi utviklere ikke lenger trenger å administrere infrastrukturen. Dette er et flott alternativ for arbeidsmengder som har inaktive perioder mellom trafikkspurtene. Etter hvert som løsningen modnes og går over i produksjon, vil Marubeni gjennomgå designet og ta i bruk en konfigurasjon som er mer egnet for forutsigbar og jevn bruk.
Budgenerering og dataspørring
Lambda-funksjonen for budgenerering påkaller med jevne mellomrom inferensendepunktet for å generere timeprediksjoner og lagrer utdataene i Amazon S3.
Utviklere og forretningsanalytikere kan deretter utforske dataene ved å bruke Athena og Microsoft Power BI for visualisering. Dataene kan også gjøres tilgjengelige via API til nedstrøms forretningsapplikasjoner. I pilotfasen konsulterer operatører budkurven visuelt for å støtte deres krafttransaksjonsaktiviteter på markeder. Marubeni vurderer imidlertid å automatisere denne prosessen i fremtiden, og denne løsningen gir det nødvendige grunnlaget for å gjøre det.
konklusjonen
Denne løsningen gjorde det mulig for Marubeni å fullautomatisere sine databehandlings- og inntakspipelines samt redusere deres prediktive og optimaliseringsmodellers distribusjonstid fra timer til minutter. Budkurver genereres nå automatisk og holdes oppdatert etter hvert som markedsforholdene endres. De realiserte også en kostnadsreduksjon på 80 % når de byttet fra et klargjort sluttpunkt til et serverløst endepunkt.
MPIIs prognoseløsning er et av de siste digitale transformasjonsinitiativene Marubeni Corporation lanserer i kraftsektoren. MPII planlegger å bygge flere digitale løsninger for å støtte nye kraftforretningsplattformer. MPII kan stole på AWS-tjenester for å støtte deres digitale transformasjonsstrategi på tvers av mange bruksområder.
"Vi kan fokusere på å administrere verdikjeden for nye forretningsplattformer, vel vitende om at AWS administrerer den underliggende digitale infrastrukturen til løsningene våre."
– Hernan Figueroa, Sr. Manager Data Science ved Marubeni Power International.
For mer informasjon om hvordan AWS hjelper energiorganisasjoner i deres digitale transformasjons- og bærekraftinitiativer, se AWS energi.
Marubeni Power International er et datterselskap av Marubeni Corporation. Marubeni Corporation er et stort japansk handels- og investeringskonglomerat. Marubeni Power Internationals misjon er å utvikle nye forretningsplattformer, vurdere nye energitrender og teknologier og administrere Marubenis kraftportefølje i Amerika. Hvis du vil vite mer om Marubeni Power, sjekk ut https://www.marubeni-power.com/.
Om forfatterne
Hernan Figueroa leder de digitale transformasjonsinitiativene hos Marubeni Power International. Teamet hans bruker datavitenskap og digital teknologi for å støtte Marubeni Power-vekststrategier. Før han begynte i Marubeni, var Hernan dataforsker ved Columbia University. Han har en Ph.D. i elektroteknikk og en BS i datateknikk.
Lino Brescia er en hovedkontoleder basert i NYC. Han har over 25 års teknologierfaring og har sluttet seg til AWS i 2018. Han administrerer globale bedriftskunder mens de transformerer virksomheten sin med AWS skytjenester og utfører store migrasjoner.
Narcisse Zekpa er en Sr. Solutions Architect med base i Boston. Han hjelper kunder i Nordøst-USA med å akselerere forretningstransformasjonen gjennom innovative og skalerbare løsninger på AWS Cloud. Når Narcisse ikke bygger, liker han å tilbringe tid med familien, reise, lage mat, spille basketball og løpe.
Pedram Jahangiri er en Enterprise Solution Architect med AWS, med doktorgrad i elektroteknikk. Han har 10+ års erfaring fra energi- og IT-bransjen. Pedram har mange års praktisk erfaring i alle aspekter av Advanced Analytics for å bygge kvantitative og storskala løsninger for bedrifter ved å utnytte skyteknologier.
Sarah Childers er en Account Manager basert i Washington DC. Hun er en tidligere vitenskapslærer som ble skyentusiast med fokus på å støtte kunder gjennom deres skyreise. Sarah liker å jobbe sammen med et motivert team som oppmuntrer til varierte ideer for å utstyre kundene best mulig med de mest innovative og omfattende løsningene.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :er
- $OPP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- I stand
- Om oss
- akselerere
- adgang
- aksesseres
- Logg inn
- Oppnå
- tvers
- Handling
- Aktiviteter
- Ytterligere
- adresse
- adoptere
- avansere
- avansert
- Fordel
- algoritmer
- Alle
- allokering
- sammen
- Amazon
- Amazon SageMaker
- Americas
- beløp
- analyse
- analytikere
- analytics
- og
- Angeles
- api
- APIer
- søknader
- arkitektur
- ER
- ankomst
- AS
- aspekter
- eiendel
- Kapitalforvaltning
- Eiendeler
- At
- augmented
- Autentisering
- automatisere
- automatisk
- Automatisere
- tilgjengelig
- gjennomsnittlig
- AWS
- AWS Lambda
- AWS maskinlæring
- Balansere
- basen
- basert
- Baseline
- basis
- basketball
- BE
- fordi
- bli
- før du
- være
- BEST
- mellom
- bud
- Blocks
- boston
- bred
- bygge
- Bygning
- virksomhet
- Business Applications
- Forretningstransformasjon
- Kjøpe
- by
- california
- ring
- som heter
- ringer
- Samtaler
- CAN
- kan ikke
- evner
- stand
- karbon
- saken
- saker
- viss
- kjede
- endring
- endring
- karakter
- avgifter
- sjekk
- Cloud
- skytjenester
- samling
- Columbia
- kombinasjoner
- kombinere
- Felles
- fullføre
- komponenter
- omfattende
- datamaskin
- Datateknikk
- forhold
- Konfigurasjon
- konglomerat
- forbinder
- Vurder
- vurderer
- konsolidere
- stadig
- begrensninger
- konstruere
- forbrukes
- forbruk
- kontinuerlig
- matlaging
- SELSKAP
- Kostnad
- kostnadsreduksjon
- kostnadseffektiv
- dekke
- dekker
- kritisk
- kryssreferanser
- kuratert
- Gjeldende
- I dag
- skjøger
- Kunder
- tilpasse
- dato
- Data Lake
- Dataklargjøring
- databehandling
- datavitenskap
- dataforsker
- datalagring
- data-drevet
- datasett
- Dato
- dag
- dc
- Beslutningstaking
- avgjørelser
- Misligholde
- levering
- Etterspørsel
- utplassere
- utplassert
- utplasserings
- distribusjon
- distribusjoner
- Distribueres
- beskrevet
- beskrivelse
- utforming
- detalj
- detaljer
- utvikle
- utviklere
- forskjellig
- digitalt
- Digital Transformation
- diskutere
- uensartede
- diversifisert
- under
- dynamisk
- hver enkelt
- Tidligere
- enklere
- lett
- Elektrisk
- elektroteknikk
- elektrisitet
- muliggjøre
- aktivert
- muliggjør
- oppmuntrer
- Endpoint
- energi
- Motor
- Ingeniørarbeid
- sikre
- sikrer
- Enterprise
- bedriftskunder
- bedrifter
- entusiast
- Miljø
- miljøer
- Tilsvarende
- Eter (ETH)
- hendelser
- Hver
- eksempel
- utelukkende
- utøvende
- forventet
- erfaring
- utforske
- utvendig
- familie
- Hentet
- Figur
- filet
- Filer
- slutt~~POS=TRUNC
- Fokus
- fokuserte
- etter
- Til
- Varsel
- Tidligere
- Foundations
- RAMME
- fersk
- fra
- fullt
- funksjon
- funksjonalitet
- funksjoner
- videre
- framtid
- generere
- generert
- genererer
- generasjonen
- Global
- Go
- flott
- Grid
- Vekst
- hands-on
- Ha
- hjelpe
- hjelper
- holder
- TIMER
- Hvordan
- Hvordan
- Men
- HTML
- HTTPS
- Ideer
- Idle
- iverksette
- gjennomføring
- redskaper
- viktig
- in
- inkludere
- inkludert
- inkluderer
- Innkommende
- Øke
- uavhengig
- industri
- informasjon
- Infrastruktur
- initiativer
- innovative
- inngang
- intern
- internasjonalt
- Interoperabilitet
- investering
- investerer
- påkaller
- involvert
- IT
- IT-bransjen
- DET ER
- Japansk
- Jobb
- ble med
- sammenføyning
- reise
- jpg
- JSON
- Kicks
- Vet
- Knowing
- innsjø
- storskala
- siste
- lansere
- lag
- lag
- Fører
- LÆRE
- læring
- utnytte
- bibliotekene
- Livssyklus
- i likhet med
- grenser
- laste
- laster
- Lang
- lenger
- den
- Los Angeles
- tap
- maskin
- maskinlæring
- maskiner
- laget
- vedlikeholde
- større
- GJØR AT
- administrer
- ledelse
- leder
- forvalter
- administrerende
- Manipulasjon
- mange
- marked
- markedsforhold
- Markets
- modnes
- Maksimer
- mekanisme
- Minne
- Microsoft
- minimere
- minutter
- Oppdrag
- ML
- Mote
- modell
- modellering
- modeller
- modifisert
- mer
- mest
- motivert
- trekk
- flere
- Nær
- nødvendig
- Trenger
- nødvendig
- behov
- Ny
- neste
- node
- Antall
- NYC
- Målet
- få
- of
- tilbudt
- Office
- on
- ONE
- opererer
- drift
- drift
- operasjonell
- operatør
- operatører
- optimal
- optimalisering
- optimalisert
- optimalisere
- Alternativ
- organisasjoner
- Annen
- produksjon
- eier
- Parallel
- del
- deltakere
- deltakelse
- Past
- oppfattet
- utføre
- ytelse
- perioder
- fase
- pilot
- rørledning
- planer
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- Spille
- spiller
- portefølje
- Post
- makt
- Power BI
- Strømforsyning
- Forutsigbar
- spådd
- forutsi
- prediksjon
- Spådommer
- spår
- Forbered
- presentert
- pris
- prisvarsel
- Prisene
- Principal
- Før
- problemer
- prosess
- Prosesser
- prosessering
- Produksjon
- lønnsomhet
- fortjeneste
- proprietær
- gi
- gir
- Utgivelse
- utgir
- kvalitet
- kvantitativ
- klar
- sanntids
- realisert
- mottatt
- nylig
- rekord
- redusere
- Uansett
- pålitelighet
- avhengige
- Fornybar
- fornybar energi
- representerer
- påkrevd
- Krever
- de
- svar
- ansvarlig
- responsive
- Resultater
- omskolering
- inntekter
- anmeldelse
- Risiko
- robust
- Rolle
- roller
- Regel
- Kjør
- rennende
- s
- sagemaker
- samme
- skalerbar
- planlegge
- Vitenskap
- Forsker
- Seksjon
- seksjoner
- sektor
- Å Sell
- betjene
- server~~POS=TRUNC
- Tjenester
- sett
- Del
- kortsiktig
- bør
- Viser
- Enkelt
- samtidig
- enkelt
- So
- løsning
- Solutions
- noen
- Snart
- kilde
- Kilder
- Sourcing
- spesifikk
- hastigheter
- utgifter
- SQL
- Standard
- Tilstand
- jevn
- Trinn
- Steps
- Still
- lagring
- oppbevare
- lagret
- butikker
- strategier
- Strategi
- styrke
- send
- innsendt
- datterselskap
- slik
- levere
- Tilbud og etterspørsel
- støtte
- Støtte
- Støtter
- Bærekraft
- system
- bord
- Ta
- lag
- teknikker
- Technologies
- Teknologi
- tensorflow
- test
- tester
- Det
- De
- Fremtiden
- Staten
- deres
- derfor
- Disse
- Gjennom
- tid
- tidsstempel
- til
- trading
- trafikk
- Tog
- Kurs
- Togene
- Transaksjonen
- Transform
- Transformation
- Transformasjonsstrategi
- overganger
- Traveling
- Trender
- utløse
- snudde
- typer
- oss
- underliggende
- universitet
- oppdateringer
- Oppstrøms data
- us
- bruk
- bruke
- bruk sak
- verdi
- ulike
- versjon
- av
- visualisering
- vente
- washington
- Washington DC
- Vei..
- Vær
- VI VIL
- hvilken
- vil
- Villighet
- med
- innenfor
- arbeidsflyt
- arbeid
- ville
- år
- zephyrnet