Det här inlägget är skrivet tillsammans med Hernan Figueroa, Sr. Manager Data Science på Marubeni Power International.
Marubeni Power International Inc (MPII) äger och investerar i kraftaffärsplattformar i Amerika. En viktig vertikal för MPII är tillgångsförvaltning för förnybar energi och energilagringstillgångar, som är avgörande för att minska kolintensiteten i vår kraftinfrastruktur. Att arbeta med förnybara krafttillgångar kräver prediktiva och lyhörda digitala lösningar, eftersom förnybar energiproduktion och villkoren på elmarknaden ständigt förändras. MPII använder en maskininlärningsmotor (ML) för budoptimering för att informera uppströms beslutsprocesser inom energitillgångshantering och handel. Den här lösningen hjälper marknadsanalytiker att designa och utföra datadrivna budgivningsstrategier optimerade för krafttillgångars lönsamhet.
I det här inlägget kommer du att lära dig hur Marubeni optimerar marknadsbeslut genom att använda den breda uppsättningen av AWS-analyser och ML-tjänster, för att bygga en robust och kostnadseffektiv Power Bid Optimization-lösning.
Lösningsöversikt
Elmarknader gör det möjligt för handel med kraft och energi att balansera krafttillgång och efterfrågan i elnätet och för att täcka olika elnäts tillförlitlighetsbehov. Marknadsaktörer, såsom MPII-tillgångsoperatörer, bjuder ständigt på kraft och energikvantiteter till dessa elmarknader för att få vinster från sina krafttillgångar. En marknadsdeltagare kan lämna bud till olika marknader samtidigt för att öka lönsamheten för en tillgång, men den måste ta hänsyn till tillgångens effektgränser och svarshastigheter samt andra tillgångars driftsbegränsningar och interoperabiliteten på dessa marknader.
MPII:s budoptimeringsmotorlösning använder ML-modeller för att generera optimala bud för deltagande på olika marknader. De vanligaste buden är day-ahead-energibud, som ska lämnas 1 dag före den faktiska handelsdagen, och energibud i realtid, som ska lämnas 75 minuter före börstid. Lösningen orkestrerar den dynamiska budgivningen och driften av en krafttillgång och kräver användning av optimerings- och prediktiva möjligheter som finns tillgängliga i dess ML-modeller.
Power Bid Optimization-lösningen innehåller flera komponenter som spelar specifika roller. Låt oss gå igenom de inblandade komponenterna och deras respektive affärsfunktion.
Datainsamling och intag
Datainsamlings- och inmatningsskiktet ansluter till alla uppströmsdatakällor och laddar in data i datasjön. Budgivning på elmarknaden kräver minst fyra typer av input:
- Prognoser för efterfrågan på el
- Väderprognoser
- Marknadsprishistorik
- Kraftprisprognoser
Dessa datakällor nås uteslutande via API:er. Därför måste inmatningskomponenterna kunna hantera autentisering, datakälla i pull-läge, dataförbehandling och datalagring. Eftersom data hämtas varje timme krävs också en mekanism för att orkestrera och schemalägga inmatningsjobb.
Dataförberedelse
Som med de flesta ML-användningsfall spelar dataförberedelse en avgörande roll. Data kommer från olika källor i ett antal format. Innan den är redo att konsumeras för ML-modellutbildning måste den gå igenom några av följande steg:
- Konsolidera datauppsättningar per timme baserat på ankomsttid. En komplett datauppsättning måste innehålla alla källor.
- Öka kvaliteten på data genom att använda tekniker som standardisering, normalisering eller interpolation.
I slutet av denna process iscensätts de kurerade uppgifterna och görs tillgängliga för vidare konsumtion.
Modellutbildning och distribution
Nästa steg består av att utbilda och implementera en modell som kan förutsäga optimala marknadsbud för att köpa och sälja energi. För att minimera risken för underprestation använde Marubeni ensemblemodelleringstekniken. Ensemblemodellering består av att kombinera flera ML-modeller för att förbättra förutsägelseprestanda. Marubeni sammanställer utdata från externa och interna prediktionsmodeller med ett vägt medelvärde för att dra fördel av styrkan hos alla modeller. Marubenis interna modeller är baserade på Long Short-Term Memory (LSTM) arkitekturer, som är väldokumenterade och lätta att implementera och anpassa i TensorFlow. Amazon SageMaker stöder TensorFlow-distributioner och många andra ML-miljöer. Den externa modellen är proprietär och dess beskrivning kan inte inkluderas i det här inlägget.
I Marubenis användningsfall utför budgivningsmodellerna numerisk optimering för att maximera intäkterna med hjälp av en modifierad version av de objektiva funktionerna som används i publikationen Möjligheter till energilagring i CAISO.
SageMaker gör det möjligt för Marubeni att köra ML och numeriska optimeringsalgoritmer i en enda miljö. Detta är kritiskt, eftersom under den interna modellträningen används utsignalen från den numeriska optimeringen som en del av prediktionsförlustfunktionen. För mer information om hur man hanterar numeriska optimeringsanvändningsfall, se Lösa numeriska optimeringsproblem som schemaläggning, dirigering och tilldelning med Amazon SageMaker Processing.
Vi distribuerar sedan dessa modeller genom slutpunkter. Eftersom färsk data intas med jämna mellanrum måste modellerna omskolas eftersom de blir inaktuella med tiden. Arkitekturavsnittet längre fram i detta inlägg ger mer information om modellernas livscykel.
Generering av energibuddata
På timbasis förutsäger lösningen de optimala kvantiteter och priser till vilka kraft ska erbjudas på marknaden – även kallat bud. Mängder mäts i MW och priser mäts i $/MW. Bud genereras för flera kombinationer av förutspådda och upplevda marknadsförhållanden. Följande tabell visar ett exempel på finalen budkurva utgång för drifttimme 17 vid en illustrativ handelsnod nära Marubenis kontor i Los Angeles.
Datum | timme | marknad | Plats | MW | Pris |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 0 | $0 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 1.65 | $80.79 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 5.15 | $105.34 |
11/7/2022 | 17 | RT Energi | LCIENEGA_6_N001 | 8 | $230.15 |
Det här exemplet representerar vår vilja att bjuda 1.65 MW effekt om kraftpriset är minst $80.79, 5.15 MW om kraftpriset är minst $105.34, och 8 MW om kraftpriset är minst $230.15.
Oberoende systemoperatörer (ISO) övervakar elmarknaderna i USA och ansvarar för att tilldela och avslå anbud för att upprätthålla elnätets tillförlitlighet på det mest ekonomiska sättet. California Independent System Operator (CAISO) driver elmarknader i Kalifornien och publicerar marknadsresultat varje timme innan nästa budgivningsperiod. Genom att korsreferensera nuvarande marknadsförhållanden med deras motsvarighet på kurvan kan analytiker dra slutsatser om optimala intäkter. Power Bid Optimization-lösningen uppdaterar framtida bud med hjälp av ny inkommande marknadsinformation och nya modellförutsägande utdata
AWS arkitektur översikt
Lösningsarkitekturen som illustreras i följande figur implementerar alla lager som presenterats tidigare. Den använder följande AWS-tjänster som en del av lösningen:
- Amazon enkel lagringstjänst (Amazon S3) för att lagra följande data:
- Prissättning, väder och ladda prognosdata från olika källor.
- Konsoliderad och utökad data redo att användas för modellträning.
- Output budkurvor uppdateras varje timme.
- Amazon SageMaker att träna, testa och distribuera modeller för att leverera optimerade bud genom slutpunkter.
- AWS stegfunktioner att orkestrera både data- och ML-pipelines. Vi använder två tillståndsmaskiner:
- En tillståndsmaskin för att organisera datainsamling och säkerställa att alla källor har tagits in.
- En tillståndsmaskin för att orkestrera ML-pipelinen samt det optimerade arbetsflödet för budgivningsgenerering.
- AWS Lambda för att implementera intag, förbearbetning och efterbearbetningsfunktioner:
- Tre funktioner för att mata in indataflöden, med en funktion per källa.
- En funktion för att konsolidera och förbereda data för utbildning.
- En funktion som genererar prisprognosen genom att anropa modellens slutpunkt utplacerad inom SageMaker.
- Amazonas Athena att ge utvecklare och affärsanalytiker SQL-åtkomst till genererad data för analys och felsökning.
- Amazon EventBridge för att trigga dataintag och ML-pipeline enligt ett schema och som svar på händelser.
I de följande avsnitten diskuterar vi arbetsflödet mer i detalj.
Datainsamling och förberedelse
Varje timme anropas tillståndsmaskinen för databeredningen Steg Funktioner. Den anropar var och en av dataintagsfunktionerna för Lambda parallellt och väntar på att alla fyra ska slutföras. Datainsamlingsfunktionerna anropar respektive käll-API och hämtar data för den senaste timmen. Varje funktion lagrar sedan mottagen data i sin respektive S3-bucket.
Dessa funktioner delar en gemensam implementeringsbaslinje som tillhandahåller byggstenar för standarddatamanipulering som normalisering eller indexering. För att uppnå detta använder vi Lambda-lager och AWS kalk, som beskrivs i Använda AWS Lambda Layers med AWS Chalice. Detta säkerställer att alla utvecklare använder samma basbibliotek för att bygga nya dataförberedande logiker och påskyndar implementeringen.
Efter att alla fyra källorna har intagits och lagrats utlöser tillståndsmaskinen databeredningens lambda-funktion. Energipris, väder och belastningsprognosdata tas emot i JSON och teckenavgränsade filer. Varje postdel av varje fil har en tidsstämpel som används för att konsolidera dataflöden till en datauppsättning som täcker en tidsram på 1 timme.
Denna konstruktion ger ett helt händelsestyrt arbetsflöde. Förberedelse av träningsdata initieras så snart all förväntad data är intagen.
ML-rörledning
Efter databeredning lagras de nya datamängderna i Amazon S3. En EventBridge-regel utlöser ML-pipelinen genom en tillståndsmaskin för stegfunktioner. Tillståndsmaskinen driver två processer:
- Kontrollera om budkurvans genereringsmodell är aktuell
- Utlöser automatiskt modellomskolning när prestandan försämras eller modellerna är äldre än ett visst antal dagar
Om åldern på den för närvarande distribuerade modellen är äldre än den senaste datamängden med en viss tröskel – säg 7 dagar – startar Step Functions-tillståndsmaskinen SageMaker-pipelinen som tränar, testar och distribuerar en ny slutpunkt för slutledning. Om modellerna fortfarande är uppdaterade hoppar arbetsflödet över ML-pipelinen och går vidare till budgenereringssteget. Oavsett modellens tillstånd genereras en ny budkurva vid leverans av en ny timuppsättning. Följande diagram illustrerar detta arbetsflöde. Som standard är StartPipelineExecution
åtgärden är asynkron. Vi kan låta tillståndsmaskinen vänta på slutet av pipelinen innan vi anropar budgenereringssteget genom att använda 'Vänta på återuppringningalternativet.
För att minska kostnaden och tiden till marknaden för att bygga en pilotlösning använde Marubeni Amazon SageMaker Serverless Inference. Detta säkerställer att den underliggande infrastrukturen som används för utbildning och driftsättning ådras avgifter endast när det behövs. Detta gör också processen att bygga pipeline enklare eftersom utvecklare inte längre behöver hantera infrastrukturen. Detta är ett utmärkt alternativ för arbetsbelastningar som har inaktiva perioder mellan trafiksprutorna. När lösningen mognar och övergår till produktion kommer Marubeni att se över sin design och anta en konfiguration som är mer lämpad för förutsägbar och stadig användning.
Budgenerering och dataförfrågan
Lambda-funktionen för budgenerering anropar med jämna mellanrum slutpunkten för slutpunkten för att generera timförutsägelser och lagrar utdata i Amazon S3.
Utvecklare och affärsanalytiker kan sedan utforska data med Athena och Microsoft Power BI för visualisering. Data kan också göras tillgänglig via API för nedströms affärsapplikationer. I pilotfasen konsulterar operatörer budkurvan visuellt för att stödja deras krafttransaktionsaktiviteter på marknaderna. Marubeni överväger dock att automatisera denna process i framtiden, och denna lösning ger den nödvändiga grunden för att göra det.
Slutsats
Denna lösning gjorde det möjligt för Marubeni att helt automatisera sina pipelines för databearbetning och inmatning samt minska deras förutsägelse- och optimeringsmodellers implementeringstid från timmar till minuter. Budkurvor genereras nu automatiskt och hålls uppdaterade när marknadsförhållandena förändras. De insåg också en kostnadsminskning på 80 % när de bytte från en tillhandahållen slutpunkt till en serverlös slutpunkt.
MPIIs prognoslösning är ett av de senaste initiativen för digital transformation som Marubeni Corporation lanserar inom kraftsektorn. MPII planerar att bygga ytterligare digitala lösningar för att stödja nya kraftfulla affärsplattformar. MPII kan lita på AWS-tjänster för att stödja deras digitala transformationsstrategi i många användningsfall.
"Vi kan fokusera på att hantera värdekedjan för nya affärsplattformar, med vetskapen om att AWS hanterar den underliggande digitala infrastrukturen för våra lösningar."
– Hernan Figueroa, Senior Manager Data Science på Marubeni Power International.
För mer information om hur AWS hjälper energiorganisationer i deras digitala transformations- och hållbarhetsinitiativ, se AWS energi.
Marubeni Power International är ett dotterbolag till Marubeni Corporation. Marubeni Corporation är ett stort japanskt handels- och investeringskonglomerat. Marubeni Power Internationals uppdrag är att utveckla nya affärsplattformar, utvärdera nya energitrender och teknologier och hantera Marubenis kraftportfölj i Amerika. Om du vill veta mer om Marubeni Power, kolla in https://www.marubeni-power.com/.
Om författarna
Hernan Figueroa leder de digitala transformationsinitiativen på Marubeni Power International. Hans team tillämpar datavetenskap och digital teknik för att stödja Marubeni Powers tillväxtstrategier. Innan Hernan började på Marubeni var han dataforskare vid Columbia University. Han har en Ph.D. i elektroteknik och en kandidatexamen i datateknik.
Lino Brescia är en Principal Account Executive baserad i NYC. Han har över 25 års teknikerfarenhet och har gått med i AWS 2018. Han hanterar globala företagskunder när de omvandlar sin verksamhet med AWS molntjänster och utför storskaliga migreringar.
Narcisse Zekpa är en Sr. Solutions Architect baserad i Boston. Han hjälper kunder i nordöstra USA att påskynda sin affärstransformation genom innovativa och skalbara lösningar på AWS-molnet. När Narcisse inte bygger tycker han om att spendera tid med sin familj, resa, laga mat, spela basket och springa.
Pedram Jahangiri är en Enterprise Solution Architect med AWS, med en doktorsexamen i elektroteknik. Han har 10+ års erfarenhet inom energi- och IT-branschen. Pedram har många års praktisk erfarenhet av alla aspekter av Advanced Analytics för att bygga kvantitativa och storskaliga lösningar för företag genom att utnyttja molnteknologier.
Sarah Childers är en Account Manager baserad i Washington DC. Hon är en före detta vetenskapsutbildare som blivit molnentusiast fokuserad på att stödja kunder genom deras molnresa. Sarah tycker om att arbeta tillsammans med ett motiverat team som uppmuntrar diversifierade idéer för att på bästa sätt utrusta kunderna med de mest innovativa och heltäckande lösningarna.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/
- :är
- $UPP
- 1
- 10
- 100
- 2018
- 7
- 8
- a
- Able
- Om oss
- accelerera
- tillgång
- Accessed
- Konto
- Uppnå
- tvärs
- Handling
- aktiviteter
- Annat
- adress
- anta
- avancera
- avancerat
- Fördel
- algoritmer
- Alla
- fördelning
- vid sidan av
- amason
- Amazon SageMaker
- Americas
- mängd
- analys
- analytiker
- analytics
- och
- Angeles
- api
- API: er
- tillämpningar
- arkitektur
- ÄR
- ankomst
- AS
- aspekter
- tillgång
- Kapitalförvaltning
- Tillgångar
- At
- augmented
- Autentisering
- automatisera
- automatiskt
- automatisera
- tillgänglig
- genomsnitt
- AWS
- AWS Lambda
- AWS maskininlärning
- Balansera
- bas
- baserat
- Baslinje
- grund
- Basketboll
- BE
- därför att
- blir
- innan
- Där vi får lov att vara utan att konstant prestera,
- BÄST
- mellan
- bud
- Block
- boston
- bred
- SLUTRESULTAT
- Byggnad
- företag
- Business Applications
- Affärstransformation
- Uppköp
- by
- kalifornien
- Ring
- kallas
- anropande
- Samtal
- KAN
- kan inte
- kapacitet
- kapabel
- kol
- Vid
- fall
- vissa
- kedja
- byta
- byte
- karaktär
- avgifter
- ta
- cloud
- molntjänster
- samling
- Columbia
- kombinationer
- kombinera
- Gemensam
- fullborda
- komponenter
- omfattande
- dator
- Datorteknik
- villkor
- konfiguration
- konglomerat
- ansluter
- Tänk
- med tanke på
- konsolidera
- ständigt
- begränsningar
- konstruera
- konsumeras
- konsumtion
- kontinuerligt
- kokning
- FÖRETAG
- Pris
- kostnadsminskning
- kostnadseffektiv
- täcka
- beläggning
- kritisk
- korsreferenser
- kurerad
- Aktuella
- För närvarande
- kurva
- Kunder
- skräddarsy
- datum
- datasjö
- Förberedelse av data
- databehandling
- datavetenskap
- datavetare
- datalagring
- data driven
- datauppsättningar
- Datum
- dag
- dc
- Beslutsfattande
- beslut
- Standard
- leverans
- Efterfrågan
- distribuera
- utplacerade
- utplacera
- utplacering
- distributioner
- vecklas ut
- beskriven
- beskrivning
- Designa
- detalj
- detaljer
- utveckla
- utvecklare
- olika
- digital
- digital Transformation
- diskutera
- disparat
- diversifierad
- under
- dynamisk
- varje
- Tidigare
- lättare
- lätt
- elektriska
- elektroteknik
- el
- möjliggöra
- aktiverad
- möjliggör
- uppmuntrar
- Slutpunkt
- energi
- Motor
- Teknik
- säkerställa
- säkerställer
- Företag
- företagskunder
- företag
- entusiast
- Miljö
- miljöer
- Motsvarande
- Eter (ETH)
- händelser
- Varje
- exempel
- uteslutande
- verkställande
- förväntat
- erfarenhet
- utforska
- extern
- familj
- Hämtas
- Figur
- Fil
- Filer
- slutlig
- Fokus
- fokuserade
- efter
- För
- Prognos
- Tidigare
- Stiftelser
- RAM
- färsk
- från
- fullständigt
- fungera
- funktionalitet
- funktioner
- ytterligare
- framtida
- generera
- genereras
- genererar
- generering
- Välgörenhet
- Go
- stor
- Rutnät
- Tillväxt
- praktisk
- Har
- hjälpa
- hjälper
- innehar
- ÖPPETTIDER
- Hur ser din drömresa ut
- How To
- Men
- html
- HTTPS
- idéer
- Idle
- genomföra
- genomförande
- redskap
- med Esport
- in
- innefattar
- ingår
- innefattar
- Inkommande
- Öka
- oberoende
- industrin
- informationen
- Infrastruktur
- initiativ
- innovativa
- ingång
- inre
- Internationell
- Interoperabilitet
- investering
- investerar
- anropar
- involverade
- IT
- IT-branschen
- DESS
- japanska
- Lediga jobb
- fogade
- sammanfogning
- resa
- jpg
- json
- Kicks
- Vet
- Menande
- sjö
- storskalig
- senaste
- lansera
- lager
- skikt
- Leads
- LÄRA SIG
- inlärning
- hävstångs
- bibliotek
- livscykel
- tycka om
- gränser
- läsa in
- laster
- Lång
- längre
- den
- Los Angeles
- förlust
- Maskinen
- maskininlärning
- Maskiner
- gjord
- bibehålla
- större
- GÖR
- hantera
- ledning
- chef
- förvaltar
- hantera
- Manipulation
- många
- marknad
- Marknadsvillkor
- Marknader
- mognar
- Maximera
- mekanism
- Minne
- Microsoft
- minimera
- minuter
- Mission
- ML
- Mode
- modell
- modellering
- modeller
- modifierad
- mer
- mest
- motiverad
- förflyttar
- multipel
- Nära
- nödvändigt för
- Behöver
- behövs
- behov
- Nya
- Nästa
- nod
- antal
- NYC
- mål
- få
- of
- erbjuds
- Office
- on
- ONE
- fungerar
- drift
- drift
- operativa
- Operatören
- operatörer
- optimala
- optimering
- optimerad
- optimera
- Alternativet
- organisationer
- Övriga
- produktion
- äger
- Parallell
- del
- deltagare
- deltagande
- Tidigare
- uppfattas
- utföra
- prestanda
- perioder
- fas
- Föraren
- rörledning
- planer
- Plattformar
- plato
- Platon Data Intelligence
- PlatonData
- Spela
- i
- portfölj
- Inlägg
- kraft
- Power BI
- Strömförsörjning
- Förutsägbar
- förutsagda
- förutsäga
- förutsägelse
- Förutsägelser
- Förutspår
- Förbered
- presenteras
- pris
- prisprognos
- Priser
- Principal
- Innan
- problem
- process
- processer
- bearbetning
- Produktion
- lönsamhet
- vinster
- proprietary
- ge
- ger
- Offentliggörande
- publicerar
- kvalitet
- kvantitativ
- redo
- realtid
- insåg
- mottagna
- senaste
- post
- minska
- Oavsett
- tillförlitlighet
- förlita
- Renewable
- förnybar energi
- representerar
- Obligatorisk
- Kräver
- att
- respons
- ansvarig
- mottaglig
- Resultat
- omskolning
- intäkter
- översyn
- Risk
- robusta
- Roll
- roller
- Regel
- Körning
- rinnande
- s
- sagemaker
- Samma
- skalbar
- tidtabellen
- Vetenskap
- Forskare
- §
- sektioner
- sektor
- Försäljningen
- tjänar
- Server
- Tjänster
- in
- Dela
- kortsiktigt
- skall
- Visar
- Enkelt
- samtidigt
- enda
- So
- lösning
- Lösningar
- några
- Alldeles strax
- Källa
- Källor
- Sourcing
- specifik
- hastigheter
- Spendera
- SQL
- standard
- Ange
- stadig
- Steg
- Steg
- Fortfarande
- förvaring
- lagra
- lagras
- lagrar
- strategier
- Strategi
- hållfasthet
- skicka
- lämnats
- dotterföretag
- sådana
- leverera
- Utbud och efterfrågan
- stödja
- Stödjande
- Stöder
- Hållbarhet
- system
- bord
- Ta
- grupp
- tekniker
- Tekniken
- Teknologi
- tensorflow
- testa
- tester
- den där
- Smakämnen
- Framtiden
- Staten
- deras
- därför
- Dessa
- Genom
- tid
- tidsstämpel
- till
- Handel
- trafik
- Tåg
- Utbildning
- tåg
- transaktion
- Förvandla
- Transformation
- Transformationsstrategi
- övergångar
- Traveling
- Trender
- utlösa
- vände
- typer
- oss
- underliggande
- universitet
- Uppdateringar
- Uppströmsdata
- us
- Användning
- användning
- användningsfall
- värde
- olika
- version
- via
- visualisering
- vänta
- washington
- Washington DC
- Sätt..
- Väder
- VÄL
- som
- kommer
- Villighet
- med
- inom
- arbetsflöde
- arbetssätt
- skulle
- år
- zephyrnet