Brug af Big Data i Den Digitale Energisektor

Transkript

1 Brug af Big Data i Professor Torben Bach Pedersen Center for Data-intensive Systemer (Daisy) Institut for Datalogi. Aalborg Universitet tbp@cs.aau.dk arbejder med data

2 Big Energy Data hvorfor? Samfundsudfordringer og løsninger Global opvarmning og CO2 reduktioner Energi forsyningssikkerhed reducer energiindkøb udefra Atomkraft risici og udfasning Løsning: mere energi fra vedvarende energi kilder (RES) EU mål, DK: 2020: 50% el fra RES, 2035: 100% el og varme fra RES, 2050: 100% RES i alle sektorer Effekt: fra fossil til electrisk energi Elbiler og varmepumper: bruger hver årligt som en husstand Det danske elforbrug (ikke energi) forventes tredoblet i 2050

3 Hvad er Big Energy Data? Volumen: masser af det, store data EU forbrug pr prosumer pr sec: 20+ billioner værdier/dag Og gå så til kontakter/apparater og tilføj andre typer af data Velocitet: hurtige data Realtids læsninger fra smarte målere, sensorer, Så hurtigt det ikke er sket endnu: alt bliver (gen)forudsagt Varietet: komplekse data af forskellige typer Forbrugsdata fra smarte målere, kontakter og apparater Produktionsdata fra vind, sol, Fleksibilitetsdata hvilket forbrug/produktion er (hvor) fleksibelt? Priser, vejr,

4 Digital Energisystem: Vision Hvad nu hvis? Vi kender alt data om processer/sensorer i systemet (alt er IoT) Vi kender alle apparater der bruger/producerer/lagrer energi Vi kender apparaternes opførsel og den sammenhæng de bruges i Vi kan forudsige hvordan alle (proces)tilstande udvikler sig Vi kan forudsige apparaternes brug/produktion/lagring af energi Vi kan forudsige energiforbrug og priser overalt i systemet Så kan vi optimere rigtig meget: Automatisk styring af alle apparater Optimalt tidspunkt og mængde for brug af energi Optimal omkostning for energi (ikke kun mængde) Optimal konvertering af energi (el til/fra varme ) Optimal lagring af energi (kun når nødvendigt) Optimal handel med fleksibilitet (ikke kun energi)

5 Velocity+Volume: Fast (Energy) Data Sensor time series (smart meters, wind turbines, ) Data often start in the future Long/medium/short term forecasts, more accurate make it to the present Actual sensor values and into the past Idea Historical analysis/re-forecasting Only difference btw. forecasted and real data is accuracy Use (better and better) models to represent all data: historical+future User-configurable error Model adaption instead of loading Wind turbine data: times smaller actual values model

6 TimeTravel and ModelarDB Query past and future seamlessly with SQL Exact and approximate queries Consumption for today and tomorrow with up to 5% error Hierarchical model index: Progressively lower error Seasonal, Trend, Error components, hints TimeTravel: PostgreSQL based prototype Up to 100 times smaller/faster ModelarDB: Big Data + streaming based on Spark SQL Open source based

7 Energi som vinden blæser Svingende RES energi Vind Sol Bølger/tidevand CRES 22 kwp (Greece ) Vejrforhold m.m. afgør energiproduktion Windpark 2410 kwp (Greece)

8 For lidt eller for meget energi 2008 DK Vest tal Nye DK for el fra vind, % of total 2015: 42% December 2014: 57,4% Stiger til 60% i 2025 Fremtiden er her i dag!

9 Fleksibelt forbrug kan hjælpe (Op)vaskemaskiner,.. kan køre fleksibelt Elbiler kan blive (af-) ladet fleksibelt under parkering Varmepumper fleksible indenfor temperatur interval +industri,erhverv,.. Op mod 80-85% af det fremtidige (tredoblede) forbrug er fleksibelt!

10 Energi-fleksibilitet: Flex-Offers Fleksibilitet i forbrug specificeres, med eksplicit fleksibilitet I tid, volumen, pris 1. Jeg kommer hjem kl 22 og vil have min elbil ladet op billigst muligt inden kl Min intelligente energistyring laver et flex-offer (FO) 3. Baseret på forudsigelser af vejr og elpriser bestemmer min elhandler at Foet skal starte kl Kl. 3 går elbilen i gang med at oplade hvis den ikke har fået ny besked inden kw 2h Profile t 10pm earliest starting time Flexibility interval 6 am latest starting time 8 am

11 Use Cases Balancering/peak reduction Mere grøn energi

12 Flex-offer Cycle Prescriptive Analytics (machine learning +optimization) Supply Energy Market (TSO, BRP, Aggregator) Scheduling/ Balancing Aggregation Prosumer Disaggregation Predictive Analytics (machine learning) Flexibility Modelling Demand Prediction Execute Device-level Consumption

13 Mod et bottom up energisystem Energi vil blive produceret fra neden Micro-grids Energifællesskaber Skal styres fra neden (flex-offers)

14 GOFLEX Mod 100% RES i distributionsnettet Bottom-up, lokalt energisystem Baseret på Flex-offers Horizon 2020 Budget 66 mio. Rangeret no partnere IBM Research DSO Tyskland DSO Schweiz DSO Cypern

15 GOFLEX video EX_Final.mp4

16 Value/Intelligence What is Prescriptive Analytics? What happened? Descriptive Analytics What will happen? Predictive Analytics Insight How can we make it happen? Prescriptive Analytics Foresight Hindsight Difficulty Figure 1: Three stages of business analytics ("Gartner Inc., reproduced)

17 An Example from Smart Energy Balancing demand and supply Step 1: Forecast RES production Step 2: Generate demand Flex-Offers Step 3: Optimize schedules Simplified problem, the real problem also involves time flexibility

18 Traditional Solution Implementation based on RDBMS + R + Java solver 1 Bash script (12 lines) 2 6 Forecasting program in R (53 lines) Scheduling program in Java (116 lines) 4 3/5/7/9 8 R (lm) Postgre- SQL Java solver (3394 lines) #!/bin/bash export mirabeldburl="jdbc:postgresql://localhost/postgres"; export mirabeldbusername="postgres"; export mirabeldbpassword=""; export mirabelroot="`pwd`"; export CLASSPATH="$CLASSPATH:.:../FlexOffers/Implementation/SDB- scheduling-experiments/target/sdb-scheduling-experiments SNAPSHOT.jar:../FlexOffers/Implementation/SDB-schedulingexperiments/target/dependency/* # Run forecasting (time Rscript ergv_forecast.r) &> output_fc_r.txt # Check for the forecasting error fcerror=`psql -d postgres -c "SELECT * FROM forecast_error" -Ptuples_only` echo "Forecasting error (MAPE): " $fcerror # Run scheduling (time java -Xmx1000m -Xss10m org.mirabel.aggregation.experiments.aggschexperiment) &> output_sch_c.txt Problems Non-integrated specialized glued together in ad-hoc fashion Labor-intensive, error-prone, inefficient # Check for imbalance schimb=`psql -d postgres -c "SELECT * FROM scheduling_imbalances;" -Ptuples_only` echo "Scheduling remaining imbalance (kwh): " $schimb

19 SolveDB Solution SolveDB (PostgreSQL + solvers) 1 3 Integrates RDBMS and LP/MIP, BB, and specialized solvers Uses SQL extension for problems Forecasting composite solver FO (113 lines) LP atomic solver (LP/MIP) Lines of code: 3571 versus times less code for most cases I/O time: 7.3 versus 0.8 secs Solve query (8 lines) 2 4/6 5 SolveDB Scheduling composite solver FS (118 lines) BB atomic solver (black-box) up to 100 times faster I/O for other cases SOLVESELECT sch IN (SELECT fo, NULL::schedule AS sch FROM flexobject) AS t SUBJECTTO (SELECT is_instanceof(sch, fo) FROM t), (SOLVESELECT load IN (SELECT time, load FROM hist_load) AS s SUBJECTTO (SELECT time, temp FROM temp_data) WITH solverfo) WITH solverfs(rndseed:=12345, sn:=3176) Ongoing: Big Data based on Spark SQL, integrate prediction Specifies Specifies forecasting scheduling

20 Big Data i Digitalt Energisystem Volumen+Velocitet Gemme og spørge på store og hurtige energi data Både fortid, nutid, og fremtid TimeTravel og ModelarDB: gange mindre og hurtigere Varietet Nyt energisystem født nedefra Vi skal kunne forudsige og optimere på data Predictive og prescriptive analytics (bruger machine learning/ai) SolveDB: integrer database, forudsigelse og optimering gange hurtigere og mindre kode Håndter specielle energidata som fleksibilitet Flex-offers: fleksibelt forbrug Big Data teknologi til smart energi, mere kraftfuld og effektiv Mere grøn energi, besparelser i penge og CO2

21 Referencer