Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Banalytics

597 visualizaciones

Publicado el

Presentation about my PhD. thesis in Slovak. Prediction of electricity load in smart grids.

Publicado en: Datos y análisis
  • Inicia sesión para ver los comentarios

Banalytics

  1. 1. Predikcia spotreby elektrickej energie v inteligentných sieťach Mgr. Peter Laurinec 27.9.2016 FIIT STU
  2. 2. FUN fact Byť single ↗ Singles domácnosti sú podľa štúdie University College London environmentálnou časovou bombou. Ich spotreba elektrickej energie na hlavu je o 55% vyššia ako v prípade štvorčlennej rodiny1. 1 https://www.ucl.ac.uk/news/news-articles/ news-releases-archive/sololiving 1
  3. 3. Prečo budem hovoriť o energetike a predikciách? Lebo: • Som bol pridelený na projekt o “Big Data”, ktorý sa riešil na fakulte. • Presnejšia predikcia spotreby elektrickej energie je dôležitá z viacerých dôvodov. • Baví ma Data Mining. • Romanovi ma bonzli moji kolegovia. 2
  4. 4. Model siete Starý model siete: • Zdroj energie - elektráreň. • Pasívni koncoví užívatelia. 3
  5. 5. Model siete Nový model siete: • Zdroj energie - veterné a solárne elektrárne. Sú ťažšie predvídateľné. • Aktívni koncoví užívatelia. producer + consumer ⇒ prosumer. • Regulačné zariadenia. Prečerpávacie vodné elektrárne. 4
  6. 6. Presnejšia predikcia • Výroba elektrickej energie. Prepätie v sieti. • Producenti. • Distribučné spoločnosti. Deregulácia trhu. Nákup a predaj elektriny. 5
  7. 7. Čo sa preto robí? • Vytváranie inteligentných sietí (smart grids). • Zmena legislatívy. • Finančná podpora od EÚ. Znižovanie spotreby el. energie. • Kľúčové slová: smart meter, demand response, empowering, smart cities. 6
  8. 8. Výskumný projekt na fakulte Info: • Financovanie - Agentúra Ministerstva školstva, vedy, výskumu a športu SR pre štrukturálne fondy. • Doba riešenia - február 2014 – november 2015. • Partneri - ATOS, STU, Sféra s.r.o. • FEI STU - Smart Grid a Kryptografia. FIIT STU - Big Data. Big Data: • Regulácia Európskej únie - vyhláška MH SR č.358/2013 účinnej od 15. novembra 2013. • v SR má byť inteligentnými meračmi vybavených 80% zo všetkých odberných miest. 2 milióny. • 15-minútové intervaly údajov o odbere elektrickej energie. • 96 meraní denne, pre 2 milióny odberateľov je to asi 70, 08 miliárd záznamov ročne. 7
  9. 9. Inteligentné siete a merače • Inteligentná sieť je systém, ktorý dokáže ovládať dopyt po elektrine v udržateľnej, spoľahlivej a ekonomickej forme tým, že využíva pokročilé digitálne informácie a komunikačné technológie. Táto platforma má za cieľ dosiahnuť stálu dostupnosť energií, udržateľnosť energie, ochranu životného prostredia, prevenciu pred veľkými zlyhaniami (výpadkami), ako aj optimalizovať prevádzkové náklady spojené s produkciou a distribúciou energie. • Výhody inteligentných meračov: 1. Automatické zbieranie dát. Už nie je potrebné manuálne zapisovanie hodnôt z meračov. 2. Povoľuje vytváranie dynamických taríf (faktúr), ktoré sa menia počas dňa. Tento prístup môže znížiť výrazne spotrebu elektrickej energie počas špičiek. 8
  10. 10. Slovenské dáta • Počet OOM je 21502. Z toho 11281 sú fajn. Podniky. • Časový interval meraní: 01.07.2011 – 14.05.2015. No nie každé OOM má dáta z celého intervalu. Prevažne až od 01.07.2013. Írske dáta: • Počet OOM je 6435. Z toho 3639 sú rezidencie. Dotazníky. • Časový interval: 14.7.2009 – 31.12.2010. 30-min. merania (48 denne). 9
  11. 11. Smart meter dáta OOM_ID DIAGRAM_ID CAS MNOZSTVO DRUH_MERANIA DATUM PSC 1: 11 202004 −45 4.598 O 01/01/2014 4013 2: 11 202004 195 4.087 O 01/01/2014 4013 3: 11 202004 −30 5.108 O 01/01/2014 4013 4: 11 202004 345 4.598 O 01/01/2014 4013 5: 11 202004 825 2.554 O 01/01/2014 4013 6: 11 202004 870 2.554 O 01/01/2014 4013 41312836: 20970 14922842 90 18.783 O 14/02/2015 4011 41312837: 20970 14922842 75 20.581 O 14/02/2015 4011 41312838: 20970 14922842 60 18.583 O 14/02/2015 4011 41312839: 20970 14922842 45 18.983 O 14/02/2015 4011 41312840: 20970 14922842 30 17.384 O 14/02/2015 4011 41312841: 20970 14922842 15 18.583 O 14/02/2015 4011 10
  12. 12. Slovenské OOM 1 11
  13. 13. Slovenské OOM 2 12
  14. 14. Suma rok Bratislava 13
  15. 15. Írske OOM 14
  16. 16. Suma rok Írsko 15
  17. 17. Krátkodobá predikcia • Predikcia časového radu (predpoveď - forecast) na 1 deň dopredu (96 resp. 48 meraní). • Silná časová závislosť. Sezónnosti (denné, týždenné, ročné). Sviatky. Počasie. • Presnosť predikcie (v %) - MAPE (Mean Absolute Percentage Error). MAPE = 100 × 1 n n∑ t=1 |xt − ˆxt| xt 16
  18. 18. Metódy predikcie časových radov Analýza časových radov ARIMA, Holt-Winters exponenciálne vyhladzovanie, dekompozície č.r. Lineárna regresia Viacnásobná lineárna regresia, robustná LR, GAM (Generalized Additive Model). Umelo inteligentné (machine learning) • Neurónové siete. • Support Vector Regression (podporné vektory, oporné body). • Regresné stromy a lesy. Ensemble learning Lineárna kombinácia predikcií. 17
  19. 19. Analýza časových radov • Nie sú veľmi vhodné pri viacnásobných sezónnostiach. • Riešenie: Vytváranie separátnych modelov pre rôzne dni v týždni. • Riešenie: Double-seasonal Holt-Winters (DSHW). 18
  20. 20. Analýza časových radov • Riešenie: Dekompozícia časového radu na tri zložky - sezónna, trend, zostatok (šum). • Rôzne metódy. STL dekompozícia (seasonal decomposition of time series by loess). 19
  21. 21. Regresné metódy • MLR (OLS), RLM (M-estimate), SVR. • Dummy (binárne) premenné. Tabuľka 1: Matica plánu Load V1 V2 V3 V4 V5 V6 V7 V8 V9 … W1 W2 … 1: 0.402 1 0 0 0 0 0 0 0 0 1 0 2: 0.503 0 1 0 0 0 0 0 0 0 1 0 3: 0.338 0 0 1 0 0 0 0 0 0 1 0 4: 0.337 0 0 0 1 0 0 0 0 0 1 0 5: 0.340 0 0 0 0 1 0 0 0 0 1 0 6: 0.340 0 0 0 0 0 1 0 0 0 1 0 7: 0.340 0 0 0 0 0 0 1 0 0 1 0 8: 0.338 0 0 0 0 0 0 0 1 0 1 0 9: 0.339 0 0 0 0 0 0 0 0 1 1 0 ... ... ... ... 20
  22. 22. Regresné stromy a lesy • Dummy premenné nie sú vhodné. • RPART, Extremely Randomized Trees, Bagging. Denný a týždenný sezónny vektor: Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . ) Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ), kde seas je perióda (48 resp. 96). 21
  23. 23. Regresné lesy • Extreme Gradient Boosting (xgboost), Random Forest. Denný a týždenný sezónny vektor vo forme sínusu a kosínusu: Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . ) Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ) sin(2π Day seas ) + 1 2 resp. cos(2π Day seas ) + 1 2 sin(2πWeek 7 ) + 1 2 resp. cos(2πWeek 7 ) + 1 2 , kde seas je perióda (48 resp. 96). • Odšumená spotreba oneskorená (lag) o jeden deň. 22
  24. 24. Neurónové siete • Dopredné, rekurentné, viacvrstvový perceptrón (MLP), hlboké. • Spotreba oneskorená o jeden týždeň. Odšumená spotreba. • Model pre rôzne dni. • Sínus a kosínus. 23
  25. 25. Ensemble learning • Nevieme určiť, ktorý model je najlepší. Pretrénovanie (overfitting). • Učenie súboru metód. Váhovanie modelov ⇒ lineárna kombinácia. • Adaptácia váh predikčných metód na základe chyby predikcie - mediánové váhovanie. et j = median(| xt − ˆx t j |) wt+1 j = wt j median(et ) et j Trénovacia množina – pridávanie a zabúdanie dát. Posuvné okno. 24
  26. 26. Ensemble learning • Inkrementálno-heterogénny ensemble model. • Zlepšenie o 8 − 12%. • Váhovanie metód – optimalizačná úloha. Genetický algoritmus, PSO a iné. • Zlepšenie o 5, 5%. 25
  27. 27. Vytváranie predikovateľnejších skupín odberateľov Analýza zhlukov! Cluster Analysis! • Bez učiteľa. Unsupervised learning. • Úlohou analýzy zhlukov je zoskupiť sadu objektov v takom zmysle, že objekty v rovnakej skupine (zhluk) sú si viac podobné ako tie, ktoré sú v iných skupinách (zhlukoch). 26
  28. 28. Analýza zhlukov v inteligentných sieťach • Pohotovostná analýza. Takáto analýza sa snaží produkovať detekcie a reakcie k neočakávaným problémom. Monitorovanie vývoja zhluku uzlov (inteligentných meračov) môže pomôcť odhaľovať náhle zmeny v dopyte a ponuke. • Vytvorenie nevychýlených vzoriek (profilov) z populácie. Typové diagramy. • Identifikácia charakteristík, ktoré najviac korelujú so správaním sa používania elektrickej energie. • V neposlednom rade vylepšenie predikčných metód a tým pádom zníženie chybovosti predikcie spotreby elektrickej energie. 27
  29. 29. 1 PSČ
  30. 30. Analýza zhlukov Veľa rôznych metód: Ťažiskové K-means, K-medoids, CLARA. Pravdepodobnostné EM. Založené na hustote DBSCAN, OPTICS. Hierarchické Single-linkage, CURE. Vysoká dimenzionalita dát - č.r. 29
  31. 31. Zhlukovanie OOM Riešenia: 1. Prispôsobiť dáta na niektorý známy algoritmus. 2. Vytvoriť nový algoritmus. 3. Nerobiť nič a dúfať, že to aj tak pomôže. Môj výber: K-means + návrh vhodných reprezentácií časových radov. 30
  32. 32. K-means Euklidova vzdialenosť. Centroidy (Ťažiská). K-means++ - careful seeding of centroids. 31
  33. 33. Nájdenie optimálneho K Manuálne nastavenie počtu zhlukov. Pomocou internej validácie. Davies-Bouldin index. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 123 90 139 477 11 468 263 184 94 136 765 224 195 55 81 82 160 90 2 32
  34. 34. Reprezentácie časových radov 34
  35. 35. Reprezentácie časových radov Prečo reprezentácie? 1. Znižujú pamäťové zaťaženie. 2. Zrýchľujú následné algoritmy strojového učenia. 3. Implicitne odstraňujú šum z dát. 4. Zvýrazňujú základné charakteristiky dát. 35
  36. 36. Predspracovanie Normalizácia časových radov - odberateľov. Najlepšia možnosť je použiť z-skóre: x − µ σ Alternatíva: x max(x) Normalizovanie spotreby ⇒ zhlukovanie podobných priebehov (kriviek) ⇒ presnejšia predikcia. 36
  37. 37. Metódy reprezentácie časových radov PAA - Piecewise Aggregate Approximation. Non data adaptive. n -> d. ˆX = (ˆx1, . . . ,ˆxd). ˆxi = d n (n/d)i ∑ j=(n/d)(i−1)+1 xj. Nie len priemer. Medián, smerodajná odchýlka, maximum. 37
  38. 38. Metódy reprezentácie časových radov PLA - Piecewise Linear Approximation. Dátovo adaptívna (data adaptive) metóda. 38
  39. 39. Späť k modelom a hlavne k regresiám • Reprezentácie založené na štatistickom modeli (model based). • Extrakcia regresných koeficientov ⇒ vytváranie denných profilov. • Vytvorenie reprezentácie dlhej, ako je perióda sezónneho č.r. xi = β1ui1 + β2ui2 + · · · + βseasuiseas + εi Nová reprezentácia: β = (β1, . . . , βseas). 39
  40. 40. Čo sa dá všetko použiť Metódy: • Viacnásobná lineárna regresia. Robustná regresia, L1-regresia. • Odhad reg. koeficientov pomocou stochastic gradient descent (SGD). • Generalized additive model (GAM). Nemýliť s GLM. Splajny - vyhladzovacie funkcie. Cyclic cubic regression spline. • Trojité Holt-Winters exponenciálne vyhladzovanie. • Priemerné alebo mediánové denné profily. 40
  41. 41. Porovnanie 41
  42. 42. Porovnanie 42
  43. 43. Clipping - bit level reprezentácia Data dictated. ˆxt = { 1 if xt > µ 0 otherwise 43
  44. 44. Clipping - RLE RLE - Run Length Encoding. Sliding window - jeden deň. 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 6 1 12 7 2 1 1 10 2 6 20 7 2 2 1 1 5 1 7 1 1 4 1 15 3 13 1 2 1 3 1 2 1 1 3 1 5 1 6 1 6 4 5 1 3 3 3 1 2 1 2 1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1 44
  45. 45. Clipping - finálna reprezentácia 1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1 Extrahovanie vlastností - priemer, maximum … 45
  46. 46. Postup 1. Časové rady 2. Normalizácia (z-skóre) 3. Výpočet reprezentácií č.r. (PLA, RLM, …) 4. Nájdenie optimálneho počtu zhlukov K (DB-index) 5. Zhlukovanie reprezentácií 6. Sumácia K časových radov podľa nájdených zhlukov 7. Natrénovanie K predikčných modelov a následná predikcia 8. Sumácia predikcií 46
  47. 47. Výsledky Statická dátová množina Jedno zhlukovanie → predikcia s posuvným oknom. Írske. PLA, RLM, HW - 4.55% → okolo 3.917% MAPE. Slovenské. Median, HW, HW-auto - 2.87% → okolo 2.716% MAPE. STL + EXP, STL + ARIMA, SVR. Porovnanie 13 reprezentácií. Po dávkach Dávkové zhlukovanie → predikcia s posuvným oknom (14 dní). Írske. RLM, Median, GAM. Porovnanie 10 predikčných metód. Signifikantné zlepšenie u DSHW, STL + ARIMA, STL + ETS, SVR, RandomForest, Bagging a MLP. Najlepší výsledok: Bagging s GAM 3.68% oproti 3.82% MAPE. 47
  48. 48. Inteligentné siete ⇒ Prúdy údajov ⇒ Dolovanie údajov ⇒ Analýza zhlukov prúdov údajov 47 0 100 200 300 400 0 200 400 600 800 1000 Cas Spotreba(kW)
  49. 49. Zhrnutie • Presnejšia predikcia spotreby elektrickej energie je dôležitá. • Riešenie: Vytváranie inteligentných sietí, inštalácia inteligentných meračov. • Predikčné metódy - rôzne metódy chcú rôzny prístup. • Zhlukovanie OOM → spresňovanie predikcie. • Budúce smerovanie práce: zhlukovanie prúdov údajov (clustering data stream). 48

×