Data-driven methods for the integration of flexible loads in demand-side management schemes

Abstract

The transition towards a sustainable and resilient energy system in the European Union (EU) has accelerated the integration of Distributed Energy Resources (DERs), including renewable energy sources (RES), energy storage systems, and electric vehicles (EVs). While this shift is essential for achieving the EU’s ambitious climate objectives, it also introduces significant challenges to maintaining grid stability and reliability. Demand-Side Management (DSM) emerges as a critical strategy for balancing supply and demand by leveraging flexible loads. This doctoral dissertation introduces data-driven methods to enhance the integration of flexible loads into DSM schemes, aligning with the goals of the EU Horizon 2020 GECKO project, which aims to foster responsible and transparent Artificial Intelligence (AI) applications in the green energy transition. The doctoral dissertation investigates three primary questions: (1) How can data from smart meters and Internet of Things (IoT) devices be effectively utilized to propose optimal load scheduling strategies in connected home environments? (2) How do different data-driven methods, including statistical and AI-based models, perform in forecasting aggregated load for quantifying flexibility? (3) What strategies can maximize residential flexibility through efficient aggregation schemes in DR programs and novel energy markets? A multi-faceted approach is adopted, beginning with a comprehensive review of Particle Swarm Optimization (PSO) methods tailored for residential energy management. The review introduces a novel classification framework for PSO applications, emphasizing critical optimization objectives such as minimizing energy costs, maintaining user comfort, and enhancing thermal efficiency. Building on these insights, the dissertation develops two innovative smart EV charging strategies using Deep Q-Network (DQN) models. The proposed strategies offer end-users a choice between a "cost savings" policy, which prioritizes reducing electricity bills, and a "user-oriented" policy that aligns with historical charging habits. The latter approach achieves notable results, with cost savings of up to 49.83% while maintaining an 86.22% consistency with historical charging patterns. To address the challenge of Very Short-Term Load Forecasting (VSTLF) at the appliance level, a Long Short-Term Memory (LSTM) model with Feed-Forward Error Correction (FFEC) is proposed. The model predicts 15-minute aggregated loads for EVs and air conditioning (A/C) units. Benchmarking against state-of-the-art (SoA) methods such as XGBoost, LightGBM and N-BEATS, the LSTM with FFEC demonstrates superior accuracy in EV load forecasting, contributing to improved load management and flexibility quantification. LightGBM and XGBoost slightly outperform LSTM with FFEC in A/C load forecasting, demonstrating the highest prediction accuracy among the investigated models. The research further proposes a "Fair Demand Response (DR)" framework to enhance residential participation in DSM programs. The fairness-driven selection strategy ensures a balanced inclusion of participants, promoting reliability in delivering flexibility services. This approach addresses the limitations of traditional performance-based selection methods, which often concentrate opportunities among a small group of participants. In advancing the concept of capacity reserve markets, the dissertation explores the participation of EV aggregators in a newly proposed energy reserves market product. A mathematical formulation of energy reserves maximization for EV aggregators is proposed, taking into consideration EV users’ preferences. A novel Six-Criteria selection approach is introduced, enabling System Operators (SOs) to efficiently preselect aggregators, thereby minimizing the administrative burden associated with evaluating and dispatching all available flexibility providers. This methodology not only optimizes operational efficiency but also contributes to a more stable and balanced energy system. Overall, this dissertation highlights the potential of data-driven and AI-enhanced demand-side management strategies to unlock residential flexibility and facilitate the broader adoption of smart grid solutions in the energy transition. By combining technical innovation with principles of fairness, inclusivity and energy markets efficiency, the proposed methods offer a robust foundation for future research and practical implementations in the evolving energy landscape.

Η μετάβαση προς ένα βιώσιμο και στηβαρό ενεργειακό σύστημα στην Ευρωπαϊκή Ένωση (ΕΕ) έχει επιταχύνει την ενσωμάτωση διανεμημένων ενεργειακών πόρων, όπως οι Ανανεώσιμες Πηγές Ενέργειας (ΑΠΕ), τα συστήματα αποθήκευσης ενέργειας και τα ηλεκτρικά οχήματα. Παρόλο που αυτή η μετάβαση είναι αναγκαία για την επίτευξη των φιλόδοξων κλιματικών στόχων της ΕΕ, εισάγει σημαντικές προκλήσεις ως προς τη διατήρηση της ευστάθειας και αξιοπιστίας του δικτύου. Η Διαχείριση Ζήτησης (Demand-Side Management – DSM) αναδεικνύεται σε κρίσιμη στρατηγική για την εξισορρόπηση προσφοράς και ζήτησης, αξιοποιώντας ευέλικτα φορτία. Η παρούσα διδακτορική πραγματεύεται την ενσωμάτωση ευέλικτων οικιακών και εμπορικών φορτίων, όπως είναι τα ηλεκτρικά οχήματα και οι μονάδες κλιματισμού, σε σχήματα διαχείρισης ζήτησης για παροχή ευελιξίας. Στο πλαίσιο της έρευνας που εκπονήθηκε με τη στήριξη του Ευρωπαϊκού Marie-Curie έργου GECKO, η παρούσα διδακτορική διατριβή εστίασε στα παρακάτω τρία βασικά ερευνητικά ερωτήματα: (1) Πώς μπορούν να αξιοποιηθούν αποτελεσματικά δεδομένα από έξυπνους μετρητές και συσκευές του Διαδικτύου των Πραγμάτων (IoT), ώστε να προταθούν βέλτιστες στρατηγικές προγραμματισμού ευέλικτων φορτίων σε οικιακά περιβάλλοντα; (2) Πώς αποδίδουν διαφορετικές μεθόδοι βασισμένες σε δεδομένα (στατιστικά μοντέλα και μέθοδοι τεχνητής νοημοσύνης) στην πρόβλεψη μεμονωμένων αθροιστικών οικιακών φορτίων για την ποσοτικοποίηση της ευελιξίας τους; (3) Ποιες στρατηγικές μπορούν να μεγιστοποιήσουν την παροχή οικιακής ευελιξίας μέσω αποδοτικών σχημάτων σωρευτικής εκπροσώπησης φορτίων σε προγράμματα Απόκρισης Ζήτησης και σε νέες αγορές ενέργειας; Υιοθετείται μια πολυδιάστατη προσέγγιση, ξεκινώντας με μια εκτενή βιβλιογραφική ανασκόπηση των μεθόδων βελτιστοποίησης σμήνους σωματιδίων (Particle Swarm Optimization - PSO) στην οικιακή ενεργειακή διαχείριση. Προτείνεται ένα νέο πλαίσιο ταξινόμησης, δίνοντας έμφαση σε κρίσιμους στόχους βελτιστοποίησης όπως η ελαχιστοποίηση του κόστους ενέργειας, η διατήρηση της χρονικής και θερμικής άνεσης των χρηστών καθώς και περιορισμοί που λαμβάνονται υπόψη κατά τη μοντελοποίηση. Εν συνεχεία, προτείνονται δύο καινοτόμες στρατηγικές έξυπνης φόρτισης ηλεκτρικών οχημάτων χρησιμοποιώντας μοντέλα βαθιών Q-δικτύων (Deep Q-Networks - DQN). Οι προτεινόμενες στρατηγικές προσφέρουν στους χρήστες την επιλογή μεταξύ μιας πολιτικής «εξοικονόμησης κόστους», που δίνει προτεραιότητα στη μείωση του λογαριασμού ρεύματος, και μιας «προσανατολισμένης στον χρήστη» πολιτικής, που λαμβάνει υπόψη και τις ιστορικές συνήθειες φόρτισης του εκάστοτε χρήστη καθώς και τη δυνατότητα ιδιοκατανάλωσής του. Η δεύτερη στρατηγική σημειώνει αξιόλογα αποτελέσματα, επιτυγχάνοντας εξοικονόμηση έως και 49,83% με ταυτόχρονη διατήρηση συνέπειας 86,22% με τις ιστορικές συνήθειες. Για την αντιμετώπιση της πρόκλησης της πρόβλεψης φορτίου πολύ βραχυπρόθεσμου ορίζοντα σε επίπεδο οικιακών φορτίων, προτείνεται ένα μοντέλο Μακράς Βραχύχρονης Μνήμης (Long Short-Term Memory - LSTM) με μηχανισμό ανατροφοδότησης σφάλματος. Το μοντέλο προβλέπει αθροιστικά φορτία ηλεκτρικών οχημάτων και κλιματισμού ανά 15 λεπτά. Σε συγκριτική αξιολόγηση με προηγμένες μεθόδους όπως οι XGBoost, LightGBM και N-BEATS, το LSTM παρουσιάζει υψηλότερη ακρίβεια στην πρόβλεψη φορτίου ηλεκτρικών οχημάτων, συμβάλλοντας στη βελτίωση της διαχείρισης φορτίου και της ποσοτικοποίησης της ευελιξίας. Στην πρόβλεψη φορτίου κλιματισμού, τα LightGBM και XGBoost υπερέχουν οριακά του LSTM, επιτυγχάνοντας τη μεγαλύτερη ακρίβεια μεταξύ των εξεταζόμενων μοντέλων. Έμφαση δόθηκε και στον ρόλο των Φορέων Σωρευτικής Εκπροσώπησης Φορτίου Ηλεκτρικών Οχημάτων (Φ.Ο.Σ.Ε.Φ.Η.Ο.) στο πλαίσιο μιας νέας αγοράς ενεργειακών εφεδρειών (Energy Reserves Market) η οποία προτάθηκε στη βιβλιογραφία για να καλύψει θέματα αξιοπιστίας των υπαρχόντων αγορών εφεδρείας. Πιο συγκεκριμένα, προτάθηκε αλγοριθμική λύση βέλτιστης φόρτισης αθροιστικού φορτίου ηλεκτρικών οχημάτων σε προ-ημερήσιο επίπεδο, με χρήση μαθηματικού προγραμματισμού, αποσκοπώντας στη μεγιστοποίηση της παροχής ενεργειακών εφεδρειών της προαναφερθείσας νέας αγοράς. Επίσης, εντός της ίδιας ερευνητικής δουλειάς προτάθηκε και ένα πλαίσιο κατάλληλης επιλογής των ΦΟΣΕΦΗΟ, βάσει κριτηρίων, ελαχιστοποιώντας τον φόρτο της διαδικασίας που απαιτείται για τους διαχειριστές των δικτύων μεταφοράς ηλεκτρικής ενέργειας στο πλαίσιο της νέας αγοράς ενεργειακών εφεδρειών. Τέλος, αναπτύχθηκε και ένα «δίκαιο» αλγοριθμικό πλαίσιο επιλογής και ταξινόμησης οικιακών καταναλωτών για συμμετοχή σε προγράμματα Απόκρισης Ζήτησης, λαμβάνοντας υπόψη ιστορικά δεδομένα κατανάλωσης πραγματικών κατοικιών.Συνολικά, η διατριβή αναδεικνύει τη δυναμική των στρατηγικών διαχείρισης της ζήτησης που βασίζονται σε δεδομένα για την αξιοποίηση της οικιακής ευελιξίας και την ευρύτερη υιοθέτηση λύσεων έξυπνων δικτύων στο πλαίσιο της ενεργειακής μετάβασης.