Multi-scale stochastic analysis and modelling of residential water demand processes

Abstract

Residential water demand is a key element of urban water systems and, at the same time, one of the most influential sources of uncertainty due its high spatio-temporal variability and random nature. Embracing and incorporating uncertainty in the modelling of urban water systems is of high-importance for their uncertainty-aware planning, management and performance evaluation. This is feasible by treating water demand as a stochastic process that is analysed on the basis of probabilistic and stochastic concepts. Such considerations allow, among others, the development of stochastic modelling and simulation methodologies that generate synthetic time series that can be employed as non-deterministic inputs to assess system responses under different load scenarios. At the same time, technological innovations in Information and Communication Technologies provide new opportunities for the design, operation and management of urban water systems. A case in point is smart metering systems which provide the means to advance risk-based modelling of the urban water systems by delivering new streams of data that in turn pave the ground for a thorough analysis, modelling and simulation of water demand processes. With these new richer datasets at hand, much effort has been invested in the development of stochastic methodologies to generate synthetic water demand series at very fine temporal (i.e., down to 1 s) and spatial (i.e., at household or even water appliance level) scales. These synthetic series can be then aggregated temporally and/or spatially, following a bottom-up procedure, to construct the coarser-resolution synthetic demand series which are to be used as inputs in system models. This approach receives more and more attention due to the more realistic representation of the varying and uncertain character of the process at fine scales. It also poses a series of intriguing challenges which have been only partially addressed to date, thus opening up a promising domain for further research. The peculiarities of water demand processes at fine scales, such as their non-Gaussian behaviour, the intermittent nature, the variety of temporal and spatial dependence structures and the various types of seasonality make its modelling and simulation a rather hard task. The problem is getting even more demanding considering that these peculiarities depend on the temporal and spatial scale of study, while applications require statistically and stochastically consistent synthetic series across a wide range of scales. Further to the modelling challenges, another issue is the deployment of such methodologies, and hence the implementation of uncertainty-aware study of the systems, on a broader scale that is currently hampered by the limited availability of fine-resolution demand observations. In this respect, the existing demand datasets have a key role to play as a valuable source of information through which we can extract concrete and possible transferable insights on the peculiarities of the processes. Despite its practical significance, the systematic and extensive analysis of such datasets, has currently received little attention. Although very high-resolution demand data is generally unavailable, longer series at coarser resolution (e.g., 5 min or 15 min) do exist and are becoming increasingly more available, while the metering devices with such sampling capabilities have potential for a wider deployment in the near future. Having said this, a major question that naturally arises is whether and how we can take advantage of these coarser measurements to enrich the information at finer scales (both in terms of data and characteristics of the process) addressing the issue of data unavailability in a cost-effective way. Following from the above, the main objectives of this thesis are: a) The systematic analysis and modelling of the marginal and stochastic behaviour of water demand process on a multi-scale basis; b) The study and further assessment of existing approaches as well as the development of novel methodologies for stochastic modelling and simulation of water demand process in single and multi-scale context; c) The development of methodologies to enhance the availability of information on water demand process (in terms of data and statistics) at fine time scales. In this thesis, we analyse, model, and simulate residential water demand as a discrete-time stochastic process and we treat the observed data as realisations of it. As a first step, the marginal and stochastic properties of the process are investigated, across a wide range of fine time scales, i.e., from 1 s up to 1 h. Various statistical and probabilistic concepts and tools (novel and classical) are introduced for the first time in the field of water demand. The analyses reveal the most suitable probability distribution models to describe the non-zero demand values, the scaling behaviour of the intermittent nature of the process (i.e., probability of no demand over temporal scales) and the scaling behaviour of its temporal auto-dependence structure (i.e., second-order properties across scales). In order to obtain concrete insights on these characteristics, we conduct the analysis on the basis of two large datasets of demand measurements, from two pilot studies. We examine the well-established pulse-based schemes, by comparing two non-cluster Poisson models along with two Bartlett-Lewis models, highlighting the flexibility of the clustering mechanism in terms of better reproducing the main statistical characteristics of the discrete-time process across different temporal scales. Going one step further, we introduce in water demand modelling a novel modelling strategy that combines the widely-used class of linear stochastic models with the Nataf’s joint distribution model; thereby allowing the preservation of the entire marginal distribution and correlation structure of the processes. The problem of multi-scale modelling is examined and addressed via a scale- and model-free disaggregation framework where the generated synthetic series are fully consistent with (i.e., sum up exactly to) the coarser-level given data. The applicability and flexibility of this framework is demonstrated by employing both pulse- and Nataf-based schemes. With these modular components at hand we then develop an integrated framework to enhance the availability of information at fine time scales. In this context, we also develop lower-scale extrapolation methodologies to provide estimations of the essential statistics (i.e., probability of no demand and second-order properties) for model’s setup at a finer scale, based on available coarser level information and scaling behaviour. The framework is demonstrated under different scenarios in terms of data availability, revealing the tradeoff between estimation accuracy and metering resolution.

Η οικιακή ζήτηση νερού αποτελεί βασικό στοιχείο του αστικού κύκλου νερού, και ταυτόχρονα μια από τις κύριες πηγές αβεβαιότητας κατά το σχεδιασμό, διαχείριση και λειτουργία των αστικών έργων ύδρευσης και αποχέτευσης. Η αβεβαιότητα αυτή πηγάζει από την έντονη χώρο-χρονική μεταβλητότητα και την τυχαία φύση της ζήτησης, οι οποίες θέτουν επιπλέον δυσκολίες στις ήδη απαιτητικές εφαρμογές μοντελοποίησης και προσομοίωσης των συστημάτων αστικού νερού. Η πιθανοτική ανάλυση των συστημάτων αστικού νερού με ενσωμάτωση της αβεβαιότητας αυτής καθίσταται δυνατή με την μελέτη της διεργασίας ζήτησης νερού επί της βάσης εννοιών από τους κλάδους της στατιστικής και της θεωρίας πιθανοτήτων. Κατά τις τελευταίες δεκαετίες, τα συστήματα έξυπνων μετρητών (smart metering systems) κατέστησαν εφικτή την παρακολούθηση και καταγραφή της ζήτησης νερού σε επίπεδο κατοικίας, παρέχοντας τα απαιτούμενα δεδομένα για την ανάλυση και μοντελοποίηση της διεργασίας σε ένα πολύ λεπτομερές επίπεδο. Σε αυτό το πλαίσιο, έχει πραγματοποιηθεί αρκετή έρευνα πάνω στην ανάπτυξη μεθοδολογιών στοχαστικής μοντελοποίησης και προσομοίωσης, που επιτρέπουν την παραγωγή συνθετικών χρονοσειρών ζήτησης νερού σε πολύ λεπτές χρονικές (π.χ. έως και 1 s) και χωρικές (π.χ. σε επίπεδο κατοικίας ή ακόμα και σε επίπεδο χρήσης νερού/οικιακής συσκευής) κλίμακες. Η μοντελοποίηση και η προσομοίωση της ζήτησης νερού σε λεπτές χώρο-χρονικές κλίμακες είναι ένα ιδιαίτερα απαιτητικό πρόβλημα, καθώς η διεργασία χαρακτηρίζεται από περιθώρια συμπεριφορά που αποκλίνει από την κανονική (Gauss) κατανομή, διαλείπουσα φύση (ύπαρξη μηδενικών τιμών στις χρονοσειρές), μεγάλη ποικιλία δομών χρονικής και χωρικής εξάρτησης, καθώς και από διαφορετικούς τύπους περιοδικότητας. Το πρόβλημα γίνεται ακόμα πιο απαιτητικό, εάν λάβουμε υπόψη μας τη διαφοροποίηση που παρουσιάζουν τα παραπάνω χαρακτηριστικά ανάλογα με την χώρο-χρονική κλίμακα μελέτης. Πέρα των προκλήσεων που παρουσιάζει το πρόβλημα της μοντελοποίησης της ζήτησης νερού, μια άλλη ιδιαίτερα ενδιαφέρουσα, με πρακτικές προεκτάσεις, πρόκληση είναι η εφαρμογή σε ευρύτερη κλίμακα μεθοδολογιών που ενσωματώνουν την αβεβαιότητα της ζήτησης κατά την μελέτη συστημάτων αστικού νερού. Ένα σημαντικό εμπόδιο προς αυτή τη κατεύθυνση είναι η περιορισμένη διαθεσιμότητα δεδομένων ζήτησης νερού με υψηλή χρονική διακριτότητα (π.χ. 1 min ή ακόμα και υψηλότερης ανάλυσης). Η προφανής λύση σε αυτό θα ήταν η μαζική εγκατάσταση έξυπνων μετρητών, με δυνατότητες λεπτομερούς μέτρησης της ζήτησης (μικρό βήμα καταγραφής). Ωστόσο, σήμερα, μια σειρά από παράγοντες, με σημαντικότερο το κόστος προμήθειας και συντήρησης των μετρητών, παρεμποδίζουν μια τέτοια λύση. Από την άλλη πλευρά, η διαθεσιμότητα δεδομένων ζήτησης με μεγαλύτερο χρονικό βήμα καταγραφής (π.χ. 5 ή 10 min) αυξάνει συνεχώς, καθώς οι μετρητικές συσκευές με τέτοιες δυνατότητες καταγραφής χαρακτηρίζονται από μεγαλύτερο χρόνο ζωής, ενεργειακή αυτονομία και είναι σημαντικά οικονομικότερες. Υπό αυτές τις συνθήκες, παρουσιάζει μεγάλο ενδιαφέρον η ανάπτυξη μεθοδολογιών και πλαισίων που θα επιτρέψουν την αντιμετώπιση του προβλήματος της περιορισμένης διαθεσιμότητας υψηλής ανάλυσης δεδομένων μέσω ενός οικονομικά αποδοτικού τρόπου. Λαμβάνοντας υπόψη τα παραπάνω, οι κύριοι ερευνητικοί στόχοι της παρούσας διδακτορικής διατριβής είναι: α) Η συστηματική ανάλυση και μοντελοποίηση της περιθώριας κατανομής και των στοχαστικών (από κοινού) ιδιοτήτων της διεργασίας ζήτησης νερού σε πολλαπλές χρονικές κλίμακες; β) Η μελέτη των ήδη υπαρχόντων σχημάτων και η ανάπτυξη νέων μεθοδολογιών για τη στοχαστική μοντελοποίηση και προσομοίωση της διεργασίας ζήτησης νερού, σε μια αλλά και σε πολλές χρονικές κλίμακες ταυτόχρονα; γ) Η ανάπτυξη μεθοδολογιών για τον εμπλουτισμό της διαθέσιμης πληροφορίας (δεδομένα και στατιστικά χαρακτηριστικά) για τη ζήτηση νερού σε λεπτές χρονικές κλίμακες. Στην παρούσα διατριβή, αρχικά μελετάται η συμπεριφορά της περιθώριας κατανομής της διεργασίας ζήτησης νερού, καθώς και οι στοχαστικές ιδιότητές της, σε ένα μεγάλο εύρος λεπτών χρονικών κλιμάκων (από το 1 s έως τη 1 h). Για την εξαγωγή εύρωστων συμπερασμάτων, αναλύεται ένα μεγάλο πλήθος από χρονοσειρές ζήτησης που έχουν συλλεχθεί από κατοικίες με διαφορετικά χαρακτηριστικά, στα πλαίσιο δύο πιλοτικών προγραμμάτων. Όσον αφορά τα χαρακτηριστικά της περιθώριας συμπεριφοράς της διεργασίας, εξετάζεται μια μεγάλη ποικιλία από διαφορετικά φειδωλά (όσον αφορά τον αριθμό των παραμέτρων) μοντέλα κατανομών πιθανότητας ως προς την ικανότητά τους να αναπαράγουν την πιθανοτική συμπεριφορά των μη μηδενικών ζητήσεων. Τα πιο κατάλληλα από αυτά αναλύονται περαιτέρω και προσαρμόζονται στα παρατηρημένα δεδομένα (στις κλίμακες του 1, 5, 15 και 60 min). Εκτός από το συνεχές μέρος της ανέλιξης της ζήτησης, μελετάται επίσης η διαλείπουσα φύση της διεργασίας μέσω ενός παραμετρικού μοντέλου που επιτρέπει τη φειδωλή περιγραφή της πιθανότητας μηδενικής κατανάλωσης από τη χρονική κλίμακα του 1 s μέχρι τη κλίμακα της 1 h. Όσον αφορά τις στοχαστικές (από κοινού) ιδιότητες της διεργασίας, διενεργήθηκε μια συστηματική ανάλυση της δομής αυτό-συσχέτισης στο χρόνο (ιδιότητες δεύτερης τάξης στο χρόνο) με στόχο να εξαχθούν συμπαγή συμπεράσματα για το βαθμό εξάρτησης συναρτήσει της χρονικής κλίμακας μελέτης. Προς αυτή την κατεύθυνση, χτίζουμε πάνω στην έννοια του κλιμακογράμματος (climacogram) που περιγράφει τη διασπορά της διεργασίας συναρτήσει της χρονικής κλίμακας, και κατά συνέπεια επιτρέπει, εκ φύσεως, την ανάλυση και μοντελοποίηση των στοχαστικών της ιδιοτήτων σε πολλαπλά χρονικά επίπεδα. Η παρούσα διδακτορική διατριβή μελετά και το πρόβλημα της στοχαστικής προσομοίωσης της διεργασίας της ζήτησης νερού. Αρχικά, εξετάζονται τα ευρέως χρησιμοποιούμενα στοχαστικά μοντέλα σημειακών παλμών (pulse-based stochastic schemes) ως προς την ικανότητά τους να αναπαράγουν τα ουσιώδη στατιστικά χαρακτηριστικά της διεργασίας σε πολλαπλά χρονικά επίπεδα ταυτόχρονα (από το 1 min μέχρι τη 1 h). Πηγαίνοντας ένα βήμα παρακάτω, εισάγεται μια νέα στρατηγική μοντελοποίησης που επιτρέπει τη ρητή αναπαραγωγή της πλήρους περιθώριας συμπεριφοράς (κατανομή πιθανότητας μη μηδενικών ζητήσεων και πιθανότητα μηδενικής ζήτησης) και της στοχαστικής δομής της διεργασίας της ζήτησης. Η στρατηγική αυτή συνδυάζει τα κλασικά γραμμικά στοχαστικά μοντέλα με το από κοινού μοντέλο πιθανότητας Nataf (NDM; Nataf’s joint distribution model) και είναι αρκετά ευέλικτη στο να προσομοιώσει τα χαρακτηριστικά της ζήτησης σε οποιαδήποτε χρονική κλίμακα. Επιπλέον, μελετάται το πρόβλημα της αναπαραγωγής των περιθωρίων χαρακτηριστικών και στοχαστικών ιδιοτήτων της διεργασίας σε πολλαπλά χρονικά επίπεδα, ταυτόχρονα (multi-scale consistency). Για την αντιμετώπισή του εισάγεται στο πεδίο μελέτης της ζήτησης νερού η έννοια του χρονικού επιμερισμού (temporal disaggregation) σύμφωνα με την οποία οι συνθετικές ζητήσεις σε ένα χαμηλότερο χρονικό επίπεδο παράγονται με την απαίτηση να αθροίζουν ακριβώς στις γνωστές ζητήσεις της υψηλότερης χρονικής κλίμακας. Με αυτό τον τρόπο εξασφαλίζεται η πλήρης συνέπεια (full consistency) μεταξύ των δεδομένων των δυο χρονικών κλιμάκων και, κατά συνέπεια, η αναπαραγωγή των χαρακτηριστικών της διεργασίας και σε υψηλότερες χρονικές κλίμακες συνάθροισης. Συγκεκριμένα, προτείνεται ένα πλαίσιο επιμερισμού ζητήσεων το οποίο είναι ευέλικτο να ενσωματώσει τόσο τα μοντέλα παλμών, όσο και τα μοντέλα Nataf. Τέλος, επωφελούμενοι από την ευελιξία και τον πολύ-χρονικό χαρακτήρα των παραπάνω μεθοδολογιών και αναλύσεων, προτείνουμε ένα ολοκληρωμένο μεθοδολογικό πλαίσιο για τον εμπλουτισμό της περιορισμένης πληροφορίας της ζήτησης νερού σε λεπτότερες χρονικές κλίμακες. Το πλαίσιο αυτό ενσωματώνει τεχνικές εκτίμησης των μεγεθών, που απαιτούνται για την παραμετροποίηση ενός από τα παραπάνω στοχαστικά μοντέλα (διασπορά, πιθανότητα μηδενικής ζήτησης), σε μικρότερες χρονικές κλίμακες (lower-scale extrapolation), κάνοντας χρήση των διαθέσιμων πληροφοριών σε κάποια υψηλότερη χρονική κλίμακα και στα ευρήματα από τις αναλύσεις μεγάλης κλίμακας. Οι τεχνικές επέκτασης που αναπτύχθηκαν, αξιολογούνται μέσα από εναλλακτικά σενάρια διαθεσιμότητας δεδομένων, φανερώνοντας την ισορροπία μεταξύ της ακρίβειας στην εκτίμηση και τη χρονική διακριτότητα των διαθέσιμων δεδομένων (λεπτομέρεια στη μέτρηση).