Modelling and simulation of non-Gaussian stochastic processes for optimization of water-systems under uncertainty

Abstract

Hydrometeorological inputs are a key ingredient and simultaneously one of the main sources of uncertainty of every hydrological study. This type of uncertainty is referred to as hydrometeorological uncertainty and is of utmost importance in risk-based engineering works, due the high variability and randomness that is naturally embedded in physical processes. Considering hydrometeorological time series as realizations of stochastic processes allow their analysis, modeling, simulation and forecasting. Embracing the existence of randomness and unpredictability in such processes is a first step towards their understanding and the development of uncertainty-aware methodologies for water-systems optimization.In this vein, due to the typical size of historical data, which is not (neither will ever be) sufficient to extract safe conclusions about the long-term performance of a system, the common procedure entails driving the typically deterministic water-system models (conceptual or physical-based) using stochastic inputs (that in a statistical sense resemble the parent information; typically, but not exclusively derived from the historical time series). This essentially enables the establishment of Monte Carlo experiments where the intrinsic uncertainty of the inputs (i.e., hydrometeorological processes) is propagated through a deterministic filter (i.e., a water-system simulation model) in order to derive, or assess, the probabilistic behavior of the output of interest (e.g., water supply coverage). Further to this, when the objective is the optimization of the deterministic model’s control variables (i.e., model’s parameters) with respect to some quantity or metric (i.e., objective), this procedure can (and should) be embed within an iterative scheme driven by an optimization algorithm (i.e., establishing uncertainty-aware simulation-optimization frameworks).An important step of this procedure is the realistic simulation of hydrometeorological processes, since they are the main drivers of the whole procedure, and eventually determine its accuracy, as well as the probabilistic behavior of the output of interest. This in turn, poses an intriguing challenge that arises from a series of unique peculiarities that characterize such processes, namely, non-Gaussianity, intermittency, auto-dependence (short- or long-range), cross-dependence and periodicity. Despite the significant amount of research during last decades, these challenges remain partially unresolved. To a large extent, this is due to the standard hypothesis of most simulation schemes that does not lie in the reproduction of a specific distribution, but on the reproduction of low-order statistics (e.g., mean, variance, skewness) and correlations in time and space. This is a problem because, a) for a given set of low-order statistics multiple distributions may be represented, thus making the simulation problem only partially defined, and b) as shown herein, this practice may lead to bounded, and thus unrealistic dependence forms among consecutive time steps and/or processes.Further to this, driving water-system simulation models with long stochastically generated sequences, thus accounting for input (hydrometeorological) uncertainty, inevitably increases the required computational effort, especially within the context of simulation-optimization frameworks. This in turn, poses the challenge of addressing and ensuring the practical implementation of water-system optimization problems under uncertainty.Thereby, the main research objectives and contributions of this Thesis are related to:a) The development of novel non-Gaussian stochastic simulation models, able to account also for the other peculiarities typically encountered in hydrometeorological processes, such as, intermittency, auto- and cross- dependence, periodicity, as well as their scale-varying probabilistic and stochastic behavior.b) The development of surrogate-based optimization methodologies and algorithms that can efficiently and effectively confront water-system simulation-optimization problems under uncertainty, i.e., when using stochastic inputs to drive the simulation-optimization procedure.Specifically, herein a by building upon copula concepts, probability laws and the theory of stochastic processes, a theoretically justified family of univariate and multivariate non-Gaussian stationary and cyclostationary models is defined and thoroughly investigated. This type of models have been unknown to the hydrological community, and this Thesis is the first attempt to align them with hydrological stochastics. The developed models are shown to be able to account for all the typical characteristics of hydrometeorological processes and simultaneously exhibit a simple and parsimonious character. Furthermore, these models are then coupled, using a disaggregation approach, thus eventually enabling the development of a modular stochastic simulation framework that allows the simultaneous reproduction of the probabilistic and stochastic behavior (including non-Gaussian distributions) of hydrometeorological processes at multiple time scales (from annual to daily; as well as finer time scales). The advantages of this class of stochastic processes and models, as well as of the modular stochastic simulation framework for multi-scale simulations, are demonstrated and verified through numerous hypothetical and real-world simulation studies.Finally, in order to ensure the effective exploitation and practical implementation of these new developments in the stochastic simulation of hydrometeorological processes within the uncertainty-aware, engineering design and management of water-systems (i.e., driven by stochastic inputs), this Thesis develops appropriate surrogate-based computationally-efficient methodologies and algorithms, that effectively handle water-system simulation-optimization problems under hydrometeorological uncertainty, thus alleviating the associated computational barrier.

Τα υδρομετεωρολογικά δεδομένα αποτελούν βασικό συστατικό και ταυτόχρονα μια από τις κύριες πηγές αβεβαιότητας κάθε υδρολογικής μελέτης. Αυτού του τύπου η αβεβαιότητα είναι γνωστή ως υδρομετεωρολογική. Λόγω της μεγάλης μεταβλητότητας και τυχαίας φύσης αυτών των διεργασιών, η αντιμετώπιση της αποτελεί ύψιστης σημασίας προτεραιότητα σε έργα και μελέτες μηχανικού οι οποίες λαμβάνουν υπόψιν τους τις έννοιες του ρίσκου και της διακινδύνευσης. Η παραδοχή πως οι παρατηρημένες υδρομετεωρολογικές χρονοσειρές αποτελούν πραγματοποιήσεις στοχαστικών ανελίξεων (ή αλλιώς διεργασιών) επιτρέπει την ανάλυση, μοντελοποίηση, προσομοίωση και πρόβλεψη τους ως τέτοιες. Η αναγνώριση και η παραδοχή ύπαρξης τυχαιότητας και μη προβλεψιμότητας σε αυτού του τύπου διεργασίες αποτελεί το πρώτο βήμα προς την κατανόησή τους, τη μελέτη και την ανάπτυξη μεθοδολογιών για τη βελτιστοποίηση υδατικών συστημάτων υπό αβεβαιότητα.Συνήθως, το περιορισμένο μέγεθος των ιστορικών δεδομένων (χρονοσειρών), δεν επιτρέπει (ούτε πρόκειται ποτέ) την εξαγωγή ασφαλών συμπερασμάτων για την μακροπρόθεσμη επίδοση ενός συστήματος. Για αυτό το λόγο, η συνήθης πρακτική κάνει χρήση στοχαστικών δεδομένων εισόδου (τα οποία είναι στατιστικά συνεπή με τις ιστορικές χρονοσειρές ή γενικότερα με την όποια διαθέσιμη υδρολογική πληροφορία) σε συνδυασμό με ντετερμινιστικά μοντέλα υδατικών συστημάτων (φυσικής ή εννοιολογικής βάσης). Αυτός ο συνδυασμός ουσιαστικά επιτρέπει την ανάπτυξη πειραμάτων τύπου Monte Carlo, όπου η αβεβαιότητα των δεδομένων εισόδου (π.χ., υδρομετεωρολογικές μεταβλητές) μεταφέρεται μέσω ενός ντετερμινιστικού φίλτρου (π.χ., μοντέλα προσομοίωσης υδατικών συστημάτων) στις μεταβλητές εξόδου (π.χ., αξιοπιστία κάλυψης υδατικών αναγκών) για τη εξαγωγή και διερεύνηση της πιθανοτικής συμπεριφοράς των τελευταίων. Επιπλέον, όταν ο στόχος της μελέτης είναι η βελτιστοποίηση των μεταβλητών ελέγχου του ντετερμινιστικού μοντέλου, με γνώμονα κάποια αντικειμενική συνάρτηση, η παραπάνω διαδικασία μπορεί (και πρέπει) να μετατραπεί σε επαναληπτική, μέσω της χρήσης κατάλληλων αλγόριθμων βελτιστοποίησης (δηλ. ανάπτυξη πλαισίων προσομοίωσης-βελτιστοποίησης που λαμβάνουν υπόψιν τους την αβεβαιότητα).Ένα σημαντικό σημείο της παραπάνω διαδικασίας είναι η ρεαλιστική προσομοίωση των υδρομετεωρολογικών διεργασιών, αφού αποτελούν βασικό οδηγό της όλης διαδικασίας, καθώς ταυτόχρονά καθορίζουν την ακρίβεια προσομοίωσης αλλά και την πιθανοτική συμπεριφορά των μεταβλητών εξόδου. Αυτό με τη σειρά του θέτει μια ενδιαφέρουσα πρόκληση η οποία πηγάζει από τα ιδιαίτερα χαρακτηριστικά που παρουσιάζουν αυτού του είδους διεργασίες, όπως οι μη-Γκαουσιανές κατανομές, η διαλείπουσα συμπεριφορά, η χρονική εξάρτηση (μικρής ή μακράς εμβέλειας), η χωρική αλληλεξάρτηση καθώς και η περιοδικότητα. Παρά τη σημαντική έρευνα που έχει πραγματοποιηθεί τις τελευταίες δεκαετίες, το πρόβλημα της ρεαλιστικής προσομοίωσης υδρομετεωρολογικών διεργασιών παραμένει ακόμη θέμα συζήτησης. Σε ένα μεγάλο βαθμό, αυτό οφείλεται στην συνήθη υπόθεση των περισσότερων σχημάτων προσομοίωσης, τα οποία δεν στοχεύουν στην αναπαραγωγή κάποιας πιθανοτικής κατανομής, αλλά στην αναπαραγωγή χαμηλής τάξης στατιστικών χαρακτηριστικών (π.χ., μέση τιμή, τυπική απόκλιση και συντελεστή ασσυμετρίας) και συσχετίσεων στο χρόνο και το χώρο. Κάτι τέτοιο αποτελεί πρόβλημα γιατί, α) για δεδομένα στατιστικά χαρακτηριστικά χαμηλής τάξης πολλές κατανομές μπορεί να είναι συνεπής, κάτι που καθιστά το πρόβλημα μερικώς ορισμένο, και β) όπως αναδεικνύεται στην παρούσα διατριβή, αυτή η πρακτική μπορεί να οδηγήσει σε φραγμένες, και άρα μη ρεαλιστικές μορφές εξάρτησης μεταξύ διαδοχικών χρονικών βημάτων και/ή διεργασιών.Πέραν των παραπάνω, η χρήση συνθετικών χρονοσειρών μεγάλου μήκους σε συνδυασμό με μοντέλα προσομοίωσης υδατικών συστημάτων, ναι μεν παρέχει τη δυνατότητα ενσωμάτωσης της (υδρομετεωρολογικής) αβεβαιότητας, αλλά από την άλλη αυξάνει τον απαιτούμενο υπολογιστικό χρόνο, ειδικά στο πλαίσιο σχημάτων προσομοίωσης-βελτιστοποίησης. Αυτό με τη σειρά του, θέτει την πρόκληση της πρακτικής εφαρμογής τέτοιων σχημάτων για τη βελτιστοποίηση υδατικών συστημάτων υπό αβεβαιότητα. Κύριοι ερευνητικοί στόχοι και συνεισφορά της παρούσας διδακτορικής διατριβής είναι:α) Η ανάπτυξη μη-Γκαουσιανών στοχαστικών μοντέλων προσομοίωσης, τα οποία είναι επίσης ικανά να προσομοιώσουν τα ιδιαίτερα χαρακτηριστικά που παρουσιάζουν οι υδρομετεωρολογικές διεργασίες, δηλαδή, την διαλείπουσα συμπεριφορά, την χρονική και χωρική εξάρτηση, την περιοδικότητα καθώς και την πιθανοτική και στοχαστική συμπεριφορά τους σε πολλαπλές χρονικές κλίμακες.β) Η χρήση υποκατάστατων μοντέλων (surrogate models) για την ανάπτυξη μεθοδολογιών και αλγορίθμων που είναι σε θέση να αντιμετωπίσουν αποτελεσματικά και αποδοτικά προβλήματα βελτιστοποίησης υδατικών συστημάτων υπό αβεβαιότητα (μέσω του συνδυασμού στοχαστικών δεδομένων εισόδου και σχημάτων προσομοίωσης-βελτιστοποίησης).Με γνώμονα τα παραπάνω, και χρησιμοποιώντας τις θεωρίες στατιστικής, πιθανοτήτων και στοχαστικών ανελίξεων, αναπτύσσεται περαιτέρω και μελετάται διεξοδικά μια κατηγορία θεωρητικά συνεπών, μονό-μεταβλητών και πολύ-μεταβλητών μη-Γκαουσιανών στάσιμων και κύκλο-στάσιμων στοχαστικών μοντέλων. Αυτού του τύπου μοντέλα, ήταν μέχρι πρότινος άγνωστα στην υδρολογική κοινότητα, και αυτή η διατριβή είναι μια πρώτη προσπάθεια μελέτης τους και εναρμόνισης τους με τη στοχαστική υδρολογία. Τα προτεινόμενα μοντέλα είναι σε θέση να προσομοιώσουν όλα τα χαρακτηριστικά των υδρομετεωρολογικών διεργασιών ενώ ταυτόχρονα χαρακτηρίζονται από απλότητα και φειδωλή παραμετροποίηση. Επιπλέον, με βάση τα παραπάνω μοντέλα και τη βοήθεια επιμεριστικής διαδικασίας, αναπτύσσεται ένα αρθρωτό στοχαστικό πλαίσιο προσομοίωσης το οποίο επιτρέπει την αναπαραγωγή της πιθανοτικής και στοχαστικής συμπεριφοράς των υδρομετεωρολογικών διεργασιών σε πολλαπλές χρονικές κλίμακες (π.χ., από την ετήσια ως και ημερήσια ή και ακόμη μικρότερες κλίμακες). Τα πλεονεκτήματα των παραπάνω μοντέλων, αλλά και του αρθρωτού πλαισίου στοχαστικής προσομοίωσης, παρουσιάζονται και επαληθεύονται μέσα από πληθώρα υποθετικών και πραγματικών περιπτώσεων στοχαστικής προσομοίωσης.Τέλος, προκειμένου να διασφαλιστεί η αποτελεσματική εκμετάλλευση και ενσωμάτωση των νέων αυτών εξελίξεων, σχετικών με τη στοχαστική προσομοίωση υδρομετεωρολογικών διεργασιών, στο πλαίσιο του βέλτιστου σχεδιασμού και διαχείρισης υδατικών συστημάτων (σε συνδυασμό με στοχαστικά δεδομένα εισόδου), η παρούσα εργασία αναπτύσσει κατάλληλες μεθόδους και αλγορίθμους βελτιστοποίησης, που βασίζονται σε υποκατάστατα μοντέλα, για τον αποτελεσματικό χειρισμό προβλημάτων υδατικών συστημάτων υπό υδρομετεωρολογική αβεβαιότητα, ελαττώνοντας έτσι σημαντικά τον απαιτούμενο υπολογιστικό φόρτο.