Bayesian methods and estimation of nonlinear dynamical systems

Abstract

This thesis is concerned with the interplay between Bayesian Statistics and Nonlinear Dynamical Systems. Specifically, the main goal of the thesis is the development of new Markov Chain Monte Carlo (MCMC) methods that have applications in the general field of nonlinear dynamics. The motivation for this approach is the decomposition of the modeling procedure into two interacting parts: the deterministic part and the stochastic noise process. Using this kind of modeling, we are able to capture a wide variety of phenomena, utilizing the complex behavior of the nonlinear part and the new characteristics emerging from the interaction with the noise process. The proposed methods are nonparametric, based on the Geometric Stick-Breaking process as a prior over the space of probability measures. An important aspect of this work is the relaxation of a very common assumption in the literature: the normality of the noise distribution. In the first two Chapters we present basic notions, definitions and results of the fields of Bayesian statistics and dynamical systems. In Chapter 3 we propose a Bayesian nonparametric framework, the Geometric Stick Breaking Reconstruction (GSBR) model, suitable for the full reconstruction and prediction of dynamically-noisy corrupted time series, when the additive noise may exhibit significant departures from normality. We have used the Geometric Stick Breaking process as a prior over the unknown noise density, showing that it yields almost indistinguishable results from the more commonly used, but computationally more expensive, Dirichlet Process prior. The GSBR model is also generalized in order to include arbitrary number of finite lag terms and finally extended in the multivariate case, where the noise process is modeled as an infinite mixture of multivariate Normal kernels with unknown precision matrices, using Wishart distributions. In Chapter 4, the thesis proceeds with the proposal of a new Bayesian nonparametric method, the Dynamic Noise Reduction Replicator (DNRR) model, suitable for noise reduction over a given chaotic time series, subjected to the effects of (the perhaps non-Gaussian) additive dynamical noise. By using the DNRR, we are also able to relate the regions of primary homoclinic tangencies of the associated deterministic system, with regions of persistent high determinism deviations. Further, in relating the random dynamical systems with their associated deterministic parts, in Chapter 5 we present an extension of the GSBR sampler, in order to provide a MCMC-based stochastic approximation of the global stable manifold. Specifically, we have introduced the Backward GSBR (BGSBR) model, in order to estimate past unobserved observations, namely performing prediction in reversed time. The BGSBR sampler can be applied multiple times over proper subsets of the noisy observations, each time generating posterior samples for the various initial conditions. Then the global stable manifold of the associated deterministic map can be stochastically approximated as the union of the supports of the posterior marginal distributions. The method is parsimonious and efficient both in invertible and non-invertible maps. In Chapter 6 we present the main conclusions and address some relevant topics for further research, based on the results obtained during this thesis.

Η παρούσα διατριβή αφορά τη διάδραση μεταξύ Μπεϋζιανής στατιστικής και μη γραμμικών δυναμικών συστημάτων. Ειδικότερα, ο βασικός στόχος της διατριβής είναι η ανάπτυξη νέων μεθόδων Markov Chain Monte Carlo (MCMC) με εφαρμογές στο ευρύτερο πεδίο της μη γραμμικής δυναμικής. Το κίνητρο για την ανάπτυξη τέτοιων μεθόδων, αφορά την διάκριση της διαδικασίας μοντελοποίησης σε δύο βασικά διαδραστικά μέρη: το αιτιοκρατικό (ντετερμινιστικό) μέρος και τη στοχαστική διαδικασία θορύβου. Μέσω μιας τέτοιου είδους μοντελοποίησης, επιτυγχάνεται η σύλληψη μιας ευρείας συλλογής φαινομένων, αξιοποιώντας την πολυπλοκότητα της δυναμικής συμπεριφοράς λόγω του μη γραμμικού μέρους και τα νέα χαρακτηριστικά που αναδεικνύονται λόγω της εμπλοκής των στοχαστικών διαταραχών. Οι προτεινόμενες στατιστικές μέθοδοι είναι μη παραμετρικές και βασίζονται στη χρήση τυχαίων μέτρων πιθανότητας με γεωμετρικά βάρη (Geometric stick breaking process (GSB)) ως εκ των προτέρων κατανομές στο χώρο των μέτρων πιθανότητας. Μια σημαντική πτυχή των προτεινόμενων μεθόδων είναι η επίτευξη της χαλάρωσης μιας πολύ συχνής υπόθεσης στη βιβλιογραφία: της κανονικότητας της διαδικασίας θορύβου. Στα δύο πρώτα Κεφάλαια γίνεται αναφορά σε βασικές έννοιες της Μπεϋζιανής στατιστικής και της θεωρίας των δυναμικών συστημάτων. Στο Κεφάλαιο 3 κατασκεύαζουμε ένα μη παραμετρικό Μπεϋζιανό μοντέλο κατάλληλο για αναδόμηση των δυναμικών εξισώσεων και πρόγνωση μελλοντικών τιμών από παρατηρηθείσες χρονοσειρές μολυσμένες με προσθετικό δυναμικό θόρυβο: το μοντέλο geometric stick-breaking reconstruction (GSBR). Το GSBR μοντέλο βασίζεται στο τυχαίο μέτρο με γεωμετρικά βάρη (GSB), ενώ γίνεται επίσης παρουσίαση του αντίστοιχου μοντέλου Dirichlet process reconstruction (DPR) βασισμένου στο τυχαίο μέτρο DP, καθώς και η μεταξύ τους σύγκριση. Η μεθοδολογία επεκτείνεται ώστε να γίνει εφικτή η μοντελοποίηση χρησιμοποιώντας αυθαίρετο πεπερασμένο πλήθος όρων χρονικών υστερήσεων (lags), καθώς και στην πολυδιάστατη περίπτωση μέσω της άπειρης μίξης πολυδιάστατων κανονικών πυρήνων με άγνωστους πίνακες αποκρίσεων, χρησιμοποιώντας ως μέτρο μίξης το τυχαίο μέτρο GSB και μέτρο βάσης (base measure) μια κατανομή Wishart. Στο Κεφάλαιο 4, προτείνεται μια μη παραμετρική Μπεϋζιανή μεθοδολογία βασιζόμενη επίσης στο τυχαίο μέτρο GSB, με σκοπό τη μείωση δυναμικού θορύβου σε διαθέσιμα δεδομένα μη γραμμικών χρονοσειρών με προσθετικό θορυβο. Το μοντέλο Dynamic Noise Reduction Replicator (DNRR) επιτυγχάνει μεγάλη ακρίβεια στην αναδόμηση των δυναμικών εξισώσεων, ώστε να αναπαράγει την υποκείμενη δυναμική σε περιβάλλον ασθενέστερου δυναμικού θορύβου. Μέσω της εφαρμογής του DNRR είναι δυνατή η σύνδεση των περιοχών υψηλών αποκλίσεων από τον ντετερμινισμό με τις περιοχές των πρωταρχικών ομοκλινικών εφαπτομενικοτήτων του υποκείμενου ντετερμινιστικού συστήματος. Συσχετίζοντας τα στοχαστικά δυναμικά συστήματα με τα αντίστοιχα ντετερμινιστικά τους μέρη, στο Κεφάλαιο 5 παρουσιάζεται μία επέκταση του μοντέλου GSBR, με σκοπό τη στοχαστική προσέγγιση της ολικής ευσταθούς πολλαπλότητας (global stable manifold), με χρήση μεθόδου MCMC. Ειδικότερα, γίνεται παρουσίαση του οπισθοδρομικού (backward) GSBR μοντέλου BGSBR, μέσω του οποίου επιτυγχάνεται πρόβλεψη σε αντεστραμμένο χρόνο. Με κατάλληλες πολλαπλές εφαρμογές του BGSBR χρησιμοποιώντας υποσύνολα των διαθέσιμων δεδομένων, δείχνουμε ότι η ένωση των στηριγμάτων των περιθώριων κατανομών για τις διάφορες αρχικές συνθήκες παρέχουν μια στοχαστική προσέγγιση της ευσταθούς πολλαπλότητας του υποκείμενου ντετερμινιστικού συστήματος. Η μεθοδολογία είναι εφαρμόσιμη τόσο σε αντιστρέψιμες όσο και σε μη αντιστρέψιμες απεικονίσεις. Στο Κεφάλαιο 6 γίνεται σύνοψη των αποτελεσμάτων των προηγούμενων Κεφαλαίων και αναφορά σε θέματα για μελλοντική έρευνα, τα οποία προέκυψαν κατά τη διάρκεια εκπόνησης της παρούσας Διατριβής.