Bayesian analysis and model selection for contingency tables using power priors

Abstract

This dissertation offers an innovative analytical and methodological approach in Bayesian model selection and comparison in categorical data. The first contribution of this thesis is the prior construction using imaginary data and the power prior approach in order to obtain an objective Bayes model comparison approach. The second contribution is the implementation and adaptation of two versions of Perrakis Monte Carlo estimator for obtaining the marginal likelihood in contingency tables. The proposed Monte Carlo estimators are simple to implement and efficient in all examples and simulations illustrated in this thesis. Both estimators can be further used for other practical problems and contexts. A further but secondary contribution is a fact that we identify the problem of zero counts in sparse contingency tables and their effect on the estimation of the marginal likelihood. Here, we propose a way to alleviate this problem, this is an initial study and needs further treatment. Finally, we develop and study a similar prior approach based on the power prior and imaginary data for graphical models in three way contingency tables using conjugate analysis. Future research may include the Bayesian comparison and combination of the two different groups of models (the association and graphical models) consider here and their implementation (using the proposed methods of this thesis) in contingency tables of higher dimension.

Κεντρικός πυλώνας της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη προτεινόμενης μεθοδολογίας για τη Μπεϋζιανή ανάλυση κατηγορικών μεταβλητών σε πίνακες συνάφειας με σκοπό την επιλογή του καταλληλότερου μοντέλου. Η Μπεϋζιανή προσέγγιση εφαρμόστηκε τόσο σε μοντέλα συνάφειας, όσο και σε γραφικά μοντέλα σε πίνακες συνάφειας διπλής και τριπλής εισόδου, αντίστοιχα. Η προτεινόμενη μεθοδολογία περιλαμβάνει τον καθορισμό κατάλληλων εκ-των-προτέρων κατανομών, καθώς επίσης και υπολογιστικές τεχνικές για την εκτίμηση Μπεϋζιανών περιθώριων πιθανοφανειών, οι οποίες είναι απαραίτητες για τον υπολογισμό των εκ-των-υστέρων κατανομών στην Μπεϋζιανή σύγκριση και επιλογή του καταλληλότερου μοντέλου. Πιο συγκεκριμένα, η επιλογή κατάλληλης εκ-των-προτέρων κατανομής στη Μπεϋζιανή σύγκριση μοντέλων και των σχετικών ελέγχων είναι πολλές φορές προβληματική λόγω του γνωστού προβλήματος ευαισθησίας των εκ των υστέρων πιθανοτήτων και του παραδόξου των Barlett-Lindley. Το γεγονός αυτό οδήγησε στην ανάπτυξη αντικειμενικών Μπεϋζιανών τεχνικών, οι οποίες προτείνουν τη χρήση μη πληροφοριακών εκ-των-προτέρων κατανομών, όταν δεν υπάρχει καμία εκ-των-προτέρων πληροφορία για τα δεδομένα. Σε αυτο το πλαίσιο προτείνονται οι εκ-των-προτέρων κατανομές δύναμης. Για την εφαρμογή της προτεινόμενης μεθοδολογίας σε πίνακες συνάφειας, που στόχο έχει την επιλογή του καταλληλότερου μοντέλου συνάφειας, κατασκευάστηκαν δύο σενάρια εκ-των-προτέρων κατανομών με τη χρήση πλασματικών δεδομένων, τα οποία βασίστηκαν στις εκ-των-προτέρων κατανομές δύναμης. Για την αξιολόγηση των υπό εξέταση μοντέλων και Μπεϋζιανών ελέγχων και για τον υπολογισμό της περιθώριας κατανομής χρησιμοποιήθηκαν Monte Carlo εκτιμητές που βασίζονται σε αποτελέσματα MCMC τεχνικών. Εισάγουμε και εξετάζουμε δύο προτεινόμενους εκτιμητές που βασίζονται στην μεθοδολογία του Περράκη. Πραγματοποιήθηκε σύγκριση των αποτελεσμάτων με δύο εκδοχές της προσέγγισης κατά Laplace, την απλή και μία όπου συγκεκριμένες ποσότητες του εκτιμούνται μέσω MCMC. Τα αποτελέσματα έδειξαν ότι ο εκτιμητής που βασίζεται στην μεθοδολογία του Περράκη, λειτουργεί γρήγορα και αποτελεσματικά ακόμα και σε αραιούς πίνακες συνάφειας, όπου οι περισσότεροι εκτιμητές αποτυγχάνουν. Όλες οι τεχνικές εφαρμόστηκαν και ελέγχθηκαν σε πραγματικά δεδομένα αλλά και σε αναλυτικές μελέτες προσομοίωσης. Για να ελεγχθεί η εγκυρότητα της προτεινόμενης μεθοδολογίας χρησιμοποιήθηκαν κριτήρια αντικειμενικών μεθόδων Bayes, όπως συνέπεια επιλογής μοντέλων, συνέπεια πληροφορίας και το κριτήριο της αντιστοίχισης προβλεπτικών κατανομών. Τέλος, παρουσιάζεται η επέκταση της μεθοδολογίας στη χρήση μεθόδων Μπεϋζιανής ανάλυσης γραφικών μοντέλων σε πίνακες συνάφειας τριπλής εισόδου χρησιμοποιώντας εκ-των-προτέρων κατανομές δύναμης. Πιο συγκεκριμένα, η μέθοδος επεκτάθηκε από περιθώρια ανεξαρτησία σε ανεξαρτησία υπό συνθήκη για τρείς κατηγορικές μεταβλητές, και περιλαμβάνει κατάλληλες επιλογές εκ-των-προτέρων κατανομών, εκτίμηση και προσδιορισμός του μοντέλου και συναφή υπολογιστικά ζητήματα. Σε κάθε μοντέλο ανεξαρτησίας υπό συνθήκη αντιστοιχείται μια συγκεκριμένη παραγοντοποίηση των πιθανοτήτων των κελιών και εφαρμόζεται συζυγής ανάλυση, βασιζόμενη σε Dirichlet εκ-των-προτέρων κατανομές. Εκ-των-προτέρων κατανομές μοναδιαίας ερμηνευτικής πληροφορίας χρησιμοποιούνται σαν μέτρο σύγκρισης με στόχο να ελεγχθεί και να ερμηνευθεί η επίδραση οποιονδήποτε εκ-των-προτέρων κατανομών. Για να υπολογιστούν οι εκ-των-υστέρων κατανομές των παραμέτρων των γραφικών μοντέλων χρησιμοποιήθηκαν MCMC μέθοδοι. Η προτεινόμενη μεθοδολογία εφαρμόστηκε σε πραγματικά αλλά και σε προσομοιωμένα δεδομένα.Αυτή η διατριβή προσφέρει μια καινοτόμο αναλυτική και μεθοδολογική προσέγγιση για την Μπεϋζιανή επιλογή και σύγκριση μοντέλων σε κατηγορικά δεδομένα. Η πρώτη συμβολή της παρούσας διδακτορικής διατριβής είναι η κατασκευή εκ-των-προτέρων κατανομών, για τις οποίες χρησιμοποιήθηκαν πλασματικά δεδομένα και η προσέγγιση της εκ-των-προτέρων κατανομής δύναμης, με σκοπό την εξασφάλιση μιας αντικειμενικής Μπεϋζιανής μεθοδολογίας σύγκρισης μοντέλων. Η δεύτερη συνεισφορά είναι η εφαρμογή και προσαρμογή δύο εκδοχών του Monte Carlo εκτιμητή του Περράκη για την εκτίμηση και τον υπολογισμό της περιθώριας κατανομής σε πίνακες συνάφειας. Οι προτεινόμενοι Monte Carlo εκτιμητές είναι απλοί στην εφαρμογή τους και αποτελεσματικοί σε όλα τα παραδείγματα που εφαρμόστηκαν όπως και στην αναλυτική προσομοίωση που πραγματοποιήθηκε στα πλαίσια αυτού του διδακτορικού. Και οι δύο εκτιμητές μπορούν να χρησιμοποιηθούν και σε άλλα πρακτικά προβλήματα και γενικότερα πλαίσια. Μια επιπλέον, αλλά δευτερεύουσα συνεισφορά, είναι το γεγονός ότι αναγνωρίσαμε και ταυτοποιήσαμε το πρόβλημα των μηδενικών κελιών σε αραιούς πίνακες συνάφειας και την επίδρασή που έχουν στην εκτίμηση της περιθώριας κατανομής. Εδώ προτείνουμε τρόπους για την εξομάλυνση του προβλήματος αυτού, είναι μια αρχική μελέτη και χρειάζεται περαιτέρω και εις βάθος αντιμετώπιση. Τέλος, αναπτύξαμε και μελετήσαμε μια παρόμοια προσέγγιση εκ-των-προτέρων κατανομής βασιζόμενοι στη χρήση εκ-των-προτέρων κατανομών δύναμης και πλασματικών δεδομένων σε γραφικά μοντέλα για πίνακες συνάφειας τριπλής εισόδου χρησιμοποιώντας συζυγή ανάλυση. Σε μελλοντική έρευνα θα μπορούσε να υπάρχει η σύγκριση και ο συνδυασμός των δύο διαφορετικών γκρουπ μοντέλων (μοντέλα συνάφειας και γραφικών μοντέλων) που μελετήθηκαν εδώ καθώς και η εφαρμογή της προτεινόμενης μεθοδολογίας αυτού του διδακτορικού σε πίνακες μεγαλύτερων διαστάσεων.