Efficient bayesian marginal likelihood estimation for generalized latent trait models

Abstract

The term latent variable model (LVM) refers to a broad family of models which are used to capture abstract concepts (unobserved/latent variables or factors) by means of multiple indicators (observed variables or items). The key idea is that all dependencies among p observed variables are attributed to k unobserved ones, where k << p. That is, the LVM methodology is a multivariate analysis technique which aims to reduce the dimensionality, with as little loss of information as possible. Most importantly, the LVMs account for constructs that are not directly measurable, as for instance individuals’ emotions, traits, attitudes and perceptions. In the current thesis, the LVMs are studied within the Bayesian paradigm, where model evaluation is conducted on the basis of posterior model probabilities. A key role in this comparison is played by the models’ marginal likelihood, which is often a high dimensional integral, not available in closed form. The properties of the LVMs are implemented here in order to efficiently approximate the marginal likelihood. In particular, Chapter 1 presents the origins and the basic ideas of the different types of latent variables models. The key aspects of the Bayesian analysis were outlined and the recent literature with respect to the LVMs is reviewed. Chapter 2 focuses on LVMs with binary data and describes the steps required in the Bayesian model assessment (prior specification, sampling from the posterior and Bayesian model comparison). In Chapter3 two different formulations of the LVM marginal likelihood are presented. The variance components associated with each approach are specified and the factors that influence the corresponding errors are outlined. Additionally, the effect of the sample covariation on the estimators is explained and an index of the sample’s divergence from independence is introduced, as a multivariate extension of covariance. Chapter 4 illustrates how the properties of the LVMs can be used to simplify often used estimators in the literature and to reduce the computational time required. Chapter 5 draws a link between Bayesian statistics and ideas initially presented in thermodynamics. It is shown that probability distribution divergences can be estimated via thermodynamic integration, while new thermodynamic marginal likelihood estimators are introduced. In Chapter 6, the methods discussed throughout in this thesis are illustrated in simulated and real life datasets. The thesis closes with a brief discussion on the current findings which prompt future research.

Ο όρος μοντέλα λανθανουσών μεταβλητών (ΜΛΜ) αναφέρεται σε μία ευρεία οικογένεια μοντέλων τα οποία χρησιμοποιούνται για να μετρήσουν αφηρημένες έννοιες (μη παρατηρούμενες/ λανθάνουσες μεταβλητές ή παράγοντες) χρησιμοποιώντας πολλαπλούς δείκτες(παρατηρούμενες μεταβλητές ή λήμματα). Η κεντρική ιδέα είναι ότι οι σχέσεις μεταξύ των p παρατηρούμενων μεταβλητών μπορούν να αποδοθούν σε k μη παρατηρούμενες μεταβλητές, όπου k<<p. Κατά συνέπεια, η ΜΛΜ μεθοδολογία συνιστά μία πολυμεταβλητή ανάλυση που στόχο έχει να μειώσει τις διαστάσεις, με όσο το δυνατόν λιγότερη απώλεια πληροφορίας. Ακόμα σημαντικότερο είναι το γεγονός ότι τα ΜΛΜ μπορούν να μετρήσουν ποσότητες που δεν είναι άμεσα μετρήσιμες, όπως για παράδειγμα συναισθήματα, τάσεις, στάσεις και αντιλήψεις ατόμων. Στην παρούσα διατριβή, τα ΜΛΜ μελετούνται σύμφωνα με τη στατιστική κατά Bayes, όπου η αξιολόγηση των μοντέλων γίνεται μέσω της εκ των υστέρων πιθανότητας. Βασικό ρόλο σε αυτό διαδραματίζει η περιθώρεια πιθανοφάνεια του εκάστοτε μοντέλου, η οποία συχνά είναι ένα πολυδιάστατο ολοκλήρωμα το οποίο δεν υπολογίζεται σε κλειστή μορφή. Σε αυτή την εργασία χρησιμοποιούνται οι ιδιότητες των ΜΛΜ προκειμένου να εκτιμηθεί αποτελεσματικά η περιθώρεια πιθανοφάνεια. Συγκεκριμένα, στο Κεφάλαιο 1 παρουσιάζονται οι απαρχές και οι βασικές ιδέες των διαφορετικών τύπων ΜΛΜ. Παρουσιάζονται επίσης τα βασικά σημεία της ανάλυσης κατά Bayes και γίνεται αναδρομή στη σύγχρονη βιβλιογραφία. Το Κεφάλαιο 2 εστιάζει στα ΜΛΜ με δίτιμες μεταβλητές και περιγράφει τα βασικά σημεία της ανάλυσης κατά Bayes (επιλογή της εκ των προτέρων κατανομής, δειγματοληψία από την εκ των υστέρων κατανομή και αξιολόγηση του μοντέλου). Στο Κεφάλαιο 3 παρουσιάζονται δύο εναλλακτικές μορφές της περιθώρειας πιθανοφάνειας. Υπολογίζονται οι συνιστώσες της μεταβλητότας που αφορούν την κάθε μία από τις δύο προσεγγίσεις καθώς και οι παράγοντες που τις επηρεάζουν. Eπιπλέον, περιγράφεται αναλυτικά ο ρόλος της δειγματικής συνδιασποράς και παρουσιάζεται ένας δείκτης απόκλισης από την ανεξαρτησία, ως το πολυδιάστατο ανάλογο της συνδιασποράς. Στο Κεφάλαιο 4 οι ιδιότητες των ΜΛΜ χρησιμοποιούνται για να απλοποιήσουν γνωστούς εκτιμητές της περιθώρειας πιθανοφάνειας, μειώνοντας έτσι το χρόνο που χρειάζεται για τον υπολογισμό τους. Στο Κεφάλαιο 5 παρουσιάζεται η στενή σχέση της στατιστικής κατά Bayes με τις ιδέες που έχουν αναπτυχθεί στο χώρο της Θερμοδυναμικής. Αποδεικνύεται ότι οι αποκλίσεις μεταξύ κατανομών πιθανοτήτων μπορούν να εκτιμηθούν μέσω της Θερμοδυναμικής ολοκλήρωσης, ενώ παρουσιάζονται νέοι εκτιμητές της περιθώρειας πιθανοφάνειας. Στο Κεφάλαιο 6, οι μέθοδοι που αναφέρονται στην παρούσα διατριβή, εφαρμόζονται και συγκρίνονται σε προσομοιωμένα και σε πραγματικά δεδομένα. Η διατριβή ολοκληρώνεται με μία σύντομη συζήτηση των σημείων που χρήζουν μελλοντικής έρευνας.