Accuracy of diagnostic methods against foodborne pathogens: a novel systematic and meta-analytical approach

Abstract

Systematic review and meta-analysis of diagnostic test accuracy (DTA) studies are essential for guideline development, yet there is uncertainty concerning the appropriate statistical model to use, how to handle heterogeneity, and how to account for imperfect reference standards. These questions are particularly relevant for foodborne bacterial pathogens, where conventional stool culture has limitations and newer molecular and enzyme immunoassay (EIA)-based tests are increasingly used. The overarching aim of this thesis is to compare alternative statistical models for DTA meta-analysis, using diagnostic tests against Campylobacter spp. and Salmonella spp., Shiga toxin–producing Escherichia coli (STEC) as applied case studies, and to translate these findings into decision-analytic outcomes of testing strategies.Two pathogen-specific meta-analyses evaluated multiplex NAAT/PCR versus culture for Campylobacter spp. and Salmonella spp. Six modelling approaches are compared: 1) the conventional frequentist bivariate random-effects model, 2) split component synthesis (SCS), 3) Bayesian bivariate model, 4) Bayesian hierarchical summary ROC (HSROC) model, and the latent class extensions of the two Bayesian models that relax the assumption of a perfect reference standard. Across both pathogens, multiplex NAAT/PCR showed high specificity and high but model-dependent sensitivity. Additionally, in the latent class HSROC model, culture was found to have higher sensitivity. All models agreed to a great extent on specificity estimates, but the bivariate model yielded higher pooled sensitivities with narrower intervals under substantial heterogeneity, whereas HSROC and SCS approaches provided more conservative and robust estimates. Allowing for imperfect culture as a reference led to only modest changes in pooled sensitivity and specificity in these datasets. A third meta-analysis addressed the diagnostic performance of EIA and NAAT/PCR assays against STEC. These tests have been incorporated into diagnostic algorithms, but their diagnostic accuracy remains uncertain. Bayesian latent class HSROC and bivariate models were used to jointly estimate the accuracy of EIAs and NAAT/PCR for a latent STEC infection state, explicitly acknowledging misclassification by both tests and accommodating between-study heterogeneity and threshold effects. Within this framework, NAAT/PCR assays retained high but not perfect sensitivity and specificity, EIAs demonstrated higher sensitivity and lower specificity compared to what was found in a previous meta-analysis that treated NAAT-based assays as the gold standard. Finally, pooled accuracy estimates from the pathogen-specific meta-analyses are embedded in a decision-analytic model that compares alternative testing strategies (culture-based, NAAT/PCR-based, combined and conditional algorithms) in terms of correct or false treatment, delayed or missed infections, net or expected benefit and incremental correct classification depending on prevalence and decision criteria. Collectively, the thesis (i) demonstrated that HSROC- and SCS-type models are preferable to standard bivariate models when heterogeneity is moderate to high, (ii) illustrated how latent class models can be used to obtain accuracy estimates in the absence of a gold standard, and (iii) showed how DTA meta-analytic results can be translated into decision-relevant outcomes. The resulting recommendations and roadmap provide practical guidance for analysts conducting DTA meta-analyses and for clinicians/public health professionals interpreting diagnostic evidence.

Οι συστηματικές ανασκοπήσεις και μετα-αναλύσεις για την ακρίβεια διαγνωστικών δοκιμών (Diagnostic Test Accuracy, DTA) αποτελούν θεμελιώδες εργαλείο για την ανάπτυξη κατευθυντήριων οδηγιών. Ωστόσο, υπάρχει αβεβαιότητα σχετικά με το ποιο στατιστικό μοντέλο είναι καταλληλότερο, πώς πρέπει να αντιμετωπίζεται η ετερογένεια ανάμεσα στις μελέτες, και αν το τεστ αναφοράς (reference standard) θεωρείται τέλειο ή όχι. Τα ζητήματα αυτά είναι ιδιαίτερα σημαντικά για τα βακτηριογενή τροφιμογενή νοσήματα, όπου η συμβατική καλλιέργεια κοπράνων παρουσιάζει περιορισμούς, ενώ νεότερες μοριακές και ανοσολογικές δοκιμές χρησιμοποιούνται ολοένα και περισσότερο. Ο γενικός στόχος της παρούσας διατριβής είναι η σύγκριση εναλλακτικών στατιστικών μοντέλων για τη μετά-ανάλυση DTA μελετών, χρησιμοποιώντας διαγνωστικές δοκιμές έναντι των Campylobacter spp., Salmonella spp., και Escherichia coli παραγωγού τοξίνης Shiga (STEC) ως εφαρμοσμένες μελέτες περίπτωσης και σε μετάφραση αυτών των ευρημάτων σε αποφάσεις για την καλύτερη διαγνωστική προσέγγιση και στρατηγική. Σε τρείς συνολικά μετα-αναλύσεις, μία για κάθε παθογόνο, αξιολογήθηκε η διαγνωστική απόδοση των πολλαπλών θέσεων μοριακών δοκιμών NAAT/PCR σε σύγκριση με την καλλιέργεια για Campylobacter spp., Salmonella spp., και ανοσολογικών δοκιμών για STEC. Συγκρίθηκαν έξι στατιστικά μοντέλα:1) το κλασσικό Bivariate model, 2) Split Component Synthesis (SCS), 3) το Bayesian Bivariate, 4) Bayesian hierarchical summary ROC (HSROC) καθώς και οι λανθάνουσες εκδοχές των δύο τελευταίων (latent class extensions), που χαλαρώνουν την υπόθεση της τέλειας δοκιμής. Για την διάγνωση του καμπυλοβακτηριδίου και της σαλμονέλας, η NAAT/PCR πολλαπλών θέσεων εμφάνισε χαμηλότερη ευαισθησία σε σχέση με την καλλιέργεια και υψηλή ειδικότητα. Όλα τα μοντέλα παρήγαγαν παρόμοιες εκτιμήσεις για την ειδικότητα, ωστόσο το Bivariate μοντέλο έδωσε υψηλότερες εκτιμήσεις ευαισθησίας με μικρότερα διαστήματα εμπιστοσύνης σε συνθήκες μεγάλης ετερογένειας μεταξύ των μελετών, ενώ οι προσεγγίσεις HSROC και SCS παρείχαν πιο αξιόπιστες εκτιμήσεις. Η χαλάρωση της υπόθεσης ότι η καλλιέργεια είναι το τέλειο τεστ, οδήγησε σε μικρές μόνο μεταβολές στις συνολικές εκτιμήσεις ευαισθησίας και ειδικότητας. Η τρίτη μετα-ανάλυση εξέτασε τη διαγνωστική απόδοση των ανοσολογικών δοκιμών (EIA) και των NAAT/PCR για την ανίχνευση STEC. Οι δοκιμές αυτές αποτελούν νέα προσθήκη στους διαγνωστικούς αλγορίθμους, με συνεπώς αβέβαιη διαγνωστική ακρίβεια. Χρησιμοποιήθηκαν τα Bayesian latent class HSROC και bivariate μοντέλα ώστε να εκτιμηθεί από κοινού η ακρίβεια των EIA και NAAT/PCR, λαμβάνοντας υπόψη ότι και τα δύο τεστ δεν είναι τέλεια, καθώς και την ύπαρξη ετερογένειας μεταξύ των μελετών. Στο πλαίσιο αυτό, οι δοκιμές NAAT/PCR διατήρησαν υψηλή αλλά όχι τέλεια ευαισθησία και ειδικότητα, ενώ οι δοκιμές EIAs επέδειξαν υψηλότερη ευαισθησία και χαμηλότερη ειδικότητα από ό,τι βρέθηκε σε προηγούμενη μετα-ανάλυση που χρησιμοποίησε τα τεστ που βασίζονται σε NAAT/PCR ως χρυσά πρότυπα (gold standards). Τέλος, οι εκτιμήσεις ακρίβειας από τις μετα-αναλύσεις ενσωματώθηκαν σε μία εφαρμογή όπου αξιολογήθηκαν διάφορες στρατηγικές (μόνο καλλιέργεια, NAAT/PCR και καλλιέργεια σε όλα τα δείγματα ή καλλιέργεια μόνο στα θετικά από NAAT/PCR ) ως προς πόσοι έλαβαν την σωστή ή την λάθος θεραπεία, πόσοι δεν έλαβαν ή καθυστέρησαν να λάβουν, το σχετικό ή αναμενόμενο όφελος, το ποσοστό ορθής ταξινόμησης με βάση τον επιπολασμό και τα κριτήρια απόφασης. Συνοψίζοντας, η διατριβή έδειξε: (i) ότι τα μοντέλα τύπου HSROC και SCS είναι προτιμότερα έναντι των κλασικών Bivariate, όταν η ετερογένεια είναι μέτρια προς υψηλή, (ii) πώς τα λανθάνοντα μοντέλα μπορούν να χρησιμοποιηθούν για την εκτίμηση της διαγνωστικής ακρίβειας σε απουσία τέλειας δοκιμής, και (iii) πώς τα αποτελέσματα μετα-αναλύσεων DTA μπορούν να μεταφραστούν σε κλινικές συνέπειες και σύγκριση στρατηγικών για την καλύτερη διαχείριση. Οι τελικές συστάσεις και ο προτεινόμενος μεθοδολογικός οδικός χάρτης παρέχουν πρακτική καθοδήγηση τόσο για αναλυτές που εκτελούν μετα-αναλύσεις DTA όσο και για κλινικούς ή επιδημιολόγους που ερμηνεύουν διαγνωστικά δεδομένα.