Εμπειρικές αποτιμήσεις αντιπροσωπευτικότητας τεκμηρίων από κλινικές μελέτες

Abstract

Two common fields clinical trials assess are these of therapeutic interventions and the development of new prognostic models. In both cases investigators should consider the parameter of the external validity of the results. In the field of the assessment of therapeutic interventions this means that the sample size of the study should be representative to the population the intervention will finally been applied. In the field of prognostic literature investigators often assess a new predictor to its ability to improve the predictive performance of an already validated model. In this case, the results would be representative if the old model will be used and calculated as it was designed (e.g. in the same population, with the same risk factors, for the same outcome) and with the less biases possible. Data in the literature support that older patients, women and ethnic minorities are often underrepresented in clinical trials of medical treatments and biases affect the representation of the evidence in the field of the assessment of new predictors. Purpose: Our aim was firstly to evaluate if the elderly are underrepresented in clinical trials of a disease affecting mainly them, the osteoarthritis. Secondly, we intended to assess if one of the most famous and validated prognostic models, the Framingham risk score (FRS), was used and calculated as a base for the evaluation of new prognostic factors in a way affecting the representation of the results. Methods: For the first arm of this study we retrieved clinical trials of osteoarthritis interventions from Cochrane library systematic reviews, independently of the outcome assessed, and the age distribution of each trial’s participants and eligibility criteria were recorded. For the second arm, all studies which had evaluated the additive prognostic value of a new factor to FRS and had cited the reference paper of FRS were retrieved. We captured information for the use and calculation of FRS, the population studied, the outcomes and details of the analysis and reporting. Results: Data from 219 eligible trials from 18 systematic reviews were analyzed. The average mean age of the participants was 63 years. Only 13 trials (6.4%) had a mean age between 71 and 80 years and only one trial had a mean age exceeding 80 62 years. Among trials where the age range of participants was available or could be approximately inferred, we estimated that 66 (38%) trials had not included any patients over 80 years old. Only 23 trials specifically excluded patients over 70 years based on reported eligibility criteria, 168 trials excluded patients with various comorbidities and 142 trials excluded patients receiving other specific treatments. For the second arm, 79 eligible articles were evaluated. Forty-nine studies (62%) did not calculate the FRS as it has been proposed, 41 (52%) did not examine the original outcome that the FRS was developed for and 33 (42%) studied a population different from what the FRS was intended for. Evaluation of independence in multivariable regressions, discrimination in AUC, calibration, and reclassification were reported in 77, 36, 7 and 7 studies, respectively, but these methods were adequately documented in only 60, 13, 4 and 2 studies, respectively. Twenty five (32%) studies claimed improved prediction in 1 subgroup but only 7 (9%) formally tested subgroup differences. Overall, 63 studies (80%) claimed some improved prediction. Increase in AUC was larger when the predictive performance of the FRS was lower and when evaluation of independence in multivariable regression or discrimination in AUC analysis was not adequately documented. Conclusions: Elderly patients are considerably underrepresented in clinical trials of osteoarthritis. At the field of prognostic factor studies flaws in their design, analyses, and reporting were documented. The above cast some doubt on how representative evidence can arise in these sections of the literature

Δυο συνήθη ερωτήματα που εξετάζουν οι κλινικές μελέτες είναι η αποτελεσματικότητα θεραπευτικών παρεμβάσεων και η εγκυρότητα νέων προγνωστικών παραγόντων. Σε αμφότερες τις περιπτώσεις μια σημαντική παράμετρος που πρέπει να λαμβάνεται υπόψη είναι η αντιπροσωπευτικότητα των τεκμηρίων που θα προκύψουν (εξωτερική εγκυρότητα). Στην πρώτη περίπτωση η βέλτιστη εξωτερική εγκυρότητα επιτυγχάνεται όταν ο πληθυσμός που μελετάται είναι πλήρως αντιπροσωπευτικός ως προς τα χαρακτηριστικά του (ηλικία, φύλο, φυλή, συνυπάρχοντα νοσήματα και φάρμακα, κτλ) με τον πληθυσμό πάνω στον οποίο θα εφαρμοσθεί τελικά η εξεταζόμενη θεραπευτική παρέμβαση. Στη δεύτερη περίπτωση οι ερευνητές συχνά εξετάζουν κατά πόσον ένας νέος προγνωστικός δώσει μπορεί να παρέχει πρόσθετη προγνωστική πληροφορία όταν προστίθεται σε ένα αποδεδειγμένα έγκυρο προγνωστικό μοντέλο. Στην περίπτωση αυτή η αντιπροσωπευτικότητα των τεκμηρίων έγκειται στην αποτίμηση της πρόσθετης αξίας δόκιμων προγνωστικών παραγόντων σε ήδη υπάρχοντα μοντέλα τα οποία θα χρησιμοποιούνται ακριβώς όπως έχουν σχεδιασθεί (π.χ. για τον ίδιο πληθυσμό, με τους ίδιους παράγοντες, για την ίδια έκβαση) και με τα λιγότερα δυνατά συστηματικά σφάλματα Υπάρχουν δεδομένα ότι οι γηραιότεροι ασθενείς, οι γυναίκες και οι φυλετικές μειονότητες υπό αντιπροσωπεύονται στις κλινικές μελέτες θεραπευτικών παρεμβάσεων καθώς και ότι συστηματικά σφάλματα επηρεάζουν την αντιπροσωπευτικότητα των τεκμηρίων στη βιβλιογραφία των προγνωστικών παραγόντων. Σκοπός: Σκοπός αυτής της μελέτης, ήταν να ελέγξει εάν οι ηλικιωμένοι ασθενείς υπό-αντιπροσωπεύονται σε κλινικές δοκιμές ενός νοσήματος που αφορά κυρίως αυτούς, την οστεοαρθρίτιδα, καθώς και αν η χρήση ενός από τα πιο διαδεδομένα και επικυρωμένα προγνωστικά μοντέλα, αυτό του Framingham, ως βάση για την εκτίμηση προγνωστικών δεικτών είχε γίνει με τρόπο που να επηρεάζει την αντιπροσωπευτικότητα των αποτελεσμάτων. Mέθοδοι: Για το πρώτο σκέλος της εργασίας εξετάσαμε τις μελέτες που είχαν αναλυθεί στις συστηματικές ανασκοπήσεις της Cochrane για την οστεοαρθρίτιδα ανεξάρτητα από το ποια θεραπευτική παρέμβαση είχε εξεταστεί και καταγράψαμε 60 κάθε πληροφορία για την ηλικία των ασθενών και τα κριτήρια εισαγωγής. Για το δεύτερο σκέλος χρησιμοποιήσαμε όλες τις μελέτες που εξέταζαν την πρόσθετη αξία ενός προγνωστικού δείκτη όταν προστίθεται στο προγνωστικό μοντέλο Framingham (FRS) και είχαν παραπομπή στην αναφορική του FRS μελέτη στις αναφορές τους. Καταγράψαμε πληροφορίες για τη χρήση του FRS, τον πληθυσμό, τις εκβάσεις και λεπτομέρειες για την ανάλυση και την παράθεση των αποτελεσμάτων. Αποτελέσματα: Αναλύσαμε 219 μελέτες από 18 συστηματικές ανασκοπήσεις της Cochrane για οστεοαρθρίτιδα. Η μέση ηλικία των ασθενών ήταν τα 63 έτη. Μόνο 13 μελέτες (6,4%) είχαν ασθενείς με μέση ηλικία 71-80 έτη και μόνο 1 είχε ασθενείς με μέση ηλικία άνω των 80. Εξήντα έξι μελέτες (38%) δεν είχαν συμπεριλάβει κανένα ασθενή άνω των 80 ετών. Μόνο 23 μελέτες απέκλεισαν συμμετέχοντες άνω των 70 ετών βασιζόμενες στα κριτήρια αποκλεισμού ενώ 168 μελέτες τους απέκλεισαν λόγω συνυπαρχόντων νοσημάτων και 142 εξαιτίας λήψης άλλων θεραπειών. Για το δεύτερο σκέλος αναλύσαμε 79 κατάλληλες μελέτες. Σαράντα εννέα από αυτές (62%) δεν είχαν υπολογίσει το FRS όπως αυτό έχει προταθεί, 41 (52%) δεν εξέτασαν σαν έκβαση αυτή του FRS, 33 (42%) είχαν εξετάσει διαφορετικό πληθυσμό από εκείνον για τον οποίο είναι σχεδιασμένο το FRS.