Empirical assessment of the discrimination ability of cardiovascular disease risk prediction models for mortality

Abstract

Prognostic tools should be evaluated in several sequential stages: initial model performance (model development), prospective validation in independent cohorts (external validation of a model), impact on patient management and outcome and cost-effectiveness. However, even for established and widely used prognostic tools, many of these steps suffer from methodological limitations and in many cases are missing. Moreover, it is important to highlight the paucity of evidence around their impact on patient management and clinical outcomes. Such important evidence would ideally come from randomized control trials (RCTs), which compare the outcomes of patients whose management is guided by the proposed prognostic tool with the outcomes of patients who are managed without it. However, there are so many prognostic tools, that it is impossible to evaluate all of them in RCTs. Efforts should focus around those with most promising results. In selecting which models to test in randomized trials, one may wish to consider not only satisfactory, validated discriminating ability, but also what is the respective change in disease management that can be anticipated; how effective are the available preventive or treatment interventions for the disease and how much room exists for improvement; what is the expected cost to get the information required for building the model, and to implement it in practice; and how likely it is that the model can be used widely by non-expert health practitioners. Going through such a checklist is likely to eliminate the large majority of proposed prognostic models. Nevertheless, there are currently no randomized trials assessing the implementation of any cardiovascular prediction models. Such studies should be encouraged. A more through and systematic research agenda would be useful to build surrounding late implementation issues, including ease of use, and impact on resources in diverse settings.The bottom line is that the best test of a prediction model is not accuracy but improved clinical outcomes. Compared with clinician judgment, a prediction model might improve diagnostic accuracy, reduce costs and harms, and lead to improved health outcomes. Documenting this benefit requires RCTs in which providers are randomized to use the proposed prediction model or not, and the outcome is improved health. Very few models have been tested in this way. Prediction of risk is not enough—we need evidence that prediction can lead to actions that reduce risk beyond what would occur without the prediction rule.

Όμως, ποια προγνωστικά εργαλεία πληρούν τις προϋποθέσεις για ευρεία εφαρμογή σε πληθυσμιακό επίπεδο; Τα προγνωστικά μοντέλα θα πρέπει να αξιολογηθούν σε διαδοχικά στάδια: η αρχική διακριτική ικανότητα του μοντέλου (ανάπτυξη του μοντέλου), προοπτική επικύρωση σε ανεξάρτητες κοόρτες (εξωτερική επικύρωση του μοντέλου), αξιολόγηση του αντίκτυπου όσο αφορά τον χειρισμό των ασθενών, κλινικές εκβάσεις, και κόστους-αποτελεσματικότητας από την χρήση των προγνωστικών μοντέλων. Ωστόσο, ακόμα και για εδραιωμένα και ευρέως χρησιμοποιούμενα προγνωστικά μοντέλα, πολλά από τα προαναφερθέντα στάδια αξιολόγησης έχουν μεθοδολογικούς περιορισμούς και σε αρκετές περιπτώσεις απουσιάζουν.Ιδιαίτερης σημασίας είναι η έλλειψη ισχυρών τεκμηρίων όσο αφορά την αποτελεσματικότητα και τον αντίκτυπο της χρήσης των προγνωστικών μοντέλων στον χειρισμό των ασθενών (ή υγιών ατόμων που βρίσκονται σε κίνδυνο για κάποια συγκεκριμένη έκβαση με βάση το προγνωστικό μοντέλο) και σε κλινικές εκβάσεις. Τέτοια τεκμήρια θα μπορούσαν ιδανικά να προέρχονται από τυχαιοποιημένες κλινικές δοκιμές, οι οποίες θα συνέκριναν συγκεκριμένες εκβάσεις μεταξύ ασθενών των οποίων η θεραπευτικές παρεμβάσεις καθοδηγήθηκαν με βάση τον υπολογιζόμενο κίνδυνο από τη χρήση προγνωστικών μοντέλων, και ασθενών για τους οποίους δεν χρησιμοποιήθηκε η πληροφορία από τα προγνωστικά μοντέλα. Ωστόσο, υπάρχουν τόσα διαφορετικά προγνωστικά μοντέλα, τα οποία δεν μπορούν όλα να αξιολογηθούν μέσω τυχαιοποιημένων κλινικών δοκιμών. Οι προσπάθειες θα πρέπει να επικεντρωθούν στα πιο υποσχόμενα μοντέλα. Η διαδικασία επιλογής αυτών των μοντέλων που θα πρέπει να αξιολογηθούν σε επίπεδο τυχαιοποιημένων κλινικών δοκιμών, δεν πρέπει να βασιστεί μόνο στην διακριτική ικανότητα των μοντέλων ανεξαρτήτως επικύρωσης σε διαφορετικές μελέτες επικύρωσης, αλλά επιπλέον θα πρέπει κάποιος να συνυπολογίσει εάν υπάρχει η δυνατότητα και ποιες θα είναι οι πιθανές αλλαγές στην περαιτέρω θεραπευτική αντιμετώπιση που θα επιφέρει η χρήση κάποιου προγνωστικού μοντέλου; πόσο αποτελεσματικές είναι οι παρούσες προληπτικές ή θεραπευτικές παρεμβάσεις και εάν υπάρχουν περιθώρια βελτίωσης; ποιο είναι το αναμενόμενο κόστος για την εφαρμογή του μοντέλου στην κλινική πράξη; και τέλος πόσο πιθανό είναι το συγκεκριμένο μοντέλο να μπορεί να χρησιμοποιηθεί ευρέως από μη-ειδικούς. Εφαρμόζοντας μία σειρά από τέτοια ερωτήματα είναι πολύ πιθανό να αποκλειστεί η μεγαλύτερη πλειοψηφία προγνωστικών μοντέλων. Παρόλα αυτά, δεν υπάρχουν μέχρι στιγμής τυχαιοποιημένες κλινικές δοκιμές που να αξιολογούν συγκεκριμένα την χρήση προγνωστικών μοντέλων για την εκτίμηση του καρδιαγγειακού κινδύνου. Εν κατακλείδι, το πιο αξιόπιστο μέτρο εκτίμησης ενός προγνωστικού μοντέλου δεν είναι η διακριτική ικανότητα του μοντέλου, αλλά η βελτίωση μέσω της εφαρμογής του των κλινικών εκβάσεων. Η πρόγνωση του κινδύνου δεν είναι αρκετή, απαιτούνται τεκμήρια ότι η πρόγνωση μπορεί να οδηγήσει σε ενέργειες που θα μειώσουν τον κίνδυνο σε μεγαλύτερο βαθμό σε σχέση με την μη εφαρμογή του.