Boosting organizational decision making through structured Super-Forecasting: a risk management based approach

Abstract

The success of the Good Judgment Project in harnessing the power of superforecasting naturally leads to the question as to how one can implement that approach on a smaller scale with more limited resources and fewer participants. Small(er) corporate environments and SME-type decision structures are prime examples where a modified superforecasting approach can be used. In this research we focus on a hybrid approach of judgmental forecasting on special events where we combine training of superforecasters- to-be via the concept of a modified version of structured analogies, a staple of judgmental forecasting in the literature. We call the resulting approach structured superforecasting and illustrate its efficacy over samples of participants from the wider public sector and the academic community. In particular, with a proper experimental design that includes a training and a control group, we apply the above methodology and compare performances. Our analysis of the results utilizes, beyond standard measurement concepts of judgmental forecasting, the methodology of stochastic dominance (SD) to evaluate the performance of participants -- for the first time to the best of our knowledge in this strand of the literature. The use of the SD concept is important for two reasons: first, it allows a complete/better view of outperformance compared to more traditional statistics and, second, it provides compelling visuals for the results across individual questions and across any sample split we wish. We find that, across most questions employed, analogies trained participants outperform the control group. Moreover, we also succeeded in the early identification of the consistently top-performing forecasters. This is an important and practical result which we validate for the first time. The implications of extending this research in other environments and different samples is obvious: expending effort and resources in training on analogies can super-charge super forecasting and thus tapping into the wisdom of the crowds does not need larger crowds but, importantly, smarter (by training) ones.

Η επιτυχία του Good Judgment Project στην αναγνώριση και αξιοποίηση των ‘superforecasters’ οδηγεί φυσικά στο ερώτημα πώς μπορεί κανείς να εφαρμόσει αυτή την προσέγγιση σε μικρότερη κλίμακα με περιορισμένους πόρους και λιγότερους συμμετέχοντες. Τα μικρά επιχειρησιακά περιβάλλοντα και οι δομές λήψης αποφάσεων τύπου ΜΜΕ αποτελούν πρωταρχικά παραδείγματα όπου μπορεί να χρησιμοποιηθεί μια τροποποιημένη προσέγγιση του superforecasting. Σε αυτή την έρευνα επικεντρωνόμαστε σε μια ‘υβριδική προσέγγιση’ της δια κρίσεως πρόβλεψης για ειδικά γεγονότα όπου συνδυάζουμε την εκπαίδευση των μελλοντικών - δυνητικών ‘superforecasters’ με μια τροποποιημένη έκδοση των δομημένων αναλογιών. Ονομάζουμε την προκύπτουσα προσέγγιση δομημένο superforecasting και καταδεικνύουμε την αποτελεσματικότητά της σε δείγματα συμμετεχόντων από τον ευρύτερο δημόσιο τομέα και την ακαδημαϊκή κοινότητα. Συγκεκριμένα, μέσω ενός πειραματικού σχεδιασμού που περιλαμβάνει μία εκπαιδευμένη ομάδα και μία ομάδα αναφοράς, εφαρμόζουμε την παραπάνω μεθοδολογία και συγκρίνουμε τις επιδόσεις. Η ανάλυση των αποτελεσμάτων χρησιμοποιεί πέρα από τις τυποποιημένες έννοιες μέτρησης της κριτικής πρόβλεψης, τη μεθοδολογία της στοχαστικής δεσπόζουσας θέσης (SD) για την αξιολόγηση της απόδοσης των συμμετεχόντων - για πρώτη φορά εξ όσων γνωρίζουμε σε αυτό το σκέλος της βιβλιογραφίας. Η χρήση της ιδέας SD είναι σημαντική για δύο λόγους: πρώτον, επιτρέπει μια πλήρη / καλύτερη εικόνα της υπεραπόδοσης σε σύγκριση με τα πιο παραδοσιακά στατιστικά στοιχεία και δεύτερον, παρέχει οτπικές απεικονίσεις των διαφορετικών επιδόσεων για κάθε τρόπο διαμόρφωσης του δείγματός μας. Εϊναι ιδιαίτερα σημαντική η διαπίστωσή μας ότι οι συμμετέχοντες οι οποίοι έχουν εκπαιδευτεί στις δομημένες αναλογίες ξεπερνούν το δείγμα ελέγχου σχεδόν σε όλες τις τεθείσες ερωτήσεις, ενώ παράλληλα, μέσω της παρούσας πειραματικής διαδικασίας, επιτυγχάνεται η έγκαιρη αναγνώριση (κατόπιν 6 ερωτήσεων) των συστηματικά αποτελεσματικών ‘forecasters’. Τα οφέλη από την παραπάνω προσέγγιση διαφαίνονται ως ιδιαίτερα σημαντικά και ως εκ τούτου κρίνεται σκόπιμη η επέκταση της παρούσας έρευνας και σε διαφορετικά δείγματα.