Αξιολόγηση και επιλογή χαρτοφυλακίου ερευνητικών προγραμμάτων με χρήση πολυκριτηριακής ανάλυσης και μαθηματικού προγραμματισμού

Abstract

The subject of this dissertation is the study of the funding of Research and Development (R&D) projects by employing the multiple criteria mathematical programming. The dissertation reflects the main characteristics of the funding programmes of research projects and the research projects implemented under the National Strategic Reference Framework (NSRF), for the 2007-2013 programming period. Initially, in the dissertation, a descriptive analysis is performed on the absorption of research and development funds per RTDI sector and geographical area after the completion of 1,949 research projects implemented by 3,259 research institutions in the framework of the above programs. In addition, findings from the study regarding the effectiveness and evaluation of the research projects are presented and the correlation between the initial evaluation of the respective project and the absorption of the required resources at completion is investigated, as well as the correlation between the initial project evaluation and the effectiveness indices of projects at completion. For the specific deterministic analysis, statistical models are used with data from 293 research projects implemented in two funding programs. In both cases it appears that there is no statistical significance between the initial evaluation and the rate of the public fund absorption or the eventual effectiveness of the projects, indicating that ex ante evaluation and selection of research projects for funding may need to be improved.The second objective of the dissertation is related to the creation and application of methods of the multiple-criteria analysis and mathematical programming with the ultimate objective of creating models for evaluating and managing research proposals funded by national and Community resources. The dissertation develops two new versions of the Iterative Trichotomic Approach (the first refer to reduce budget and the second is characterized as no weights) for selecting R&D project portfolios that take into account policy constraints on the allocation of available resources and study the inherent uncertainty in project evaluation by experts. The proposed methods are developed in decision rounds through multiple-criteria analysis, mathematical programming and Monte Carlo simulation. The repetitive nature of the I.T.A. versions allows for gradual convergence in the final portfolio of R&D projects. The results provide information not only on the acceptance or non-acceptance of an R&D project in the final portfolio, but also deal with the main source of uncertainty which is the expert evaluation, providing a degree of certainty for the selected and rejected projects.The new versions of I.T.A. method apply to the Action “Research, Create, Innovate”, with 2,437 research proposals submitted by 4,432 funding beneficiaries and with a public funding budget of EUR 410 million, and the action “Cooperation 2011 – “Partnerships of Production and Research Institutions in sectors of Focused Research and Technology”, with 540 research proposals submitted by 1.098 funding beneficiaries and with a public funding budget of EUR 107,8 million. The application of the two new versions of the I.T.A. method to the above actions showed that the former can provide solutions to large-scale problems, related to many research projects and funding beneficiaries, combining the existence of uncertainty and many objective functions and constraints in a short period of time. Specifically, regarding the action "Research, Create, Innovate", in which occurred the biggest and most complex problem of selecting a portfolio of R&D projects based on the number of applications and beneficiaries of funding that has been studied so far according to the literature, the application of the new version of the ITA method, compared to other conventional methods, led to greater absorption of R&D resources and more information on the certainty of the portfolio of R&D projects for the decision makers. In the second action "Cooperation 2011 – Partnerships of Production and Research Institutions in sectors of Focused Research and Technology", the latter new edition of the I.T.A. method provided equally reliable and robust solutions with other conventional methods, but with more information on the degree of certainty of the selection of each project in the final portfolio.Finally, the elements of the originality of the dissertation which are: a) the database created by the processing of the data of the research sample and consisted of indices of absorption, evaluation and effectiveness of R&D projects financed by Partnership Agreement for the Development Framework resources and which is presented for the first time in Greece as well as b) the new methods of evaluation and selection of a portfolio of research projects, contributed to the creation of a Decision Support System which is particularly useful for policy makers for the Research, the Managing Authorities and the Intermediate Bodies managing actions for the funding of research projects.

Αντικείμενο της παρούσας διατριβής αποτελεί η μελέτη και αξιολόγηση των προγραμμάτων χρηματοδότησης έργων έρευνας και τεχνολογίας με χρήση του πολυκριτηριακού μαθηματικού προγραμματισμού. Στο πλαίσιο της διατριβής αποτυπώνονται τα βασικά χαρακτηριστικά των προγραμμάτων χρηματοδότησης έργων έρευνας και των ερευνητικών έργων που υλοποιήθηκαν στο πλαίσιο του Εθνικού Στρατηγικού Πλαισίου Αναφοράς (Ε.Σ.Π.Α.) την προγραμματική περίοδο 2007 –2013. Αρχικά στην διατριβή πραγματοποιείται μία περιγραφική ανάλυση ανά τομέα Ε.Τ.Α.Κ. και γεωγραφική περιοχή για την απορρόφηση κονδυλίων έρευνας και ανάπτυξης με την ολοκλήρωση 1.949 ερευνητικών έργων που υλοποιήθηκαν από 3.259 φορείς έρευνας στο πλαίσιο των ανωτέρω προγραμμάτων. Επιπλέον παρουσιάζονται ευρήματα από την μελέτη της αποτελεσματικότητας και της αξιολόγησης των ερευνητικών έργων και διερευνάται η ύπαρξη συσχέτισης μεταξύ της αρχικής αξιολόγησης του εκάστοτε έργου και της απορρόφησης των απαιτούμενων πόρων κατά την ολοκλήρωση, καθώς και μεταξύ της αρχικής αξιολόγησης του εκάστοτε έργου με τους δείκτες αποτελεσματικότητας που προκύπτουν από την ολοκλήρωση του. Για τη συγκεκριμένη ντετερμινιστική ανάλυση, χρησιμοποιούνται στατιστικά μοντέλα με δεδομένα από 293 ερευνητικά έργα δύο προγραμμάτων χρηματοδότησης. Και στις δύο περιπτώσεις προκύπτει ότι δεν υπάρχει στατιστικά σημαντική σχέση μεταξύ της αρχικής αξιολόγησης και του βαθμού απορρόφησης της δημόσιας δαπάνης ή της ενδεχόμενης αποτελεσματικότητας των έργων, αποτέλεσμα που δείχνει ότι η εκ των προτέρων αξιολόγηση και επιλογή των ερευνητικών έργων προς χρηματοδότηση ίσως να χρειάζεται βελτιώσεις. Ο δεύτερος στόχος της διατριβής σχετίζεται με την δημιουργία και εφαρμογή μεθόδων της πολυκριτήριας ανάλυσης και του μαθηματικού προγραμματισμού με απώτερο σκοπό την δημιουργία μοντέλων αξιολόγησης και διαχείρισης ερευνητικών προτάσεων που χρηματοδοτούνται από εθνικούς και κοινοτικούς πόρους. Στο πλαίσιο της διατριβής αναπτύσσονται δύο νέες εκδόσεις της μεθόδου Iterative Trichotomic Approach, δυο νέοι μέθοδοι επιλογής χαρτοφυλακίων έργων Ε&Α που λαμβάνουν υπόψη τους περιορισμούς πολιτικής για την κατανομή των διαθέσιμων πόρων και μελετούν την εγγενή αβεβαιότητα στην αξιολόγηση των έργων από εμπειρογνώμονες. Οι προτεινόμενες μέθοδοι αναπτύσσονται σε γύρους αποφάσεων με ανάλυση πολλαπλών κριτηρίων, μαθηματικό προγραμματισμό και προσομοίωση Monte Carlo. Ο επαναληπτικός χαρακτήρας των εκδόσεων της μεθόδου I.T.A. επιτρέπει τη σταδιακή σύγκλιση στο τελικό χαρτοφυλάκιο έργων Ε&Α. Τα αποτελέσματα παρέχουν πληροφορίες όχι μόνο για την αποδοχή ή μη ενός έργου Ε&Α στο τελικό χαρτοφυλάκιο, αλλά επίσης ασχολούνται με την κύρια πηγή αβεβαιότητας που είναι η αξιολόγηση των εμπειρογνωμόνων, παρέχοντας ένα βαθμό βεβαιότητας για τα επιλεγμένα και απορριφθέντα έργα. Οι νέες εκδόσεις της μεθόδου I.Τ.Α. εφαρμόζονται στην δράση «Ερευνώ, Δημιουργώ, Καινοτομώ», με 2.437 ερευνητικές προτάσεις που υποβλήθηκαν από 4.432 δικαιούχους και με προϋπολογισμό δημόσιας δαπάνης 410 εκατ. ευρώ, και στην δράση «Συνεργασία 2011-Συμπράξεις Παραγωγικών και Ερευνητικών Φορέων σε Εστιασμένους Ερευνητικούς και Τεχνολογικούς Τομείς», με 540 ερευνητικές προτάσεις που υποβλήθηκαν από 1.098 δικαιούχους και με προϋπολογισμό δημόσιας δαπάνης 107,8 εκατ. ευρώ. Από την εφαρμογή των νέων εκδόσεων της μεθόδου Ι.Τ.Α. στις ανωτέρω δράσεις προέκυψε ότι η τελευταία μπορεί να παρέχει λύσεις σε προβλήματα μεγάλου μεγέθους, με πολλά ερευνητικά έργα και δικαιούχους χρηματοδότησης, συνδυάζοντας την ύπαρξη αβεβαιότητας και πολλών αντικειμενικών συναρτήσεων και περιορισμών σε σύντομο χρόνο. Συγκεκριμένα στην δράση Ερευνώ, Δημιουργώ, Καινοτομώ», όπου παρουσιάζεται το μεγαλύτερο και πολυπλοκότερο πρόβλημα επιλογής χαρτοφυλακίου έργων Ε&Α με βάση το πλήθος των αιτήσεων και των δικαιούχων χρηματοδότησης που έχει μελετηθεί έως σήμερα σύμφωνα με την βιβλιογραφία, η νέα έκδοση της μέθοδος Ι.Τ.Α, σε σχέση με άλλες συμβατικές μεθόδους οδήγησε σε μεγαλύτερη απορρόφηση πόρων Ε&Α και σε περισσότερη πληροφόρηση για την βεβαιότητα του χαρτοφυλακίου των έργων Ε&Α στους αποφαζίσοντες. Στην δεύτερη δράση, «Συνεργασία 2011-Συμπράξεις Παραγωγικών και Ερευνητικών Φορέων σε Εστιασμένους Ερευνητικούς και Τεχνολογικούς Τομείς», η δεύτερη νέα έκδοση της μεθόδου Ι.Τ.Α. παρείχε εξίσου αξιόπιστες και ευσταθείς λύσεις με άλλες συμβατικές μεθόδους, αλλά με περισσότερη πληροφόρηση για το βαθμό βεβαιότητας επιλογής του κάθε έργου στο τελικό χαρτοφυλάκιο. Τέλος τα στοιχεία της πρωτοτυπίας της διατριβής που είναι: α) η βάση δεδομένων που δημιουργήθηκε από την επεξεργασία των δεδομένων του δείγματος της έρευνας και αποτελείται από δείκτες απορρόφησης, αξιολόγησης και αποτελεσματικότητας έργων Ε&Α που χρηματοδοτούνται από πόρους του Ε.Σ.Π.Α. και η οποία παρουσιάζεται για πρώτη φορά στην Ελλάδα καθώς και β)οι νέες μέθοδοι αξιολόγησης και επιλογής χαρτοφυλακίου ερευνητικών έργων συνετέλεσαν στην δημιουργία ενός Συστήματος Υποστήριξης Αποφάσεων ιδιαίτερα χρήσιμο για τους φορείς χάραξης πολιτικής για την Έρευνα, τις Διαχειριστικές Αρχές και τους Ενδιάμεσους Φορείς Διαχείρισης δράσεων χρηματοδότησης έργων έρευνας.