Complex networks and machine learning in scientometrics

Abstract

Complex networks constitute a structure of interconnected entities with non-trivial topological properties and are often represented as graphs. In real world social processes, as is scientific activity for instance, multiple such networks are formed and the complexity of their underlying dynamics rises exponentially with the data volume that can be collected about them. Scientometrics, on the other hand, entails the systematic quantification and evaluation of the scientific process and has given birth to a new research avenue referred to as “the science of science”. Hitherto, the scientific enterprise has been studied from various perspectives both qualitative and quantitative. In this dissertation, we adhere to the data mining approach to extract data intelligence from the graphs formulated around scientific entities and unravel their underlying interrelations. In this context, we propose novel analytics approaches to quantify, evaluate and finally predict scientific evolution. The contribution of this dissertation is three-fold:First, we propose a versatile evaluation process for the scientific community based on correlation analysis amongst the plethora of existing scientometric indicators. From an adjustable set of criteria, that capture different aspects of scientific activity, Pareto frontiers are produced in the form of scientific rankings, to assist tenure committees, grant allocation, award giving and other decision support scenarios. Additionally, new metrics were introduced to incorporate network and evolutionary properties of scientific entities into the evaluation process. As scientometric indicators are utilized in decision making, the need to improve them and broaden their focus is imminent. Taking the quantification of scientific evolution one step further we reach out to identify scientific profiles and trends. The fractal dimension of citation acquisition process is introduced to characterize publishing patterns and incorporate complex network properties (Matthew effect, power laws, etc.) into a single number metric. Moreover, citation pattern mining is employed to identify trends and shifts in the citation accumulation process. Since scientific activity is not a static process, methods for evaluation ought to capture the evolution patterns and comparisons need to be performed on a common basis. Therefore, we created profiles and extracted temporal patterns, while we identified their correlation with overall scientific impact to discover if a pattern for success exists. We proposed a relative ranking and impact characterization of scientists amongst their group of peers to distinguish prominent members of the scientific community (e.g. award winners).But it is not only vital to assess the past behavior; we need to gain insights on the future status of scientific enterprise. In this direction, we created a taxonomy of existing approaches to predict future scientific impact, identified their shortcomings and proposed a unified adjustable framework to mitigate them. In this approach we incorporated dynamic clustering of scientists with their impact cohort and profiling methods using a graph based predictive model to estimate future citation counts. Through extensive experimentation across time, age and impact levels, while combining scientists’ relative position in their surrounding graphs, we extracted meaningful conclusions on the mechanism with which science evolves over time. This way data intelligence can be obtained from the abundance of bibliographic data and provide assistance to publishers, scholars, institutions, policy makers and other science stakeholders.

Η Επιστημονομετρία αποτελεί ένα πεδίο έρευνας που ασχολείται με τη συστηματική ποσοτικοποίηση και αξιολόγηση της επιστημονικής διαδικασίας και έχει οδηγήσει στην δημιουργία μιας νέας ερευνητικής διόδου, αναφερομένη ως ΄΄η επιστήμη της επιστήμης". Μέχρι τώρα, η επιστημονική διαδικασία έχει μελετηθεί από ποικίλες οπτικές γωνίες τόσο ποιοτικές όσο και ποσοτικές. Στην παρούσα διατριβή, ακολουθούμε την προσέγγιση της εξόρυξης γνώσης από δεδομένα ώστε να αποδομηθεί η πληροφορία των δικτύων που σχηματίζονται γύρω από τις επιστημονικές οντότητες και να αποκαλυφθούν οι υποβόσκουσες συσχετίσεις τους. Τα σύνθετα δίκτυα με τη σειρά τους συνιστούν μια δομή διασυνδεδεμένων οντοτήτων με σημαντικές τοπολογικές ιδιότητες και απεικονίζονται συχνά ως γράφοι. Σε πραγματικές κοινωνικές διαδικασίες, όπως είναι και η επιστημονική δραστηριότητα, πολλαπλά τέτοια δίκτυα σχηματίζονται, των οποίων η πολυπλοκότητα της δυναμικής τους αυξάνεται εκθετικά με τον όγκο των δεδομένων που συγκεντρώνονται γύρω από αυτά. Μάλιστα δίκτυα παραγόμενα από πραγματικά δεδομένα μπορεί να εμπεριέχουν δομή κοινοτήτων, εκθετικές κατανομές βαθμών και εστίες πληροφορίες μεταξύ άλλων δομικών χαρακτηριστικών. Το ίδιο συμβαίνει με την επιστημονική παραγωγικότητα, όπου οι δημοσιεύσεις, οι επιστήμονες, τα ιδρύματα και οι εκδοτικοί οίκοι είναι διασυνδεμένοι με σχέσεις αναφορών και συνεργασίας δημιουργώντας ένα τεράστιο παγκόσμιο σύνθετο δίκτυο.Η αχανής πλούσια πληροφορία που υπάρχει διαθέσιμη στα επιστημονικά δίκτυα ξεπερνά την ανθρώπινη κατανόηση, με αποτέλεσμα να δημιουργείται η ανάγκη για μηχανική μάθηση. Η μάθηση σε αυτή την περίπτωση συνδέεται με την αναγνώριση σύνθετων μοτίβων και την πραγματοποίηση ‘’έξυπνων» αποφάσεων από δεδομένα. Με τον τρόπο αυτό γνώση μπορεί να παραχθεί από καταγραφές της επιστημονικής δραστηριότητας και η ερευνητική διαδικασία μπορεί να βελτιωθεί από παρελθοντική εμπειρία. Μεθοδολογίες μάθησης, τόσο με επίβλεψη όσο και χωρίς, υιοθετούνται ώστε να εξαχθούν εκτιμήσεις για μια ποσότητα σχετιζόμενη με την επιστημονική δραστηριότητα όπως επίσης και να αποκαλυφθεί δομή στα βιβλιογραφικά δεδομένα. Ιδιαίτερο ενδιαφέρον για την ανακάλυψη της δυναμικής της επιστήμης από μεγάλου όγκου δεδομένα παρουσιάζει η διαδικασία εντοπισμού σχετικών παραγόντων υψηλής επιρροής που διαμορφώνουν το μέλλον της επιστημονικής παραγωγής, δηλαδή η μηχανική των χαρακτηριστικών. Από το λαβύρινθο των ερευνητικών θεμάτων που ανακύπτουν στην ‘’επιστήμη της επιστήμης» θέτουμε τα παρακάτω ερευνητικά ερωτήματα: Πώς μπορεί να παραχθεί ένα δίκαιο και προσαρμόσιμο σύστημα ταξινόμησης για ερευνητές που να λαμβάνει υπόψη τις διαφορετικές πτυχές της επιστημονικής απόδοσης; Υπάρχουν διαχωρίσιμα μοτίβα στην επιστημονική δραστηριότητα και, αν ναι, σχετίζεται κάποιο αυτό άμεσα με την επιτυχία; Τέλος, μπορεί η γνώση που εξάγεται από βιβλιογραφικά δεδομένα να αποδειχθεί χρήσιμη σε κριτές περιοδικών, ινστιτούτα χρηματοδότησης, επιτροπές μονιμοποίησης, προαγωγής και απόδοσης βραβείων; Σε αυτό το πλαίσιο, προτείνουμε καινοτόμες τεχνικές ανάλυσης προς ποσοτικοποίηση, αξιολόγηση και πρόβλεψη της επιστημονικής εξέλιξης. Η συνεισφορά της διατριβής είναι τρίπτυχη:Καθώς οι επιστημονομετρικοί δείκτες χρησιμοποιούνται ήδη στη λήψη αποφάσεων, όπως αποδεικνύεται από την ευρεία χρήση του h-index και του Journal Impact Factor, η ανάγκη βελτίωσής τους και διεύρυνσης της συγκέντρωσής τους, είναι εμφανής. Σύγχρονες μετρικές συχνά εστιάζουν σε ένα σύνολο από δημοσιεύσεις με πλήθος αναφορών αντί να καταπιαστούν με ολόκληρη την πορεία των αναφορών και τείνουν να ευνοούν την παραγωγικότητα έναντι της επιρροής, προωθώντας τις πολιτικές «publish or perish». Δεδομένου ότι οι αναφορές επιδεικνύουν μια κατανομή βαθμού ιδιαιτέρως ασύμμετρη, γνωστό και ως «Matthew effect” στην επιστήμη, η πλειοψηφία της επιστημονικής δραστηριότητας περιλαμβάνει λιγότερο επιφανείς εργασίες οι οποίες συχνά αγνοούνται από τις παρούσες μετρικές. Συνεπώς, προτείνουμε νέες μετρικές που να ενσωματώνουν εξελικτικές ιδιότητες του δικτύου αναφορών στην διαδικασία αξιολόγησης προσμετρώντας την ασυμμετρία της επιστημονικής απόδοσης. Με τον ολοένα αυξανόμενο αριθμό βιβλιομετρικών δεικτών, η επιστημονική κοινότητα αντιμετωπίζει την πρόκληση διαχωρισμού των πιο συσχετιζόμενων πτυχών επιστημονικής απόδοσης για την κάθε περίπτωση αξιολόγησης εκμεταλλευόμενη τις συνδέσεις μεταξύ των μετρικών. Στην παρούσα διατριβή, προτείνουμε μια πολύπλευρη διαδικασία αξιολόγησης για επιστήμονες βασιζόμενη σε ανάλυση συσχετίσεων μεταξύ της πληθώρας επιστημονομετρικών δεικτών. Από ένα σύνολο προσαρμόσιμων κριτηρίων, τα οποία αντικατοπτρίζουν διαφορετικές πτυχές της επιστημονικής δραστηριότητας, μέτωπα Pareto παράγονται υπό μορφή ταξινόμησης επιστημόνων ώστε να υποστηρίξουν προαγωγές, διαμοιρασμό χρηματοδοτήσεων, κυβερνητικές και ιδρυματικές πολιτικές και ποικίλα σενάρια λήψης αποφάσεων.Επεκτείνοντας την ποσοτικοποίηση της επιστημονικής αξιολόγησης, επιχειρούμε τον εντοπισμό επιστημονικών προφίλ και τάσεων στην διαδικασία συγκέντρωσης αναφορών. Εκμεταλλευόμενοι την αυτοδιοργανούμενη κατανομή επιστημονικών αναφορών, εισάγουμε την έννοια της μορφοκλασματικής διάστασης για την καμπύλη αναφορών. Η μορφοκλασματική διάσταση αξιοποιείται για να χαρακτηρίσει τα μοτίβα δημοσιεύσεων και να ενσωματώσει ιδιότητες σύνθετων δικτύων (εκθετικότητα, ασυμμετρία, κτλ.) σε μία μετρική. Επιπλέον, πραγματοποιείται εξόρυξη μοτίβων αναφορών προκειμένου να εντοπισθούν τάσεις και μεταβολές στην συγκέντρωση αναφορών εστιάζοντας στα μοτίβα που συνοδεύονται από αυξημένο επιστημονικό βεληνεκές. Από τη στιγμή που η επιστημονική δραστηριότητα δεν είναι μια στατική διαδικασία, οι μέθοδοι για την αξιολόγησή της καλούνται να αντικατοπτρίσουν την εξελικτική πορεία και να προωθήσουν τις συγκρίσεις σε κοινή βάση. Για το σκοπό αυτό, δημιουργήσαμε προφίλ και εξορύξαμε χρονικά μοτίβα, ενώ εντοπίσαμε τη συσχέτισή τους με την συνολική επιστημονική απόδοση ώστε να ανακαλύψουμε αν υπάρχει προφίλ συνδεδεμένο με την επιτυχία. Καταφέραμε να ανακαλύψουμε συστηματικές τάσεις στα πλαίσια συγκεκριμένων εκδόσεων (π.χ. συνεδρίων) όπως επίσης και ουσιαστικές μεταβολές και πιθανές ανωμαλίες στην διαδικασία συγκέντρωσης αναφορών.Για να αντιμετωπίσουμε περαιτέρω το ζήτημα της επιστημονικής εξέλιξης, ασχοληθήκαμε με την εξελικτική πορεία των ερευνητών και αναζητήσαμε ενδείξεις πρώιμων δυνατοτήτων ή στασιμότητας. Συνεχίσαμε με τη δημιουργία ομάδων από ερευνητικούς ομοίους και το χαρακτηρισμό της απόδοσής τους σχετικά με την συνομοταξία του, με σκοπό το διαχωρισμό επιφανών μελών της επιστημονικής κοινότητας (π.χ. βραβευθέντες). Δεν είναι μόνο η αξιολόγηση της παρελθοντικής και παρούσας δραστηριότητας σημαντική, χρειάζονται και εκτιμήσεις της μελλοντικής πορείας της επιστημονικής δραστηριότητας και απόδοσης. Προς αυτή την κατεύθυνση, δημιουργήσαμε μια ταξονομία των υπαρχόντων προσεγγίσεων για πρόβλεψη μελλοντικού κύρους, εντοπίσαμε τις αδυναμίες τους και προτείναμε ένα ενοποιημένο προσαρμόσιμο πλαίσιο προβλέψεων για την βελτίωση των υπαρχόντων προσεγγίσεων. Στην προτεινόμενη προσέγγιση, ενσωματώσαμε τη δυναμική κατηγοριοποίηση των επιστημόνων μεταξύ της συνομοταξίας τους με ανάλογη απόδοση με διαφορετικά μοντέλα πρόβλεψης για κάθε ομάδα ώστε να εκτιμηθεί το μελλοντικό πλήθος αναφορών. Μέσω εκτενούς πειραματισμού σε επίπεδα χρονικά, ηλικίας και βεληνεκούς και με το συνδυασμό της σχετικής τοποθέτησης των επιστημόνων στους επιστημονικούς γράφους, εξάγαμε χρήσιμα συμπεράσματα για το μηχανισμό εξέλιξης της επιστημονικής απόδοσης. Με τον τρόπο αυτό, αξιοποιήσιμη γνώση δημιουργείται για να παρέχει υποστήριξη σε εκδότες, ακαδημαϊκούς, ιδρύματα και λοιπά ενδιαφερόμενα μέλη της επιστημονικής κοινότητας.