Μέθοδοι κατάταξης και μετρικές απήχησης επιστημονικών δημοσιεύσεων

Abstract

The constantly increasing number of scientific publications affects researchers, students, academic hiring officials and search engines alike in discerning the high-impact works among them. Therefore, there is a need to develop methods to rank scientific papers. Despite a prolific literature on query-independent (or static) paper ranking algorithms, which aim to rank papers based on their impact, no systematic review of the field has been conducted. Past literature lacks in terms of defining impact, often failing to discern among short- term and long-term scientific impact. Further, no extensive experimental evaluation of the various proposed methods has been conducted. This thesis examines impact-based paper ranking in terms of methods, search engine applications, and its relation to paper abstract readability. In short, the contributions of the thesis are as follows:• Long-term and short-term impact are formally defined and the various ranking and evaluation approaches encountered so far in the literature are examined and classified.• An extensive experimental evaluation is conducted to identify which proposed mechanismsperform best in ranking by short- and long-term impact.• Motivated by the observed improvement margin in ranking based on short-term impact, a novel method is proposed building on recent advances of network science.• The development of specialized and general academic search engines enhanced with short- and long-term impact-based ranking methods is presented.• Finally, paper abstract readability and its relation to paper impact is examined.

Η διαρκής αύξηση του όγκου των επιστημονικών δημοσιεύσεων δημιουργεί προβλήματα στη διάκριση των σημαντικότερων από αυτές, επηρεάζοντας ταυτόχρονα ερευνητές, φοιτητές, υπεύθυνους ακαδημαϊκών προσλήψεων, αλλά και τις μηχανές αναζήτησης. Για το λόγο αυτό υπάρχει ανάγκη ανάπτυξης μηχανισμών κατάταξης (ή αλλιώς ιεράρχησης) των επιστημονικών δημοσιεύσεων. Παρ' ότι υπάρχει πλούσια βιβλιογραφία γύρω από την ανεξαρτήτως ερωτήματος κατάταξη (query independent ranking) επιστημονικών δημοσιεύσεων (γνωστή και ως στατική κατάταξη), στόχος της οποίας είναι η περιγραφή μεθόδων κατάταξης επιστημονικών δημοσιεύσεων, με βάση την απήχηση τους, δεν έχει πραγματοποιηθεί έως τώρα κάποια μεθοδική και συστηματική ανασκόπηση του αντικειμένου. Συγκεκριμένα, στη τρέχουσα βιβλιογραφία υφίστανται κενά στον ορισμό της απήχησης, ενώ δε γίνεται διάκριση μεταξύ μακροχρόνιας και βραχυχρόνιας επιστημονικής απήχησης. Επίσης, δεν εξετάζεται η σχέση της απήχησης των δημοσιεύσεων με άλλα χαρακτηριστικά των κειμένων, όπως η αναγνωσιμότητα. Επιπλέον, δεν έχει πραγματοποιηθεί καμία εκτενής πειραματική αξιολόγηση των επιμέρους μεθόδων που έχουν προταθεί στη βιβλιογραφία. Αντικείμενο του διδακτορικού είναι η εξέταση της κατάταξης (ιεράρχησης) δημοσιεύσεων με βάση την απήχησή τους, των μεθόδων που έχουν προταθεί στη βιβλιογραφία, της εφαρμογής τους στα πλαίσια πραγματικών μηχανών αναζήτησης επιστημονικών δημοσιεύσεων και της συσχέτισης απήχησης - αναγνωσιμότητας δημοσιεύσεων. Συνοπτικά:• Ορίζονται τυπικά η μακροχρόνια και βραχυχρόνια απήχηση και εξετάζονται και κατηγοριοποιούνται οι προσεγγίσεις που έχουν διατυπωθεί στη τρέχουσα βιβλιογραφία.• Πραγματοποιείται μια εκτενής πειραματική αξιολόγηση για τη διερεύνηση των μηχανισμών που οδηγούν στη βέλτιστη αποτελεσματικότητα για την παραγωγή κατατάξεων των δημοσιεύσεων με βάση αυτά τα δύο είδη απήχησης.• Καθώς τα αποτελέσματα της αξιολόγησης αποκαλύπτουν περιθώρια βελτίωσης στην κατάταξη με βάση τη βραχυχρόνια απήχηση, προτείνεται μια νέα μέθοδος κατάταξης, επηρεασμένη από πρόσφατες εξελίξεις της επιστήμης δικτύων (network science), ενσωματώνοντας τροποποιήσεις στη μέθοδο PageRank. Με εκτενή πειραματική αξιολόγηση αναδεικνύεται η αποτελεσματικότητα της νέας μεθόδου σε σχέση με τις άλλες τρέχουσες τεχνολογίες αιχμής.• Παρουσιάζεται, επιπλέον, η ανάπτυξη εξειδικευμένων, αλλά και γενικών ακαδημαϊκών μηχανών αναζήτησης, οι οποίες κάνουν χρήση μεθόδων κατάταξης που έχουν εξεταστεί.• Τέλος, εξετάζεται η σχέση της αναγνωσιμότητας των περιλήψεων επιστημονικών δημοσιεύσεων με την απήχησή τους.