Αλληλεπίδραση ανθρώπου – υπολογιστή για την μετάδοση γνώσης με αξιοποίηση μηχανικής μάθησης και αισθητηριοκινητικών τεχνικών σε πολυτροπικό σήμα».: πεδίο εφαρμογής: Βυζαντινή μουσική

Abstract

In this dissertation, an innovative approach for the training of a new chanter (apprentice) through a continuous improvement process of interpretation in relation to the same interpretation of a teacher is presented. The proposed approach utilizes the multimodal – multimedia signal handling (sound and video) and the combined use of innovative appliances for human-computer interaction. Moreover, it includes the formation of a hymn-recognition system based on a collection which has developed from recordings of teachers and apprentices’ interpretations.For the purposes of the proposed approach, an innovative training methodology that utilizes machine learning techniques has been developed. More specifically, the methods used for system’s training are based on modeling of multimodal signal through the use of Hidden-Markov-Models (HMM) and Dynamic Time Wrapping (DTW) techniques. In this way, after the recognition of the apprentice’s interpretation in relation to the corresponding interpretation of the teacher, a comparison between the two hymns is performed based on the musical similarity of their tonality. The signals of the two hymns are temporarily fragmented based on their musical beat characteristic. In order to find the musical beat, suitable for human-computer interaction techniques of computer vision are implemented. Therefore, the perception of the movement of the teacher’s or the apprentice’s right hand leads to the extraction of the musical beat of their interpretation. The results of the two hymns comparison are exported as feedback from the system. In the context of this interaction, the new chanter is being informed about the correctness of his/hers interpretation in relation with the same interpretation of the teacher.The evaluation of the system based on the recognition of the hymns through the use of multimodal signal has been accomplished through a comparative study of related research works and has shown higher percentages of successful recognition of hymns. As far as it concerns the process of comparing two recognized hymns by using computer vision technologies, the positive results coming from the retroaction of the system, regarding the musical similarity of their tonality, confirm the efficient use of the training methodology in order the apprentice’s interpretation to be improved.The proposed training methodology belongs to the domain of human-computer interaction and is expected to contribute significantly in the preservation and spread of our cultural legacy and more specifically of the Byzantine Music (BM).

Στην παρούσα διδακτορική διατριβή παρουσιάζεται μία πρωτότυπη προσέγγιση για την εκπαίδευση ενός νέου ψάλτη (μαθητή) μέσα από μια διαδικασία συνεχούς βελτίωσης της ερμηνείας του, σε σχέση με την αντίστοιχη ερμηνεία του δασκάλου. Η προτεινόμενη προσέγγιση περιλαμβάνει τη διαχείριση πολυτροπικού - πολυμεσικού σήματος (ήχου και βίντεο) και τη συνδυασμένη αξιοποίηση καινοτόμων συσκευών για την επικοινωνία ανθρώπου - υπολογιστή. Ακόμη, περιλαμβάνει τη διαμόρφωση ενός συστήματος αναγνώρισης ύμνων από μία συλλογή η οποία προήλθε από καταγραφές ερμηνειών των δασκάλων και των μαθητών.Για τους σκοπούς της προσέγγισης αυτής διαμορφώθηκε μια πρωτότυπη μεθοδολογία εκπαίδευσης με αξιοποίηση τεχνικών μηχανικής μάθησης. Πιο συγκεκριμένα, οι μέθοδοι που χρησιμοποιούνται για την εκπαίδευση του συστήματος βασίζονται στη μοντελοποίηση του πολυτροπικού σήματος με χρήση των τεχνικών των Κρυφών Μαρκοβιανών Μοντέλων (ΗΜΜ) και της Δυναμικής Περιτύλιξης Χρόνου. (DTW). Έτσι, αφού αναγνωριστεί η ερμηνεία του μαθητή (ύμνος) σε σχέση με την αντίστοιχη του δασκάλου, επιχειρείται η σύγκριση των δύο ύμνων. Κατά τη διαδικασία της σύγκρισης εξετάζεται η μουσική ομοιότητα των δύο ύμνων ως προς την τονικότητα. Τα σήματα των δυο ύμνων τεμαχίζονται χρονικά βάσει του μουσικού χαρακτηριστικού τους beat. Για την εύρεση του μουσικού beat εφαρμόζονται κατάλληλες για την επικοινωνία ανθρώπου - υπολογιστή τεχνολογίες όρασης υπολογιστή. Έτσι, από την σύλληψη της κίνησης του δεξιού χεριού του δασκάλου ή του μαθητή εξάγεται το μουσικό beat της ερμηνείας του. Τα αποτελέσματα της σύγκρισης των δύο ύμνων εξάγονται ως ανάδραση του συστήματος. Στο πλαίσιο αυτής της αλληλεπίδρασης, ο νέος ψάλτης πληροφορείται για την ορθότητα της ερμηνείας του σε σχέση με την αντίστοιχη ερμηνεία του δασκάλου. Η αξιολόγηση του συστήματος που βασίζεται στην αναγνώριση των ύμνων με χρήση πολυτροπικού σήματος έγινε μέσω συγκριτικής μελέτης σχετικών ερευνητικών εργασιών και έδειξε υψηλότερα ποσοστά επιτυχούς αναγνώρισης ύμνων. Όσον αφορά τη διαδικασία σύγκρισης δύο αναγνωρισθέντων ύμνων με χρήση τεχνολογιών όρασης υπολογιστή, τα θετικά αποτελέσματα από την ανάδραση του συστήματος ως προς την τονική ομοιότητα των ύμνων επιβεβαιώνουν την αποδοτική χρήση της μεθοδολογίας εκπαίδευσης για την βελτίωση της ερμηνείας του μαθητή.Η προτεινόμενη μεθοδολογία εκπαίδευσης κινείται στο ευρύτερο πεδίο της αλληλεπίδρασης ανθρώπου – υπολογιστή και αναμένεται να συμβάλει σημαντικά στην διάσωση και διάδοση της πολιτιστικής κληρονομιάς μας και συγκεκριμένα της Βυζαντινής Μουσικής (ΒΜ).