Conceptual and experiential dance languages: digital representation and interaction

Abstract

Dance and movement are integral part of human, social and artistic expression, in every historical period and geographical area. Contemporary technologies, such as motion capture, video recording and analysis, offer significant means for documenting movement, opening new pathways in the domains of Dance Research, Intangible Cultural Heritage Preservation, Dance Education, as well as for the Creative and Choreographic process. While dance data that are related to movement are growing every day, the need for methodological frameworks and technological tools to represent movement and to manage such data is also growing rapidly. The objective is to make these data searchable, accessible and reusable. In parallel, the need for designing frameworks and workflows for the development of proper interfaces that are meaningful for the dance community is growing as well. The main `question of this thesis is how we can represent movement in a way that suggests effective communication through both the Conceptual and Experiential Languages for Dance, using digital representations and interactions. Apart from the complexity of defining what dance is, what makes this question challenging is the fact that dance movement is by nature multidimensional and diverse. Dance knowledge is mainly based on embodied transmission. The lack of a universal, dance representation language or notational system that could be used both by dance researchers and practitioners makes the problem even more complicated. In this thesis, based on existing notation systems such as Labanotation and methodologies of Choreological analysis, as well as a continuous dialogue with dance theory and practice, including first person experience, we develop a semantic and methodological framework for dance that covers both the Conceptual and Experiential Languages for Dance. The framework has been evaluated through the design, development and use of relevant applications. The contribution of the thesis can be summarised as follows: Development of conceptual models and ontologies for the semantic representation of dance movement. For this development we use as theoretical background the Choreological, morphological analysis for dance as well as the Labanotation system for documenting movement, and we combine them with the capabilities of Semantic Web Technologies, such as OWL-2. This contribution comprises the study of the Conceptual Languages for Dance. The extension and implementation of the semantic representations for the design and development of user interfaces for movement, and the design and implementation of annotation tools and strategies, as well as the development of web-based systems for the management of information related to movement. Development of a workflow, as well as experiences for the whole-body interaction for dance. Guided by the semantic model, as well as a survey on the existing systems for dance, we propose a workflow for the design of virtual and interactive experiences for dance. The workflow is evaluated through the design and development of relevant interfaces. The last two points comprise the study on the Experiential Languages for Dance.The thesis proposes formalisation for the modeling and enrichment of dance metadata, and suggests hierarchical vocabularies for annotating movement and its characteristics, aiming at searching archives using knowledge that is related to dance movement. The aforementioned framework is implemented and integrated in digital web-based interfaces, as well as embodied interactions that are evaluated by dance experts. In addition, the proposed model of representation can be implemented for the extraction of movement knowledge from motion capture datasets. Last but not least, the extensible nature of the framework, including all of the methodological, and technological tools can be investigated and applied in other use-cases for dance research, education and creative process, in the future.

Η κίνηση και ο χορός αποτελούν ένα αναπόσπαστο κομμάτι της ανθρώπινης κοινωνικής και καλλιτεχνικής έκφρασης, σε κάθε ιστορική περίοδο και γεωγραφικό πλάτος. Tα σύγχρονα ψηφιακά μέσα προσφέρουν σημαντικές δυνατότητες καταγραφής της κίνησης του σώματος ανοίγοντας νέους δρόμους στη μελέτη και έρευνα του χορού, τη διατήρηση της άυλης πολιτιστικης κληρονομιάς αλλά και την εκπαιδευτική και τη δημιουργική διαδικασία. Ωστόσο, όσο τα ψηφιακά δεδομένα που αφορούν στην κίνηση όπως βίντεο, αρχεία σύλληψης κίνησης κ.α. αυξάνονται, δημιουργείται η έντονη ανάγκη για μεθοδολογικά πλαίσια και τεχνολογικά εργαλεία τα οποία θα επιτρέπουν την αναπαράσταση της κίνησης και τη διαχείριση σχετικών αρχείων. Στόχος είναι τα δεδομένα αυτά να είναι αναζητήσιμα, προσβάσιμα και επαναχρησιμοποιήσιμα. Παράλληλα, δημιουργείται η ανάγκη για σχεδιαστικά πλαίσια και διαγράμματα ροής για την ανάπτυξη διεπαφών με απώτερο σκοπό να έχουν νόημα τόσο στης έρευνα και όσο και στην πρακτική του χορού.Το ερώτημα που πραγματεύεται η παρούσα διατριβή επικεντρώνεται στο πώς μπορούμε να αναπαραστήσουμε την κίνηση, έτσι ώστε να επιτυγχάνεται αποτελεσματική επικοινωνία τόσο των Εννοιολογικών όσο και των Βιωματικών γλωσσών του χορού, μέσα από την ψηφιακή διάδραση. Η δυσκολία στο να απαντήσουμε στην παραπάνω ερώτημα έγκειται αφενός στην πολυπλοκότητα και πολυμορφία της ανθρώπινης κίνησης αλλά και του ορισμού του ίδιου του χορού. Αφετέρου οφείλεται στο γεγονός ότι ο χορός, βασίζεται κυρίως στην ενσώματη γνώση, και στην έλλειψη μιας ενιαίας γλώσσας αναπαράστασης, η οποία να χρησιμοποιείται στην πράξη τόσο από τους ερευνητές όσο και από τους δημιουργούς, εκπαιδευτικούς, και πρακτικούς του χορού. Στην παρούσα διατριβή, βασιζόμενοι σε υπάρχοντα συστήματα σημειογραφίας και χορολογικές μεθοδολογίες χορού, αλλά και μέσα από ένα συνεχή διάλογο με την χορευτική πράξη αναπτύξαμε ένα σημασιολογικό και μεθοδολογικό πλαίσιο το οποίο αφορά τόσο στις Εννοιολογικές όσο και στα Βιωματικές Γλώσσες του Χορού. Το πλαίσιο αυτό, αξιολογήθηκε μέσα από τη σχεδίαση, ανάπτυξη και χρήση εφαρμογών.Η συνεισφορά της διδακτορικής διατριβής συνοψίζεται στα εξής αποτελέσματα: oτην ανάπτυξη εννοιολογικών μοντέλων και οντολογιών για τη σημασιολογική αναπαράσταση της χορευτικής κίνησης. Για την ανάπτυξη του εννοιολογικού μοντέλου βασιζόμαστε στη χορολογική και μορφολογική ανάλυση του χορού, καθώς και στο σύστημα σημειογραφίας της κίνησης του Λάμπαν (Labanotation). Το σκέλος αυτό αφορά στη μελέτη των Εννοιολογικών γλωσσών του χορού.oτην επέκταση και εφαρμογή των σημασιολογικών αναπαραστάσεων για τη σχεδίαση και ανάπτυξη των διεπαφών χρήστη για την επισημείωση της κίνησης καθώς και την ανάπτυξη διαδικτυακών συστημάτων για τη διαχείριση πληροφορίας σχετικής με το χορό και την κίνηση. oτην ανάπτυξη διαγράμματος ροής καθώς και εφαρμογών που αφορούν στην ενσώματη διάδραση μέσω κίνησης. Με γνώμονα το αρχικό σημασιολογικό μοντέλο, την χαρτογράφηση της υπάρχουσας κατάστασης, προτείνεται διάγραμμα ροής για τη σχεδίαση αντίστοιχων εικονικών και διαδραστικών διεπαφών. Το διάγραμμα αυτό, αξιολογείται μέσα από τη σχεδίαση και ανάπτυξη διαδραστικών εφαρμογών για την πρακτική του χορού. Τα δύο τελευταία σκέλη εστιάζουν στη μελέτη των Βιωματικών γλωσσών του χορού.H διατριβή προτείνει τη μοντελοποίηση της κίνησης για την διατύπωση και επαύξηση μεταδεδομένων για το χορό, και καθώς και ιεραρχικά λεξιλόγια για την επισημείωση των κινήσεων και των χαρακτηριστικών τους, με σκοπό την αναζήτηση αρχείων με γνώση που αφορά απευθείας στην κίνηση. Το προτεινόμενο μοντέλο αναπαράστασης χρησιμοποιείται ως μεθοδολογία για την εξαγωγή πληροφορίας μέσα από σύνολα δεδομένων καταγραφής κίνησης. Τέλος τα μοντέλα αυτά εφαρμόζονται μέσα σε τέτοιες ψηφιακές διαδικτυακές εφαρμογές και εξετάζονται ως προς τη χρηστοκεντρική τους αξία για την κοινότητα των χορευτών, αλλά και διερευνάται η χρήση ψηφιακών μέσων για την υποστήριξη της έρευνας, εκπαίδευσης και της δημιουργικής διαδικασίας του χορού.