Deep representation learning with application in multimodal emotion analysis for robotics

Abstract

One of the most prominent attributes of Neural Networks (NNs) constitutes their capability of learning to extract robust and descriptive features from high-dimensional data, like images. Hence, such an ability renders their exploitation as feature extractors particularly frequent in an abundance of modern reasoning systems. Their application scope mainly includes complex cascade tasks, like multi-modal recognition, deep Reinforcement Learning (RL), as well as their exploitation as descriptors in feature learning challenges, a field that enjoys apparent popularity over the past few years. Feature or representation learning focuses on the development of effective loss functions that ensure both high feature discrimination among different classes, as well as low geodesic distance between the feature vectors of a given class. The vast majority of the contemporary works rely their formulation on an empirical assumption (H) about the feature space (F) of a network’s last hidden layer, claiming that the weight vector of a class accounts for its geometrical center in the studied space. However, NNs induce implicit biases that are difficult to avoid or to deal with and are not met in traditional image descriptors. Moreover, the lack of knowledge for describing the intra-layer properties -and thus their general behavior- restricts the further applicability of the extracted features. A research field that can be considerably benefited by a robust feature extraction scheme is that of multi-modal emotion recognition. The advancement of Human-Robot Interaction (HRI) drives research into the development of advanced emotion identification architectures that fathom audio-visual (A-V) modalities of human emotion. State-of-the-art approaches exploit unimodal Deep Neural Networks (DNN) to process sensory inputs and learn a latent representation for each modality. Then, the extracted unimodal vectors are concatenated and fed into a fusion network that is responsible for the extraction of a compact emotional representation. However, the introduced methods in multi-modal emotion recognition mainly focus on the classification of complete video sequences, leading to systems with no online potentialities. Such techniques are capable of predicting emotions only when the videos are concluded, thus restricting their applicability in practical scenarios. The motivation of this study can be conceived through a bottom-up manner. In specific, beginning with the task to incorporate online capabilities in an A-V emotion recognition system, in order to render it suitable for HRI scenarios, the necessity of Summary and Contribution improving the adopted techniques in the fusion network emerged. Consequently, by investigating the possible strategies for fusing the A-V modalities, we came up with the challenge of understanding the properties of the representations learned by the unimodal feature extractors. The findings of the above analysis led to the conclusion that empirical assumptions such H can not be arbitrarily taken for granted. Hence, we were challenged to proceed with several adjustments regarding existing methods in the field of feature learning.

Ένα από τα πιο εμφανή χαρακτηριστικά των νευρωνικών δικτύων (NNs) αποτελεί η ικανότητά τους να μαϑαίνουνε να εξάγουνε εύρωστα και περιγραφικά χαρακτηριστικά από δεδομένα υψηλής διάστασης, όπως οι ειkόνες. Ως εκ τούτου, μια τέτοια ικανότητα καϑιστά συχνή την εκμετάλλευσή τους ως εξαγωγείς χαρακτηριστικών σε πληϑώρα σύγχρονων συστημάτων συλλογιστικής. Το πεδίο εφαρμογής τους κυρίως περιλαμβάνει πολύπλοκες διαδοχικές εργασίες, όπως η πολυτροπική αναγνώριση, βαϑειά ενισχυτική μάϑηση (RL), καϑώς και η εκμετάλλευσή τους ως περιγραφείς σε προκλήσεις εκμάϑησης αναπαραστάσεων, ένα πεδίο που απολαμβάνει εμφανή δημοτικότητα τα τελευταία χρόνια. Η εκμάϑηση χαρακτηριστικών ή αναπαραστάσεων επικεντρώνεται στην ανάπτυξη αποτελεσματικών συναρτήσεων κόστους που εξασφαλίζουν τόσο υψηλή διακριτοποίηση μεταξύ χαραkτηριστικών διαφορετικών κλάσεων, καϑώς και χαμηλή απόσταση μεταξύ διανυσμάτων χαρακτηριστικών μιας δεδομένης κλάσης. Η συντριπτική πλειονότητα των σύγχρονων μεϑόδων βασίζει τη διατύπωσή τους σε μια εμπειρική υπόϑεση (H) σχετικά με το χώρο των χαρακτηριστικών (F) του τελευταίου κρυφού επιπέδου ενός δικτύου, υποστηρίζοντας ότι το διάνυσμα βάρους μιας κλάσης συμπίπτει στον μελετούμενο χώρο με το γεωμετρικό της κέντρο. Ωστόσο, τα NN εμπεριέχουν έμμεσα μεροληψίες, οι οποίες είναι δύσκολο να αποφευχϑούν ή να αντιμετωπιστούν και δεν απαντώνται σε παραδοσιακούς περιγραφείς εικόνων. Επιπλέον, η έλλειψη γνώσεων για την περιγραφή των ιδιοτήτων εντός ενός επιπέδου - και επομένως της γενιkής τους συμπεριφοράς - περιορίζει την περαιτέρω δυνατότητα εφαρμογής των εξαγόμενων χαρακτηριστικών. Ένα ερευνητιkό πεδίο που μπορεί να επωφεληϑεί σημαντικά από ένα εύρωστο σύστημα εξαγωγής χαρακτηριστιkών είναι αυτό της πολυτροπικής αναγνώρισης συναισϑημάτων. Η πρόοδος του Human Robot Interaction (HRI) οδηγεί την έρευνα στην ανάπτυξη εξελιγμένων αρχιτεκτονικών ταυτοποίησης συναισϑήματος που κατανοούν τις οπτικοακουστικές (A-V) τροπικότητες του ανϑρώπινου συναισϑήματος. Οι υπερσύγχρονες προσεγγίσεις εκμεταλλεύονται μονοτροπιkά Deep Neural Networks (DNN) για την επεξεργασία των εισόδων από τους αισϑητήρες και την εκμάϑηση μιας λανϑάνουσας αναπαράστασης για κάϑε τροπικότητα. Στη συνέχεια, τα εξαγώμενα μονοτροπικά διανύσματα συνενώνονται και τροφοδοτούνται σε ένα δίκτυο σύντηξης που είναι υπεύϑυνο για την εξαγωγή μιας συνολικής αναπαράστασης. Ωστόσο, οι προτεινόμενες μέϑοδοι στην πολυτροπική αναγνώριση συναισϑημάτων επικεντρώνονται κυρίως στην ταξινόμηση ολοκληρωμένων βίντεο, οδηγώντας σε συστήματα χωρίς online δυνατότητες. Τέτοιες τεχνικές είναι ικανές να προβλέψουν συναισϑήματα μόνο όταν τα βίντεο ολοκληρώνονται, περιορίζοντας έτσι την εφαρμογή τους σε πρακτικά σενάρια. Το κίνητρο αυτής της μελέτης μπορεί να συλληφϑεί με τρόπο από κάτω προς τα πάνω. Πιο συγκεκριμένα, ξεκινώντας από τον στόχο να ενσωματωϑούν online δυνατότητες σε ένα σύστημα A-V αναγνώρισης συναισϑημάτων, προκειμένου να κατασταϑεί κατάλληλο για σενάρια HRI, προέκυψε η ανάγκη βελτίωσης των υιοϑετούμενων τεχνικών στο δίκτυο σύντηξης. Εν συνεχεία, διερευνώντας τις πιϑανές στρατηγικές για τη σύντηξη των A-V τροπικοτήτων, καταλήξαμε στην πρόκληση της κατανόησης των ιδιοτήτων των αναπαραστάσεων που μαϑαίνονται από τους μονοτροπικούς εξαγωγείς χαρακτηριστικών. Τα ευρήματα της παραπάνω ανάλυσης οδήγησαν στο συμπέρασμα ότι εμπειρικές υποϑέσεις όπως η H δεν μπορούν να ϑεωρηϑούν αυϑαίρετα δεδομένες. Ως εκ τούτου, κληϑήkαμε να προχωρήσουμε σε ορισμένες τροποποιήσεις σχετικά με υπάρχουσες μεϑόδους στο πεδίο της εκμάϑησης χαρακτηριστικών.