Instagram hashtags as a source of semantic information for Automatic Image Annotation

Abstract

Billion digital images are uploaded every single day on the Internet and especially on social media. It is vital to develop effective and efficient methods that allow the retrieval of those images according to users' demands. Among the approaches that have been proposed for digital image retrieval is Automatic Image Annotation (AIA). AIA techniques automatically learn the visual representation of semantic concepts from a number of image samples, and use these concept models for tagging new images. Learning good concept models requires representative pairs of image-tags. Manual annotation is a hard and time-consuming task since a large number of images are necessary to create effective concept models. Moreover, human judgment may contain errors and subjectivity. Therefore, it is highly desirable to find ways for automatically creating training examples, i.e., pairs of images and tags. Contemporary social media, such as Instagram, contain images and associated hashtags, providing a source of indirect annotation. Instagram is a photo-oriented social media platform where users upload images and describe them with hashtags; thus, it might be a rich source for automatically creating pairs of image-tags for AIA. The thesis focuses on investigating Instagram images and hashtags as a field for AIA purposes. This primary research question is further analyzed through several studies: we define the portion of Instagram hashtags that are related to the visual content of images they accompany and we develop a methodology to locate stophashtags, i.e., common non-descriptive hashtags. We also employ the HITS algorithm in a crowdsourcing environment in order to filter Instagram hashtags and locate the ones that correspond to the visual content of Instagram images they accompany. Topic modelling of Instagram hashtags is introduced as a means for retrieving Instagram images in the traditional text-based information retrieval approach while transfer learning, utilizing filtered Instagram data (pairs of images and hashtags) is applied for a content-based image retrieval scenario.

Δισεκατομμύρια ψηφιακές εικόνες μεταφορτώνονται κάθε μέρα στο Διαδίκτυο και ειδικά στα μέσα κοινωνικής δικτύωσης. Είναι ζωτικής σημασίας να αναπτυχθούν αποτελεσματικές και αποδοτικές μέθοδοι που επιτρέπουν την ανάκτηση αυτών των εικόνων σύμφωνα με τις απαιτήσεις των χρηστών. Μεταξύ των προσεγγίσεων που έχουν προταθεί για την ανάκτηση ψηφιακής εικόνας είναι και η Αυτόματη Επισημείωση Εικόνων (AΕΕ). Οι τεχνικές ΑΕΕ μαθαίνουν αυτόματα την οπτική αναπαράσταση σημασιολογικών εννοιών από έναν αριθμό δειγμάτων εικόνων και χρησιμοποιούν αυτά τα εννοιολογικά μοντέλα για την προσθήκη ετικετών σε νέες εικόνες. Η εκμάθηση καλών εννοιολογικών μοντέλων απαιτεί αντιπροσωπευτικά ζεύγη ετικετών και εικόνων. Η επισημείωση από τους χρήστες είναι μια δύσκολη και χρονοβόρα εργασία, καθώς απαιτείται μεγάλος αριθμός εικόνων για τη δημιουργία αποτελεσματικών μοντέλων. Επιπλέον, η ανθρώπινη κρίση μπορεί να περιέχει λάθη και υποκειμενικότητα. Επομένως, είναι ανάγκη να βρεθούν τρόποι για την αυτόματη δημιουργία παραδειγμάτων εκπαίδευσης, δηλαδή ζεύγη εικόνων και ετικετών. Τα σύγχρονα μέσα κοινωνικής δικτύωσης, όπως το Instagram, περιέχουν εικόνες και συσχετισμένα hashtags, παρέχοντας μια πηγή έμμεσης επισημείωσης. Το Instagram είναι μια πλατφόρμα κοινωνικής δικτύωσης προσανατολισμένη στη φωτογραφία, όπου οι χρήστες ανεβάζουν εικόνες και τις περιγράφουν με hashtags. Επομένως, μπορεί να είναι μια πλούσια πηγή για την αυτόματη δημιουργία ζευγών ετικετών εικόνας για ΑΕΕ. Η διατριβή εστιάζει στη διερεύνηση των εικόνων και των hashtag του Instagram ως πεδίου για σκοπούς ΑΕΕ. Αυτό το πρωταρχικό ερευνητικό ερώτημα αναλύεται περαιτέρω μελέτες: ορίζουμε το τμήμα των hashtag του Instagram που σχετίζεται με το οπτικό περιεχόμενο των εικόνων που συνοδεύουν και αναπτύσσουμε μια μεθοδολογία για τον εντοπισμό των stophashtag, δηλαδή κοινών μη περιγραφικών hashtags. Χρησιμοποιούμε επίσης τον αλγόριθμο HITS σε περιβάλλον πληθοπορισμού και να φιλτράρουμε τα hashtags του Instagram ώστε να εντοπίσουμε αυτά που αντιστοιχούν στο οπτικό περιεχόμενο των εικόνων του Instagram που συνοδεύουν. Η θεματική μοντελοποίηση των hashtag του Instagram εισάγεται ως μέσο για την ανάκτηση εικόνων Instagram ως παραδοσιακή προσέγγιση ανάκτησης πληροφοριών με βάση το κείμενο, ενώ η μεταφοράς γνώσης, αξιοποιώντας φιλτραρισμένα δεδομένα Instagram (ζευγών εικόνων και hashtag) εφαρμόζεται για ένα σενάριο ανάκτησης εικόνων βάσει περιεχομένου.