Παράλληλες διεργασίες και εφαρμογές σε επεξεργασία εικόνων και εικονορροών

Abstract

Evolving video applications impose requirements for high image quality, low bitrate, and/or small computational cost. The current thesis involves the study of Super-Resolution techniques under the scope of reduced complexity aiming to present, evaluate and implement parallelizable methods and techniques. Moreover, it aims to apply these techniques to a more generic framework of processing a) images and b) video sequences with decimation and quantization. Finally, it studies these methods' implementation feasibility on hardware acceleration platforms. To that end, we initially study low-complexity image super-resolution techniques for improving the motion estimation process of video encoding. Aiming at speeding up the generation of candidate blocks during the computationally intensive search algorithm, we present interpolation techniques with reduced cost compared to standard 6-tap filtering procedures. Furthermore, we compare their performance to that of commonly used half-pixel interpolation techniques with respect to the resulting image quality and the processing time. The research has been based on using a typical fractional motion estimation algorithm preceding the processing of the H.264/AVC standard motion compensation, and thus, the research benefits the design of H.264/AVC encoders. Next, we combine state-of-the-art coding and super-resolution (SR) techniques to improve video compression both in terms of coding efficiency and complexity. The proposed approach improves a generic decimation-quantization compression scheme by introducing low complexity single-image SR techniques for rescaling the data at the decoder side and by jointly exploring/optimizing the downsampling/upsampling processes. The enhanced scheme achieves improvement of the quality and system's complexity compared with conventional codecs and can be easily modified to meet various diverse requirements, such as effectively supporting any off-the-shelf video codec, for instance H.264/Advanced Video Coding or High Efficiency Video Coding. Our approach builds on studying the generic scheme's parameterization with common rescaling techniques to achieve 2.4-dB peak signal-to-noise ratio (PSNR) quality improvement at low-bitrates compared with the conventional codecs and proposes L-SEABI, a novel SR algorithm to advance the critical bitrate at the level of 10 Mb/s. The evaluation of the SR algorithm compares its performance to other image rescaling solutions of the literature, showing quality improvement by 5 dB PSNR over straight-forward interpolation techniques and computational time reduction by three orders of magnitude compared with the highly involved methods of the field. Finally, the study builds up on the characteristics of the L-SEABI SR method to introduce parallelization techniques for GPUs and FPGAs. The proposed techniques accelerate GPU reconstruction of ultra-high definition content, by achieving three times faster than the real-time performance on mid-range and previous generation devices and at least nine times faster than the real-time performance on high-end GPUs. The FPGA design leads to a scalable architecture performing four times faster than the real-time on low-end Xilinx Virtex 5 devices and 69 times faster than the real-time on the Virtex 2000t.

Οι ταχέως εξελισσόμενες εφαρμογές επεξεργασίας εικονορροών εισαγάγουν απαιτήσεις υψηλής ποιότητας εικόνας, χαμηλού δυφιορρυθμού ή/και χαμηλού υπολογιστικού κόστους. Η τρέχουσα διατριβή μελετά το πεδίο της Υπερ-Ανάλυσης υπό το πρίσμα της μειωμένης πολυπλοκότητας, με σκοπό την παρουσίαση, την αποτίμηση επιδόσεων και την υλοποίηση παραλληλοποιήσιμων μεθόδων και τεχνικών. Επιπλέον, στοχεύει στην εφαρμογή αυτών των μεθόδων σε ένα γενικότερο πλαίσιο επεξεργασίας α) εικόνων και β) εικονορροών με συμπίεση αποδεκάτισης-κβάντισης. Τέλος, μελετά τα απτά αποτελέσματα των τεχνικών αυτών σε πλατφόρμες επιτάχυνσης υλικού. Για το σκοπό αυτό, αρχικά μελετώνται τεχνικές υπερ-ανάλυσης χαμηλής πολυπλοκότητας προκειμένου να επιτευχθεί βελτίωση στη διαδικασία εκτίμησης κίνησης των κωδικοποιητών εικονορροών. Παρουσιάζονται τεχνικές παρεμβολής μειωμένου κόστους σε σύγκριση με το πρότυπο φίλτρο 6 δειγμάτων, με απώτερο στόχο την επιτάχυνση της παραγωγής των πλακιδίων κατά τη διαδικασία αναζήτησης. Η απόδοση των τεχνικών αυτών συγκρίνεται με αυτή των ευρέως διαδεδομένων τεχνικών ως προς την προκύπτουσα ποιότητα και το χρόνο επεξεργασίας. Η μελέτη βασίζεται στη χρήση ενός τυπικού αλγορίθμου κλασματικής εκτίμησης κίνησης για το πρότυπο H.264/AVC, και επομένως, ευνοεί το σχεδιασμό κωδικοποιητών βασισμένων στο πρότυπο αυτό. Κατόπιν, συνδυάζονται υπερσύγχρονες μέθοδοι υπερ-ανάλυσης και κωδικοποίησης με στόχο τη βελτίωση της αποτελεσματικότητας του κωδικοποιητή και την ελάττωση της πολυπλοκότητας. Η προτεινόμενη προσέγγιση βελτιώνει το γενικευμένο σχήμα συμπίεσης με αποδεκάτιση και κβάντιση, αφενός εισαγάγοντας τεχνικές υπερ-ανάλυσης χαμηλής πολυπλοκότητας για την υπερδειγματοληψία των δεδομένων στην πλευρά του αποκωδικοποιητή, αφετέρου εξερευνώντας και βελτιστοποιώντας τις διεργασίες αποδεκάτισης / υπερδειγματοληψίας. Σε σχέση με το συμβατικό σχήμα κωδικοποίησης, το εμπλουτισμένο σχήμα επιτυγχάνει βελτίωση της ποιότητας και της πολυπλοκότητας, ενώ μπορεί εύκολα να παραμετροποιηθεί προκειμένου να υποστηρίζει οποιοδήποτε υφιστάμενο σχήμα κωδικοαποκωδίκευσης όπως το Η.264/AVC και το HEVC. Η προτεινόμενη προσέγγιση βασίζεται αρχικά στη μελέτη της παραμετροποίησης του γενικευμένου σχήματος με ευρέως διαδεδομένες τεχνικές μετασχηματισμού διαστάσεων, επιτυγχάνοντας βελτιωμένη τιμή κορυφής λόγου σήματος-θορύβου κατά 2 έως 4 dB σε σχέση με τα συμβατικά σχήματα. Εν συνεχεία εισαγάγεται ο αλγόριθμος L-SEABI, ένας νέος αλγόριθμος υπερ-ανάλυσης μέσω του οποίο αυξάνεται η τιμή του κρίσιμου δυφιορρυθμού στο επίπεδο των 10 Mb/s. Ο αλγόριθμος αποτιμάται και σε σύγκριση με άλλες λύσεις υπερδειγματοληψίας από τη βιβλιογραφία. Τα αποτελέσματα καταδεικνύουν βελτίωση της ποιότητας κατά 5 dB σε σχέση με τις απλές τεχνικές παρεμβολής και ελάττωση του χρόνου υπολογισμού κατά τρεις τάξεις μεγέθους σε σχέση με τις μεθόδους τεχνολογικής αιχμής. Τέλος, βασιζόμενοι στα χαρακτηριστικά του αλγορίθμου L-SEABI εισαγάγουμε τεχνικές παραλληλοποίησης για υλοποιήσεις σε μονάδες επεξεργασίας γραφικών και συστοιχίες επιτόπια προγραμματιζόμενων πυλών. Οι προτεινόμενες τεχνικές επιταχύνουν την ανακατασκευή περιεχομένου υπερ-υψηλής ευκρίνειας, επιτυγχάνοντας τριπλάσια απόδοση από τη συμβατική απαίτηση πραγματικού χρόνου σε μονάδες επεξεργασίας γραφικών μέσης απόδοσης και τουλάχιστον εννεαπλάσια απόδοση σε μονάδες επεξεργασίας γραφικών υψηλής απόδοσης. Αντίστοιχα αποτελέσματα της υλοποίησης σε FPGA καταδεικνύουν τετραπλασιασμό της απόδοσης των συμβατικών απαιτήσεων πραγματικού χρόνου σε μονάδες χαμηλής ολοκλήρωσης και 69 φορές ταχύτερη απόδοση στη μονάδα Virtex 7 2000t.