Ανάπτυξη και υλοποίηση νέων τεχνικών επεξεργασίας έγχρωμων εικόνων

Abstract

Non-linear image processing is a continually growing field of research. Unlike linear filters, non-linear filters have very good performance in the presence of high frequency and impulse noise, avoiding at the same time extensive blurring of the image, since they preserve details and edges. Thus, they provide solutions in many practical applications, where linear filters are inappropriate (e.g. digital image analysis, digital TV applications, speech processing and coding, etc.). Morphological filters (e.g. opening and closing) and rank order filters (e.g. min, max and median) are of the most well-known non-linear filter classes. Morphological filters are useful in various applications, such as biomedical analysis, electronic inspection analysis, satellite scene recognition for the inspection of the climate and miscellaneous machine vision applications (feature extraction, object recognition, skeletonisation, segmentation, thinning, thickening, etc.). Soft mathematical morphology is a relatively recent extension of mathematical morphology. Its aim is to improve the behavior of morphological filters in the presence of impulse noise. The median filter is used efficiently in impulse noise attenuation, while it preserves at the same time the edges in the image under process. Color image processing is one of the most recent and interesting areas in the wider field of digital image processing. A color image provides much more information than a binary or a gray-scale image. Consequently, the use of color is desirable in digital image processing. In the last decade technological progress has propelled the development of non-linear techniques for color image processing, solving various problems, such as the prohibitively great cost of the hardware required, etc. Most of the non-linear scalar techniques for gray-scale image processing are not directly applicable to color images, due to the vector nature of color. Scalar techniques that are applied component-wise (independently to each vector component), without taking into consideration the dependency between vector components, are improper for color image processing. They may induce loss or corruption of the information in the image under process. Thus, recently proposed techniques (vector techniques), which take into consideration the vector nature of color, are preferable. Till today it has not been presented in the literature a complete and theoretically founded vector technique for morphological color image processing, with experimental results that verify its accuracy. Furthermore, the large computational complexity is the basic disadvantage, which prevents the wide spread and exploitation of various vector median filters proposed for color impulse noise attenuation. In this thesis, a new framework for vector morphological color image processing, compatible with the well-known framework of gray-scale morphology, is founded. By means of a new ordering of vectors in the HSV color space, primary and secondary vector morphological operations for color images are defined. Compatibility with their gray-scale counterparts, as well as their basic properties are studied. In addition, a number of illustrative experimental results certify that the proposed framework can be used in various classic morphological image processing applications, such as color image edge detection, color image skeletonisation, color image object recognition, etc. Moreover, a new approach to soft vector morphology for color image processing is presented. Its basic characteristic is its compatibility with the framework of soft gray-scale morphology. Primary and secondary soft vector morphological operations for color images are defined, and their basic properties are studied. Furthermore, various experimental results provided assure that this approach, analogously to soft gray-scale morphology, improves the performance of vector morphological transforms in the presence of color impulse noise. A new vector median filter applicable to color images is also introduced. Experimental results quoted indicate that this filter is advantageous, regarding color impulse noise elimination, when compared to other vector median filters. In addition, it is shown that the new filter considerably outperforms other existing vector median filters, from the point of view of computational complexity. As we have already mentioned, mathematical morphology is very useful in a variety of applications. In many of these applications time is critical. The vector nature of color increases the computational complexity of vector morphological transforms. Consequently, it increases the time required for the morphological color image processing, as well. It is known that hardware implementation is always faster than software implementation. Therefore, is of significant importance to develop hardware structures for the implementation of vector morphological operations, so as to accelerate morphological color image processing. From this point of view a new FPGA hardware structure, capable of computing primary standard vector morphological operations, is presented. It is a pipelined array with typical system clock frequency 40MHz, which processes two-dimensional 24-bit resolution color images using a 3x3 pixel size color structuring element. Its operation is based on a min/max finding algorithm. The increase of the structuring element’s size does not increase considerably the chip area required, reduces, however, the speed (the rate of result extraction) of the proposed hardware structure. Finally, a new FPGA hardware structure for the implementation of the primary soft vector morphological operations and the primary standard vector morphological operations, as well, is described. It is an FPGA parallel pipelined array, with typical system clock frequency 40MHz, as well, which processes two-dimensional 24-bit resolution color images using a 3x2 pixel size color structuring element. Its operation is based on a quick version of mergesort algorithm that is faster than classic mergesort. Compared to the previously mentioned hardware structure is faster (it has greater rate of result extraction). The increase of the structuring element’s size does not affect at all the speed (the rate of result extraction), increases, however, the chip area for the proposed hardware structure.

Η μη γραμμική επεξεργασία εικόνας είναι ένα συνεχώς αναπτυσσόμενο πεδίο έρευνας. Τα μη γραμμικά φίλτρα -σε αντίθεση προς τα γραμμικά- έχουν πολύ καλή απόδοση σε περιβάλλον υψίσυχνου και κρουστικού θορύβου, ενώ ταυτόχρονα δεν θολώνουν την εικόνα διατηρώντας τις λεπτομέρειες και τις ακμές. Έτσι προσφέρουν λύσεις σε ένα ευρύ φάσμα πρακτικών εφαρμογών όπου τα γραμμικά φίλτρα κρίνονται ανεπαρκή (π.χ. ψηφιακή ανάλυση εικόνων, ψηφιακή τηλεόραση, ψηφιακή επεξεργασία και κωδικοποίηση φωνής κλπ.). Από τις πλέον γνωστές κλάσεις μη γραμμικών φίλτρων είναι τα μορφολογικά φίλτρα (άνοιγμα, κλείσιμο κλπ.) και τα φίλτρα τάξης (ελάχιστο, μέγιστο, φίλτρο μεσαίας τιμής κλπ.). Τα μορφολογικά φίλτρα μπορούν να χρησιμοποιηθούν σε διάφορες εφαρμογές, όπως η βιοϊατρική ανάλυση, η ανάλυση ηλεκτρονικού ελέγχου, η αναγνώριση σκηνών από δορυφόρους για την παρακολούθηση του κλίματος, και ποικίλες εφαρμογές της όρασης μηχανών (εξαγωγή χαρακτηριστικών, αναγνώριση αντικειμένων, εξαγωγή σκελετών, τμηματοποίηση, λέπτυνση, πάχυνση κλπ.). Η μαλακή μαθηματική μορφολογία αποτελεί μια σχετικά νέα επέκταση της μαθηματικής μορφολογίας που στοχεύει στη βελτίωση της συμπεριφοράς των μορφολογικών φίλτρων σε περιβάλλον κρουστικού θορύβου. Το φίλτρο μεσαίας τιμής χρησιμοποιείται αποδοτικά στην απομάκρυνση κρουστικού θορύβου διατηρώντας ταυτόχρονα τις ακμές στην υπό επεξεργασίαν εικόνα. Η επεξεργασία έγχρωμων εικόνων αποτελεί μια από τις πιο πρόσφατες και ενδιαφέρουσες περιοχές του ευρύτερου πεδίου της ψηφιακής επεξεργασίας εικόνων. Μια έγχρωμη εικόνα παρέχει στον παρατηρητή πολύ περισσότερη πληροφορία από ότι μια εικόνα διαβαθμίσεων του γκρι. Κατά συνέπεια η χρήση του χρώματος είναι επιθυμητή στην ψηφιακή επεξεργασία εικόνων. Την τελευταία δεκαετία η τεχνολογική πρόοδος έδωσε ώθηση στην ανάπτυξη μη γραμμικών τεχνικών για επεξεργασία έγχρωμων εικόνων, λύνοντας διάφορα προβλήματα που την παρεμπόδιζαν (απαγορευτικά μεγάλο κόστος υλικού κλπ.). Οι περισσότερες υπάρχουσες μη γραμμικές μονοδιάστατες (scalar) τεχνικές για επεξεργασία εικόνων διαβαθμίσεων του γκρι δεν μπορούν να εφαρμοστούν άμεσα σε έγχρωμες εικόνες. Αυτό οφείλεται στη διανυσματική φύση του χρώματος. Οι μονοδιάστατες τεχνικές που εφαρμόζονται ανεξάρτητα σε κάθε διανυσματική συνιστώσα χωρίς να λαμβάνουν υπόψη την αλληλεξάρτηση που συνήθως υπάρχει μεταξύ των διανυσματικών συνιστωσών, δεν είναι οι πλέον κατάλληλες για την επεξεργασία έγχρωμων εικόνων. Είναι πιθανό να προξενήσουν απώλεια ή καταστροφή της πληροφορίας που υπάρχει στην υπό επεξεργασίαν εικόνα. Για το λόγο αυτό προτιμώνται διάφορες πρόσφατα προταθείσες τεχνικές, οι οποίες λαμβάνουν υπόψη τους τη διανυσματική φύση του χρώματος και είναι γνωστές ως διανυσματικές τεχνικές (vector techniques). Μέχρι σήμερα δεν έχει προταθεί στη βιβλιογραφία καμιά ολοκληρωμένη και θεωρητικά θεμελιωμένη διανυσματική τεχνική για μορφολογική επεξεργασία έγχρωμων εικόνων, η ορθότητα της οποίας να έχει επικυρωθεί από πειραματικά αποτελέσματα. Επίσης το βασικό μειονέκτημα των διαφόρων διανυσματικών φίλτρων μεσαίας τιμής που έχουν προταθεί για την απομάκρυνση κρουστικού θορύβου από έγχρωμες εικόνες είναι η μεγάλη υπολογιστική τους πολυπλοκότητα, που παρεμποδίζει την ευρεία διάδοση και αξιοποίησή τους. Στην παρούσα διδακτορική διατριβή θεμελιώνεται ένα νέο πλαίσιο για διανυσματική μορφολογική επεξεργασία έγχρωμων εικόνων. Το πλαίσιο αυτό είναι συμβατό με το υπάρχον πλαίσιο της μαθηματικής μορφολογίας διαβαθμίσεων του γκρι. Με τη βοήθεια μιας νέας διάταξης των διανυσμάτων του χρωματικού χώρου HSV ορίζονται οι πρωτεύουσες και δευτερεύουσες διανυσματικές μορφολογικές πράξεις για έγχρωμες εικόνες. Μελετώνται οι ιδιότητές τους και η συμβατότητά τους με τις αντίστοιχες μορφολογικές πράξεις διαβαθμίσεων του γκρι. Επιπλέον, με πλήθος πειραματικών αποτελεσμάτων επιβεβαιώνεται ότι το προτεινόμενο πλαίσιο μπορεί να χρησιμοποιηθεί σε ποικίλες κλασσικές εφαρμογές μορφολογικής επεξεργασίας εικόνων, όπως η ανίχνευση ακμών σε έγχρωμες εικόνες, η αναγνώριση αντικειμένων σε έγχρωμες εικόνες η εξαγωγή σκελετών έγχρωμων εικόνων κ.ά. Επίσης παρουσιάζεται μια νέα προσέγγιση στη μαλακή διανυσματική μορφολογία (soft vector morphology) για επεξεργασία έγχρωμων εικόνων. Βασικό της χαρακτηριστικό είναι η συμβατότητά της με το υπάρχον πλαίσιο της μαλακής μαθηματικής μορφολογίας διαβαθμίσεων του γκρι. Ορίζονται οι πρωτεύουσες και δευτερεύουσες μαλακές διανυσματικές μορφολογικές πράξεις για έγχρωμες εικόνες και μελετώνται οι βασικές τους ιδιότητες. Ακόμη παρέχεται ένα πλήθος πειραματικών αποτελεσμάτων που πιστοποιούν ότι η εν λόγω προσέγγιση βελτιώνει την απόδοση των διανυσματικών μορφολογικών μετασχηματισμών σε περιβάλλον κρουστικού θορύβου. Επιπροσθέτως εισάγεται ένα νέο διανυσματικό φίλτρο μεσαίας τιμής για την απομάκρυνση κρουστικού θορύβου από έγχρωμες εικόνες. Πειραματικά αποτελέσματα που παρατίθενται επιβεβαιώνουν ότι το φίλτρο αυτό συγκρινόμενο με τα υπόλοιπα διανυσματικά φίλτρα μεσαίας τιμής που έχουν προταθεί έχει καλύτερη απόδοση στην εξάλειψη κρουστικού θορύβου. Επιπλέον υπερέχει σημαντικά όλων των υπολοίπων διανυσματικών φίλτρων μεσαίας τιμής από πλευράς υπολογιστικής πολυπλοκότητας. Όπως προαναφέρθηκε η μαθηματική μορφολογία είναι εξαιρετικά χρήσιμη σε ένα ευρύ φάσμα εφαρμογών. Σε πολλές από τις εφαρμογές αυτές ο χρόνος αποτελεί σημαντικό παράγοντα. Η διανυσματική φύση του χρώματος αυξάνει την υπολογιστική πολυπλοκότητα των διανυσματικών μορφολογικών μετασχηματισμών. Κατά συνέπεια αυξάνει και τον χρόνο που απαιτεί η μορφολογική επεξεργασία των έγχρωμων εικόνων. Είναι γνωστό ότι η υλοποίηση σε υλικό είναι πάντοτε ταχύτερη από την υλοποίηση σε λογισμικό. Επομένως είναι σημαντική η ανάπτυξη αρχιτεκτονικών που θα υλοποιούν σε υλικό τις διανυσματικές μορφολογικές πράξεις, ώστε να καθιστούν ταχύτερη τη μορφολογική επεξεργασία των έγχρωμων εικόνων. Υπό αυτό το πρίσμα παρουσιάζεται μια νέα αρχιτεκτονική με διανυσματική διοχέτευση δεδομένων για την υλοποίηση σε υλικό των πρωτευόντων πρότυπων διανυσματικών μορφολογικών πράξεων. Πρόκειται για ένα FPGA με τυπική συχνότητα λειτουργίας 40MHz, που επεξεργάζεται δισδιάστατες έγχρωμες εικόνες με βάθος χρώματος 24 ψηφίων. Η λειτουργία της στηρίζεται σε έναν αλγόριθμο εύρεσης ελαχίστου/μεγίστου. Η αύξηση του μεγέθους του δομικού στοιχείου που χρησιμοποιεί για την επεξεργασία δεν αυξάνει σημαντικά την περιοχή που καταλαμβάνει πάνω στο chip, συνεπάγεται ωστόσο μείωση της ταχύτητάς της (του ρυθμού παραγωγής αποτελεσμάτων). Τέλος περιγράφεται μια νέα παράλληλη αρχιτεκτονική με διανυσματική διοχέτευση δεδομένων, για την υλοποίηση σε υλικό τόσο των μαλακών όσο και των πρότυπων διανυσματικών μορφολογικών πράξεων. Είναι επίσης ένα FPGA με τυπική συχνότητα λειτουργίας 40MHz, που επεξεργάζεται δισδιάστατες έγχρωμες εικόνες με βάθος χρώματος 24 ψηφίων. Η λειτουργία της στηρίζεται σε μια μορφή της τεχνικής mergesort, η οποία είναι ταχύτερη από την κλασσική mergesort. Συγκρινόμενη με την προηγούμενη αρχιτεκτονική είναι ταχύτερη από αυτήν (ο ρυθμός παραγωγής αποτελεσμάτων είναι πολύ μεγαλύτερος). Η αύξηση του μεγέθους του χρησιμοποιούμενου δομικού στοιχείου δεν επηρεάζει καθόλου την ταχύτητά της (το ρυθμό παραγωγής αποτελεσμάτων), αυξάνει όμως την περιοχή που καταλαμβάνει πάνω στο chip.