Θεωρία και εργαλεία για την αξιολόγηση της επίδοσης πρακτόρων λογισμικού και πολυπρακτορικών συστημάτων

Abstract

The main objective of this dissertation is to design, develop and test an integrated, generalized framework for the performance evaluation of software agents and multi-agent systems. As software agents is a new technology that is still evolving, the need for defining and using performance evaluation methodologies is imperative. Such methodologies would reveal advantages, shortcomings and the scope of applicability of newly proposed agent systems. Moreover, existing software evaluation methods are inadequate for representing and addressing complex performance concepts that emerge during the operation of agents in uncertain, dynamic environments. In the context of this dissertation, the Generalized Evaluation Framework has been developed, comprising three main parts: 1) the Evaluation Ontology that defines concepts and relationships, covering every aspect of the evaluation procedure, 2) the Agent Performance Evaluation (APE) methodology that consists of a sequence of well-defined steps and representation tools, for organizing evaluation information, and 3) the MEANDER set of integrated and automated evaluation tools that assists the evaluator throughout the evaluation procedure by means of automating the methodological steps of the APE methodology. The Generalized Evaluation Framework has been applied and successfully tested in three diverse agent systems: a)Symbiosis, a simulation environment for artificial life, b) the Trading Agent Competition, an auction-based international competition, and c) BioCrawler, a distributed system for locating and retrieving semantic information in the World Wide Web. The main contribution of this dissertation can be summarized in the following points: a) High-level, qualitative evaluation aspects are quantified and incorporated into the evaluation process, b) A collection of automated software tools implements the evaluation methodology and assists the evaluator in undertaking complex evaluation processes.

Η ερευνητική δραστηριότητα που εκπονήθηκε στα πλαίσια της παρούσας διατριβής έχει ως αντικείμενο τον σχεδιασμό, την ανάπτυξη και τη δοκιμή ενός ολοκληρωμένου, γενικευμένου πλαισίου για την αξιολόγηση της επίδοσης πρακτόρων λογισμικού και πολυπρακτορικών συστημάτων. Καθώς οι πράκτορες λογισμικού αποτελούν μια νέα τεχνολογία που βρίσκεται στο στάδιο της εξέλιξης, είναι επιτακτική η ανάγκη ορισμού και χρήσης μεθοδολογιών που να αναδεικνύουν τα πλεονεκτήματα, την εμβέλεια και τις ελλείψεις της συγκεκριμένης τεχνολογίας. Επιπρόσθετα, οι υπάρχουσες μέθοδοι αξιολόγησης λογισμικού δεν αρκούν για την αναπαράσταση και τον συνυπολογισμό πολύπλοκων συμπεριφορών που επιδεικνύουν οι πράκτορες καθώς λειτουργούν σε αβέβαια, δυναμικά περιβάλλοντα. Στο πλαίσιο της διατριβής αναπτύχθηκε το Γενικευμένο Πλαίσιο Αξιολόγησης πρακτόρων λογισμικού, που αποτελείται από τρία βασικά συστατικά: α) την Οντολογία Αξιολόγησης, που ορίζει βασικές έννοιες και συσχετίσεις που αφορούν όλα τα στάδια και τις πτυχές μιας διαδικασίας αξιολόγησης, β) τη μεθοδολογία APE, που αποτελείται από μια σειρά καλά καθορισμένων βημάτων και εργαλείων αναπαράστασης για την οργάνωση της πληροφορίας της αξιολόγησης και τη διεξαγωγή κάθε πειραματικής διαδικασίας, και γ) το πλαίσιο αυτοματοποιημένης αξιολόγησης MEANDER, που παρέχει μια σειρά από αλληλένδετα εργαλεία λογισμικού με στόχο την αυτοματοποίηση των βημάτων της μεθοδολογίας APE. Η λειτουργία του πλαισίου αξιολόγησης δοκιμάστηκε με επιτυχία σε τρεις ετερογενείς εφαρμογές πρακτόρων: το περιβάλλον προσομοίωσης Symbiosis, το διαγωνισμό Trading Agent Competition και το σύστημα ανάκτησης σημασιολογικών δεδομένων BioCrawler. Η επιστημονική συμβολή της παρούσας διατριβής έγκειται: α) στην ενσωμάτωση και ποσοτικοποίηση πολύπλοκων ή ποιοτικών εννοιών αξιολόγησης) στην αυτοματοποίηση της διαδικασίας αξιολόγησης, με την υποστήριξη της μεθοδολογίας από αυτοματοποιημένα εργαλεία λογισμικού) στον ορισμό μιας πρωτότυπης οντολογίας αξιολόγησης για τον ορισμό των εννοιών και συσχετίσεων που εμπεριέχονται σε μια διαδικασία αξιολόγησης, δ) στην αυστηρή προδιαγραφή μιας ολοκληρωμένης μεθοδολογίας αξιολόγησης,και ε) στην επέκταση της παραπάνω μεθοδολογίας με χρήση ασαφούς u955 λογικής με στόχο την ολοκλήρωση και διαισθητική αναπαράσταση της γνώσης που σχετίζεται ή παράγεται κατά τη διαδικασία αξιολόγησης