Κατεβάστε την Εφαρμογή SignGuide
Αντικείμενο του έργου είναι η ανάπτυξη πρότυπου διαδραστικού συστήματος ξενάγησης σε μουσείο για κωφούς επισκέπτες με χρήση κινητών συσκευών που θα είναι σε θέση να δέχονται ερωτήσεις των επισκεπτών στη μητρική τους (νοηματική) γλώσσα σε σχέση με τα εκθέματα, και να παρέχουν πρόσθετο περιεχόμενο με χρήση avatar ή βίντεο επίσης στη νοηματική αξιοποιώντας τεχνικές από το χώρο της υπολογιστικής όρασης, της μηχανικής μάθησης και των γραφικών. Τελικό επιθυμητό αποτέλεσμα η αύξηση της ικανοποίησης των κωφών επισκεπτών και μακροπρόθεσμα η καλύτερη κοινωνική ενσωμάτωσή τους μέσω της καλύτερης διάχυσης του πολιτιστικού περιεχομένου, καθώς και η αύξηση της επισκεψιμότητας του μουσείου από μέλη της συγκεκριμένης ομάδας. Το SignGuide αναμένεται μακροπρόθεσμα να συμβάλλει ώστε μουσεία και πολιτιστικοί οργανισμοί να εναρμονίσουν τις παρεχόμενες υπηρεσίες τους με την Ευρωπαϊκή νομοθεσία που υποχρεώνει σε παροχή ίσης πρόσβασης σε ευαίσθητες κοινωνικές ομάδες.
Το έργο SignGuide υλοποιείται στο πλαίσιο της Δράσης ΕΡΕΥΝΩ – ΔΗΜΙΟΥΡΓΩ - ΚΑΙΝΟΤΟΜΩ. Βασικός στόχος της Δράσης είναι η σύνδεση της έρευνας και της καινοτομίας με την επιχειρηματικότητα και η ενίσχυση της ανταγωνιστικότητας, της παραγωγικότητας και της εξωστρέφειας των επιχειρήσεων προς διεθνείς αγορές, με σκοπό τη μετάβαση στην καινοτόμα επιχειρηματικότητα και την αύξηση της εγχώριας προστιθέμενης αξίας.
Σ1: Υλοποίηση υπηρεσίας για κινητές συσκευές που θα αναγνωρίζει την ερώτηση του χρήστη με ΝΓ σχετικά με την έκθεση
Σ2: Υλοποίηση υπηρεσίας που θα αναλύει την προηγούμενη ερώτηση και θα ανακαλεί ως απάντηση πρόσθετο περιεχόμενο στη ΝΓ
Σ3: Ανάπτυξη συνοδευτικού υλικού σε μορφή τέτοια ώστε να στηρίζει την ανάκτηση με βάση ερωτήσεις ελεύθερου κειμένου
Σ4: Ανάπτυξη avatar για την παρουσίαση του πρόσθετου υλικού μέσω ΝΓ
Σ5: Η ανάπτυξη ενός πρότυπου συστήματος ξενάγησης για κωφούς επισκέπτες μουσείων, το οποίο θα μπορεί να διεισδύσει δυναμικά στην παγκόσμια αγορά mobile πολιτιστικών εφαρμογών, λόγω της μοναδικότητάς του με στόχο την αύξηση ικανοποίησης επισκέπτη, την αύξηση της επισκεψιμότητας και το μικρό κόστος εγκατάστασης και λειτουργίας.
Σ6: Η ανάπτυξη ενός συστήματος μουσειακής ξενάγησης για κωφούς που θα λαμβάνει υπόψη τις ανάγκες τους και θα βελτιώνει την ποιότητα ζωής τους. Η ικανοποίηση των στόχων αυτών θα τεκμηριωθεί κατά τη περίοδο δοκιμαστικής λειτουργίας με την αισθητή αύξηση της ικανοποίησης και της διάρκειας παραμονής στο μουσείο π.χ. κατά >50%.
Σ7: Διάχυση των αποτελεσμάτων του έργου με στόχο τη διαφήμιση των οφελειών και απώτερο σκοπό την βελτίωση της εμπειρίας επίσκεψης σε μουσείο και την καλύτερη ενσωμάτωση των κωφών ατόμων. Οι ομάδες–στόχοι είναι: Διοίκηση και επιμελητές μουσείων, κωφοί επισκέπτες και ενώσεις κωφών, ευρύ κοινό, ερευνητές, εταιρείες στο χώρο του πολιτισμού.
Οι στόχοι θα γίνουν τεχνικά εφικτοί μέσω (α) αλγορίθμων υπολογιστικής όρασης και μηχανικής μάθησης για αναγνώριση των ερωτήσεων (β) μηχανικής μάθησης για συσχέτιση των ερωτήσεων με το περιεχόμενο και (γ) αλγορίθμων γραφικών για την υλοποίηση του εικονικού ξεναγού. To σύστημα θα χρησιμοποιηθεί στο Αρχαιολογικό Μουσείο Θεσσαλονίκης (ΑΜΘ). Η ολοκλήρωση και η εμπορική εκμετάλλευση θα γίνει μέσω της BioAssist. Η ανάπτυξη του συστήματος παρακολούθησης και ο εικονικός ξεναγός θα αναπτυχθούν από το Ίδρυμα Τεχνολογίας και Έρευνας και τα εργαστήρια Υπολογιστικής Όρασης και Ρομποτικής (ΙΤΕ-ΕΥΟΡ) και Αλληλλεπίδρασης Ανθρώπου–Υπλολογιστή (ΙΤΕ-ΕΑΑΥ) αντίστοιχα. Οι χρήστες θα προέρχονται από τη Μονάδα Αγωγής Κωφών του Πανεπιστημίου της Πάτρας (ΠΠ-ΜΑΚ). Το εργαστήριο Επεξεργασίας Σημάτων και Τηλεπικοινωνιών (ΠΠ-ΕΕΣΤ) θα αναλάβει τη μηχανικής μάθηση. Το εργαστήριο Πολιτισμικής Τεχνολογίας του Πανεπιστημίου της Πάτρας (ΠΠ-ΕΠΤ) θα οργανώσει το περιεχόμενο και θα συντονίζει το έργο
Επιστημονική Υβριδική Ημερίδα "Μουσεία χωρίς αποκλεισμούς - Μουσειακές εμπειρίες για άτομα με προβλήματα ακοής"
Δεύτερη δια ζώσης συνάντηση
Ολοκλήρωση βιντεοσκόπησης συνόλου ερωτημάτων
Ημερίδα προσβασιμότητας
Sartinas, E.G., Psarakis, E.Z. and Kosmopoulos, D.I., 2023. Motion-Based Sign Language Video Summarization using Curvature and Torsion . arXiv preprint arXiv:2305.16801.
Pikoulis, E.-V., Bifis. A., Arvanitis, N., and Kosmopoulos, D. Kosmopoulos, 2023, September. Automatic Sign Language sentence recognition in the context of guided museum tours for deaf and hard-of-hearing visitors. AMID Workshop, The ACM International Conference on Mobile Human-Computer Interaction (MobileHCI2023).
Drosakis, D. and Argyros, A., 2023, July. 3D Hand Shape and Pose Estimation based on 2D Hand Keypoints. In Proceedings of the 16th International Conference on PErvasive Technologies Related to Assistive Environments (pp. 148-153).
Arvanitis, N., Sartinas, E. and Kosmopoulos, D., 2023, June. Procrustes-DTW: Dynamic Time Warping Variant for the Recognition of Sign Language Utterances. In 2023 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW) (pp. 1-5). IEEE.
Koulouris, D., Trastelis, F., Menychtas, A., Kosmopoulos, D. and Maglogiannis, I., 2023, June. Utilizing AR and Hybrid Cloud-Edge Platforms for Improving Accessibility in Exhibition Areas. In IFIP International Conference on Artificial Intelligence Applications and Innovations (pp. 171-182). Cham: Springer Nature Switzerland.
K. Papavassileiou, D. I. Kosmopoulos, and G. Owens. 2023. A generative model for the Mycenaean Linear B script and its application in infilling text from ancient tablets. ACM Journal on Computing and Cultural Heritage, 16(3), pp.1-25.
Vasilikopoulos, N., Kolotouros, N., Tsoli, A. and Argyros, A., 2023, April. TAPE: Temporal Attention-based Probabilistic human pose and shape Estimation. In Scandinavian Conference on Image Analysis (pp. 418-431). Cham: Springer Nature Switzerland.
D.I. Kosmopoulos, C. Constantinopoulos, M. Trigka, D. Papazachariou, K. Antzakas, V. Lampropoulou, A. Argyros, I. Oikonomidis, A. Roussos, N. Partarakis, G. Papagiannakis, K. Grigoriadis, A. Koukouvou, A. Moneda. 2022, June. Museum Guidance in Sign Language: the SignGuide project. In Proceedings of the 15th International Conference on PErvasive Technologies Related to Assistive Environments (pp. 646-652). DOI
Tze, C.O., Filntisis, P.P., Roussos, A. and Maragos, P. 2022, June. Cartoonized Anonymization of Sign Language Videos. In 2022 IEEE 14th Image, Video, and Multidimensional Signal Processing Workshop (IVMSP) (pp. 1-5). IEEE. DOI
Tze, C.O., Filntisis, P.P., Dimou, A.L., Roussos, A. and Maragos, P. 2022. Neural Sign Reenactor: Deep Photorealistic Sign Language Retargeting. arXiv preprint arXiv:2209.01470
K. Blekos and D. I. Kosmopoulos. 2022. Quantum Data Reduction with Application to Video Classification. In 2022 IEEE/ACM 7th Symposium on Edge Computing (SEC) (pp. 430-435). IEEE.
Karuzaki, E., Partarakis, N., Patsiouras, N., Zidianakis, E., Katzourakis, A., Pattakos, A., Kaplanidi, D., Baka, E., Cadi, N., Magnenat-Thalmann, N. and Ringas, C., 2021. Realistic virtual humans for cultural heritage applications. Heritage, 4(4), pp.4148-4171.
Blekos, K. and Kosmopoulos, D., 2021. A Quantum 3D Convolutional Neural Network with Application in Video Classification. In Advances in Visual Computing: 16th International Symposium, ISVC 2021, Virtual Event, October 4-6, 2021, Proceedings, Part I (pp. 601-612). Springer International Publishing.
Το εργαστήριο Επεξεργασίας Σημάτων και Τηλεπικοινωνιών (ΕΕΣΤ) είναι ένα εργαστήριο του τμήματος Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής (ΤΜΗΥΠ), του Πανεπιστημίου Πατρών. Το εργαστήριο παρουσιάζει ερευνητική δραστηριότητα σε διάφορους τομείς, όπως η Επεξεργασία σημάτων για Τηλεπικοινωνίες, τα Δίκτυα Αισθητήρων, η Αναγνώριση Συστημάτων κ.ο.κ.
Ίδρυμα Τεχνολογίας και Έρευνας-Ινστιτούτο Πληροφορικής (Εργαστήριο Υπολογιστικής Όρασης και Ρομποτικής, Εργαστήριο Αλληλλεπίδρασης Ανθρώπου–Υπολογιστή)
Το Αρχαιολογικό Μουσείο Θεσσαλονίκης είναι από τα μεγαλύτερα μουσεία της χώρας και το κεντρικό μουσείο της Βόρειας Ελλάδας. Με μοναδικές συλλογές αρχαίων αντικειμένων, με πλούσια δραστηριότητα και εξωστρέφεια είναι πάντα έτοιμο να καλωσορίσει τους επισκέπτες του.
Η Βιοαρωγή ιδρύθηκε το 2013 και είναι η πρώτη ελληνική εταιρεία υπηρεσιών ICT που απευθύνεται σε ηλικιωμένους και χρόνιους ασθενείς. Με την επέλαση του Internet of Things σε κάθε έκφανση της ανθρώπινης δραστηριότητας, πιστεύουμε ότι ο τομέας της Ηλεκτρονικής Υγείας είναι το πιο χρήσιμο κεφάλαιο στο βιβλίο του ΙοT. Η πρόσβαση σε υπηρεσίες απομακρυσμένης παρακολούθησης γίνεται μια απλή, άμεση και φιλική διαδικασία.
Η Μονάδα Αγωγής Κωφών του Πανεπιστημίου Πατρών ανήκει στο Εργαστήριο Παιδαγωγικής Έρευνας του Παιδαγωγικού Τμήματος Δημοτικής Εκπαίδευσης. Άρχισε να λειτουργεί το 1994 και είναι η μοναδική στην Ελλάδα ερευνητική μονάδα σε ΑΕΙ που παρέχει έρευνα στο αντικείμενο της γλωσσολογίας της νοηματικής γλώσσας, καθώς και της εκπαίδευσης και αποκατάστασης κωφών και βαρηκόων ατόμων.
