Ανάλυση νοηματικής γλώσσας σε κινητές συσκευές

για διερμηνεία με έμφαση στις υπηρεσίες υγείας

Σχετικά με το έργο

Η νοηματική γλώσσα (ΝΓ) αποτελεί τη βασική γλώσσα επικοινωνίας για άτομα με προβλήματα ακοής. Η πρόσβαση στην επικοινωνία μέσω της γλώσσας είναι ουσιώδης για την εκπλήρωση βασικών ανθρώπινων αναγκών, ωστόσο στην περίπτωση της ΝΓ υπάρχει σημαντικό κενό στην προσφορά διερμηνέων, που συχνά επιφυλάσσει μέχρι και κινδύνους για τους χρήστες της σε περίπτωση έκτακτων και σοβαρών περιστατικών υγείας.

To HealthSign προτείνει την υλοποίηση μιας εφαρμογής αυτόματης διερμηνείας της Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ) μέσω διαδικτύου με έμφαση στις υπηρεσίες υγείας. Οι υπηρεσίες υγείας είναι οι συνηθέστερες περιπτώσεις για τις οποίες οι κωφοί αναζητούν διερμηνείς και πολλές φορές η ζήτηση παραμένει ανικανοποίητη ή απαιτεί μεγάλη αναμονή. Tαυτόχρονα η δυνατότητα κάποιος κωφός να έχει άμεση πρόσβαση σε ιατρικό/νοσηλευτικό προσωπικό με ταυτόχρονη διερμηνεία αναμένεται να έχει σημαντικά οφέλη στην ασφάλεια και στην κοινωνική ενσωμάτωση των κωφών.

Η οπτική πληροφορία είναι ίσως η μόνη που μπορεί να έχει πρακτική εφαρμογή στο συγκεκριμένο πρόβλημα διότι (α) μόνο αυτή μπορεί να απεικονίσει τις σωματικές κινήσεις που παρέχουν σημαντικές πληροφορίες για τη νοηματική γλώσσα, (β) οι φορητές συσκευές που περιλαμβάνουν οπτικούς αισθητήρες είναι ευρύτατα διαθέσιμες και εύχρηστες και (γ) οι τελευταίες εξελίξεις στο επιστημονικό πεδίο της τεχνητής όρασης και της μηχανικής μάθησης καθιστούν πλέον την αναγνώριση ρεαλιστική (δ) υπάρχει δυνατότητα επεξεργασίας οπτικών δεδομένων σε φορητές συσκευές που έχουν πλέον αποκτήσει υπολογίσιμη ισχύ.

Τεχνικοί στόχοι:

Σ1: Δημιουργία βάσης δεδομένων βίντεο της ΕΝΓ από πραγματικούς χρήστες (κωφούς) με έμφαση σε περιεχόμενο που σχετίζεται με προβλήματα υγείας.

Σ2: Υλοποίηση διαδικτυακής πλατφόρμας για επικοινωνία με φορητές συσκευές, που θα επιτρέπει την σύγχρονη επικοινωνία κωφών με ιατρικό/νοσηλευτικό προσωπικό για έκτακτα ή μη περιστατικά και επεξεργασία σε διακομιστή.

Σ3: Παράλληλη υλοποίηση μιας πιο «ελαφριάς» έκδοσης αναγνώρισης ΕΝΓ σε ενσωματωμένη πλατφόρμα ώστε σημαντικό μέρος της επεξεργασίας να εκτελείται στην κινητή συσκευή με στόχο την μείωση των καθυστερήσεων λόγω μεταφοράς πάνω από αργά δίκτυα.

Ερευνητικοί στόχοι:

Σ4: Υλοποίηση λογισμικού για την αναγνώριση φράσεων της ΕΝΓ βασισμένο σε τεχνικές μηχανικής μάθησης και τεχνητής όρασης. Θα λαμβάνονται υπόψη οι σχηματισμοί των χεριών, αλλά και οι εκφράσεις του προσώπου συνδυάζοντας μοντέλα του ανθρώπινου σώματος με μοντέλα βαθειάς μάθησης για βέλτιστη εκπαίδευση και λειτουργία σε πραγματικό χρόνο.

Σ5: Μεταφορά του μοντέλου διερμηνείας ΕΝΓ πάνω σε φορητές συσκευές με χρήση της τεχνολογίας FPGA, έπειτα από κατάλληλες τροποποιήσεις.

Οικονομικοί στόχοι:

Σ6: Βασικός στόχος είναι η οικονομική βιωσιμότητα της παρεχόμενης υπηρεσίας. Ο στόχος θα επιτευχθεί μέσω (α) χρήσης ελάχιστου εξοπλισμού από την πλευρά των χρηστών (προσωπικό υγείας/κωφών) (β) αποδοτικής υλοποίησης αλγορίθμων ώστε να είναι εφικτή η επεξεργασία χωρίς υπέρογκο υπολογιστικό κόστος (γ) απλοποίησης στο ελάχιστο κόστος της διαδικασίας εγκατάστασης της εφαρμογής στο χρήστη και (δ) ανάπτυξης ανταγωνιστικού επιχειρηματικού μοντέλου χρέωσης των παρεχόμενων υπηρεσιών.

Σχετικές Δημοσιεύσεις

Σύμπραξη

Image

Το εργαστήριο Επεξεργασίας Σημάτων και Τηλεπικοινωνιών (ΕΕΣΤ) είναι ένα εργαστήριο του τμήματος Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής (ΤΜΗΥΠ), του Πανεπιστημίου Πατρών. Το εργαστήριο παρουσιάζει ερευνητική δραστηριότητα σε διάφορους τομείς, όπως η Επεξεργασία σημάτων για Τηλεπικοινωνίες, τα Δίκτυα Αισθητήρων, η Αναγνώριση Συστημάτων κ.ο.κ.

Image

Το Ινστιτούτο Πληροφορικής (ΙΠ), ένα από τα έξι ερευνητικά Ινστιτούτα του Ιδρύματος Τεχνολογίας και Έρευνας (ΙΤΕ), διεξάγει βασική και εφαρμοσμένη έρευνα στην ευρύτερη περιοχή της Επιστήμης και Μηχανικής των Υπολογιστών, και διαδραματίζει πρωταγωνιστικό ρόλο στην ανάπτυξη της Κοινωνίας της Πληροφορίας σε εθνικό και διεθνές επίπεδο.

Image

Η IRIDA Labs γεφυρώνει το κενό μεταξύ κάμερας και ανθρώπινου ματιού, φέρνοντας οπτική αντίληψη σε κάθε συσκευή. Αναπτύσουν λογισμικό Υπολογιστικής Όρασης, χρησιμοποιώντας Επεξεργασία Εικόνας και Μηχανική Μάθηση, για κάθε CPU/GPU ή DSP/ASP πλατφόρμα, μέσω τεχνικών Ετερογενούς προγραμματισμού.

Image

Η Bιοαρωγή ιδρύθηκε το 2013 και είναι ελληνική εταιρεία υπηρεσιών ICT που απευθύνεται σε ηλικιωμένους, χρόνιους ασθενείς και γενικότερα άτομα που χρήζουν βοήθειας. Σκοπός της εταιρείας είναι η έρευνα, ο σχεδιασμός και η μελέτη για συστήματα απομακρυσμένης παρακολούθησης και υποστήριξη της υγείας κι ευεξίας.

Image

Η Μονάδα Αγωγής Κωφών του Πανεπιστημίου Πατρών ανήκει στο Εργαστήριο Παιδαγωγικής Έρευνας του Παιδαγωγικού Τμήματος Δημοτικής Εκπαίδευσης. Άρχισε να λειτουργεί το 1994 και είναι η μοναδική στην Ελλάδα ερευνητική μονάδα σε ΑΕΙ που παρέχει έρευνα στο αντικείμενο της γλωσσολογίας της νοηματικής γλώσσας, καθώς και της εκπαίδευσης και αποκατάστασης κωφών και βαρηκόων ατόμων.


Το συντονισμό του έργου έχει αναλάβει το Πανεπιστήμιο Πατρών,
με επιστημονικό υπεύθυνο τον Αναπληρωτή Καθηγητή Δημήτριο Κοσμόπουλο. (Προσωπικός Ιστότοπος)

Νέα

Επικοινωνήστε Μαζί Μας


Παρακαλούμε απευθύνετε τα ερωτηματά σας μέσω της φόρμας επικοινωνίας:

Υλοποιήθηκε στο πλαίσιο της Δράσης ΕΡΕΥΝΩ – ΔΗΜΙΟΥΡΓΩ - ΚΑΙΝΟΤΟΜΩ και συγχρηματοδοτήθηκε από την Ευρωπαϊκή Ένωση και εθνικούς πόρους μέσω του Ε.Π. Ανταγωνιστικότητα, Επιχειρηματικότητα & Καινοτομία (ΕΠΑνΕΚ) (κωδικός έργου: Τ1ΕΔΚ-01299).