Linguaggio dei segni e intelligenza artificiale: un nuovo sistema di traduzione in tempo reale

La lingua dei segni, rappresenta un sofisticato sistema di comunicazione, essenziale soprattutto per le persone sordo-mute, o con ipoacusia. Esso, infatti, si basa su un insieme complesso di movimenti delle mani, espressioni facciali e gesti corporei mediante cui trasmettere informazioni e stati d'animo. E un esempio noto è la Lingua dei Segni Americana (acronimo ASL), caratterizzata da una grammatica e sintassi proprie, che la rendono una lingua a tutti gli effetti (seppur distinta dall'inglese parlato).

Contrariamente, però, a quanto si pensi, non esiste un'unica lingua universale dei segni. Poiché ogni nazione, possiede la propria, con variazioni che riflettono, quindi, la diversità culturale e linguistica globale. Una molteplicità che sottolinea la ricchezza comunicativa della comunità non udente, e la necessità di strumenti che facilitino la comprensione reciproca (specialmente fra persone udenti e, appunto, non).

Negli ultimi anni, la ricerca tecnologica ha sviluppato sistemi in grado di convertire i gesti della lingua dei segni in testo; o addirittura, in linguaggio parlato. E l'obiettivo è quello di migliorare l'accessibilità, e abbattere le barriere comunicative che, spesso, isolano le persone con disabilità uditive. Un sistema efficace che debba, perciò, garantire il riconoscimento accurato e in tempo reale, dei gesti, mantenendo (frattanto) la capacità di adattarsi a variazioni individuali e contestuali.

In siffatta direzione si è, dunque, inserito lo studio condotto dal College of Engineering and Computer Science della Florida Atlantic University. In cui i ricercatori hanno sviluppato un sistema basato sulla visione artificiale, per il riconoscimento dell'alfabeto della lingua dei segni americana. Mediante cui, attraverso la creazione di un data-set di 29.820 immagini statiche, ogni gesto è stato annotato con 21 punti di riferimento, per mezzo del quale identificare (con precisione) la struttura della mano.

Cosa fa questo linguaggio

Il sistema sfrutta l'integrazione fra MediaPipe, che traccia i movimenti della mano, e YOLOv8, un modello di deep learning ottimizzato per il rilevamento di oggetti. Combinazione, questa, rivelatasi innovativa, e che permette di distinguere anche le variazioni più sottili nei gesti. I cui risultati, pubblicati sulla rivista Elsevier Franklin Open, hanno evidenziato prestazioni straordinarie: con un'accuratezza del 98%, e un punteggio F1 del 99%.

La forza di questo sistema risiede, fondamentalmente, nella capacità di funzionare in tempo reale, un aspetto fondamentale per applicazioni praticate in ambiti come l'istruzione, la sanità e la vita quotidiana. Con un'interfaccia immediata e affidabile la quale può, quindi, facilitare l'integrazione sociale. Andando a migliorare l'interazione fra le persone su dette.

Lo scenario prossimo

Le prospettive future, includono l'espansione del dataset per incrementare la precisione del sistema, e l'ottimizzazione del modello per dispositivi mobili. Evoluzione che permetterà, dunque, di portare la tecnologia direttamente nelle mani degli utenti, ma con strumenti di facile accesso, nonché immediato utilizzo.

L'impatto di queste ricerche, comunque, si estende oltre la comunità sordomuta, promuovendo, infatti, una società più inclusiva. Ragion per cui, la tecnologia, in siffatto contesto, diventa un ponte verso la comprensione reciproca, abbattendo barriere storiche, e favorendo un dialogo senza ostacoli (fra mondi che, fin troppo al lungo, son rimasti separati).