Hoy en día, cualquier barrera de comunicación es perjudicial para la sociedad. Este proyecto investigará y desarrollará el servicio de comunicación SignON, que utiliza la traducción automática para traducir entre las lenguas de signos y las habladas. Este servicio facilitará el intercambio de información entre personas sordas y con problemas de audición, y personas oyentes. En este proyecto centrado en el usuario e impulsado por la comunidad, colaboraremos estrechamente con las comunidades europeas de sordos y con dificultades auditivas para (re)definir los casos de uso, codiseñar y codesarrollar el servicio y la aplicación SignON, evaluar la calidad y validar su aceptación. Nuestro objetivo final es la difusión justa, imparcial e inclusiva de información y contenidos digitales en la sociedad europea.

Nuestro proyecto desarrollará una aplicación gratuita y abierta y un marco de trabajo para la conversión entre el vídeo (captura y comprensión de la lengua de signos), el audio y el texto y la traducción entre las lenguas de signos y las habladas. Para facilitar estas tareas, proponemos una representación común para mapear el vídeo, el audio y el texto en un espacio unificado, que se utilizará para traducir a la modalidad y la lengua de destino. Para garantizar una amplia aceptación, una mejor detección y síntesis de la lengua de signos, así como el procesamiento del habla multilingüe en dispositivos móviles para todo el mundo, desplegaremos el servicio SignON como una aplicación para teléfonos inteligentes que se ejecutará en dispositivos modernos estándar. Prevemos que la aplicación sea una interfaz ligera. Sin embargo, el marco de SignON se distribuirá en la nube, donde se ejecutarán las tareas de cálculo intensivo. Nos centramos en las lenguas de signos irlandesa, británica, holandesa, flamenca y española y en las lenguas habladas inglesa, irlandesa, holandesa y española. Sin embargo, SignON incorporará sofisticadas capacidades de aprendizaje automático que permitirán (i) el aprendizaje de nuevas lenguas de signos, escritas y habladas; (ii) la adaptación al estilo, al dominio y al usuario, y (iii) la corrección automática de errores, basada en los comentarios de los usuarios.

Página web: https://signon-project.eu/
Organización:  European Commission
Investigador principal: Andrew Way
Participantes: 
Nora Aranberri, Gorka Labaka, Adrian Nuñez, Olatz Perez de Viñaspre