Reconocimiento de Lenguaje de señas con IA

[pic 1]

Reconocimiento de Lenguaje de señas con IA

Manual de Usuario

Versión: 1.0

Fecha: 18/06/2023

[1.0]

HOJA DE CONTROL

REGISTRO DE CAMBIOS

CONTROL DE DISTRIBUCIÓN

ÍNDICE

1 DESCRIPCIÓN DEL SISTEMA        4

1.1 Objeto        4

1.2 Alcance        4

1.3 Funcionalidad        4

2 MAPA DEL SISTEMA        5

2.1 Modelo Lógico        5

2.2 Navegación        5

3 DESCRIPCIÓN DEL SISTEMA        6

3.1 Subsistema 1        6

3.1.1 Pantalla 1        6

3.1.2 Mensajes de error        6

3.1.3 Ayudas contextuales        6

4 FAQ        7

5 ANEXOS        8

6 GLOSARIO        9

7 BIBLIOGRAFÍA Y REFERENCIAS        10

1. DESCRIPCIÓN DEL SISTEMA

1. Objeto

El objetivo principal del software podría ser facilitar la comunicación y la interacción entre las personas con discapacidad auditiva que utilizan el lenguaje de señas y los mercados o lugares de atención al cliente promoviendo la inclusión y la igualdad de oportunidades para las personas sordas.

El sistema debe traducir los gestos de forma precisa y en tiempo real para garantizar una comunicación fluida el software puede actuar como un intermediario en la comunicación entre personas que utilizan el lenguaje de señas y aquellas que no lo conocen. Esto puede ser útil en entornos de atención al cliente, servicios públicos, interacciones sociales, entre otros.

Además de facilitar la comunicación, el software puede ayudar a generar conciencia y comprensión sobre la discapacidad auditiva y el lenguaje de señas en los mercados y en la sociedad en general. Puedes incluir recursos educativos en tu software, como información sobre el lenguaje de señas y la importancia de la inclusión, para fomentar la sensibilización y la empatía hacia las personas con discapacidad auditiva.

Uno de los objetivos también sería brindar a las personas con discapacidad auditiva una experiencia de atención al cliente mejorada, fluida y satisfactoria. Al utilizar el software de reconocimiento de lenguaje de señas, los mercados podrían comprender y responder de manera más efectiva a las necesidades y preguntas de sus clientes con discapacidad auditiva, mejorando así su experiencia general.

Además se tiene como objetivo proporcionar una interfaz de usuario intuitiva y fácil de usar, que permita a los usuarios interactuar de manera efectiva con el sistema. Esto incluye diseñar una interfaz clara y legible donde se muestren las traducciones de las señas de manera comprensible, y brindar opciones de personalización y configuración de manera accesible.

1. Alcance

El alcance del sistema de reconocimiento del lenguaje de señas con IA se centra en proporcionar una herramienta que permita a las personas con discapacidad auditiva comunicarse de manera efectiva a través de gestos de lenguaje de señas. El sistema utiliza técnicas de visión por computadora y aprendizaje automático para reconocer y traducir los gestos en tiempo real, facilitando la comunicación con personas que no conocen el lenguaje de señas.

1. Funcionalidad

• Reconocimiento de gestos: El sistema debe ser capaz de capturar y reconocer los gestos del lenguaje de señas realizados por el usuario a través de una cámara o sensor. Utilizará técnicas de visión por computadora y aprendizaje automático para identificar y categorizar los gestos.
• Traducción en tiempo real: Una vez que se constituyen los gestos, el sistema debe traducirlos en texto escrito de forma instantánea y precisa.
• Interfaz de usuario intuitiva: El sistema contará con una interfaz de usuario fácil de usar e intuitiva. Deberá proporcionar opciones claras para iniciar el reconocimiento, así como configuraciones adicionales para adaptar el sistema a las preferencias del usuario.
• Actualizaciones y mejoras continuas del modelo de reconocimiento mediante el aprendizaje automático con nuevos datos de señas.

1. MAPA DEL SISTEMA

1. Modelo Lógico

[pic 2]

1. Navegación

1. En la página web de “github” descargamos el proyecto llamado “Proyecto Traductor de Lengua de Signos”, la cual procedemos a descargar el código fuente desde la misma página.

[pic 3][pic 4]

1. Extraer el archivo comprimido descargado

[pic 5]

1. Abrimos la ventana de CMD y ejecutaremos los comandos adecuados para poder instalar las dependencias y ejecutar el proyecto.

[pic 6]

[pic 7][pic 8]

[pic 9]

Ventana de traducción

1. DESCRIPCIÓN DEL SISTEMA

Cuando el reconocimiento del lenguaje de señales está activo, los usuarios pueden visualizar la ventana de traducción. Aquí, se muestra la traducción en tiempo real de los gestos de lenguaje de señas a texto escrito.

El programa consta de las siguientes etapas:

1. Captura de señas

• Utilizando una cámara o dispositivo de captura de video, se capturan las señas realizadas por los usuarios.

1. Preprocesamiento de señas

• Las señas capturadas se someten a técnicas de procesamiento de imágenes para mejorar la calidad y facilitar el reconocimiento.
• Esto puede incluir operaciones como el filtrado de ruido, la normalización de iluminación, la segmentación de manos u otros elementos relevantes.

1. Reconocimiento de señas

• Se utilizan algoritmos de aprendizaje automático y redes neuronales previamente entrenadas para reconocer y clasificar las señas.
• Los modelos de reconocimiento pueden haber sido entrenados con datos etiquetados de señas en lenguaje de señas para lograr una alta precisión.
• Los datos preprocesados se introducen en el modelo de reconocimiento, que devuelve una etiqueta o clasificación que representa la señal realizada.

1. Traducción de señas

• Se toma la salida del reconocimiento de señas muestra en pantalla.

1. Interfaz de usuario

• Se proporciona una interfaz gráfica.

1. Subsistema 1

No corresponde

1. Pantalla 1

[pic 10]

1. Mensajes de error

[pic 11][pic 12]

Aparecerán debajo del recuadro verde también las clasificaciones por el modelo que queden en 2do o 3er lugar, porque por ejemplo hay letras que se parecen mucho: A, E y S o K y V. Con lo cual si no queda en 1ra posición, se puede observar si por lo menos queda en 2da o 3ra posición.

...