2. Traduccion Automatica Del Lenguaje Dactilologico De Sordos Y Sordomudos Mediante Sistemas Adaptativos

Revista Ingeniería Biomédica

ISSN 1909-9762 / Volumen 7 / Número 13 / Enero-Junio de 2013 / pp.18-30

Escuela de Ingeniería de Antioquia-Universidad CES / Envigado, Colombia

Traducción automática del lenguaje dactilológico

de sordos y sordomudos mediante sistemas

Daniel Betancur Betancur

1

adaptativos

1

, Mateo Vélez Gómez

1

, Alejandro Peña Palacio

Escuela de Ingeniería de Antioquia (EIA). Envigado, Colombia

Recibido 15 de noviembre de 2012. Aprobado 21 de marzo de 2013. En discusión hasta el 1 de junio de 2013

AutomAtic trAnslAtion of the dActilologic lAnguAge

of heAring impAired by AdAptive systems

Resumen ─ Una de las principales limitaciones que presentan las personas con discapacidad auditiva está directamente

relacionada con su dificultad para interactuar con otras personas, ya sea de forma verbal o a través de sistemas auxiliares basados en

la voz y el audio. En este artículo se presenta el desarrollo de un sistema integrado de hardware y software, para el reconocimiento

automático del lenguaje dactilológico de señas utilizado por personas con este tipo de discapacidad. El hardware está compuesto

por un sistema inalámbrico adherido a un guante, el cual posee un conjunto de sensores que capturan una serie de señales generadas

por los movimientos gestuales de la mano, y un modelo por adaptación basado en los principios de la computación neuronal, el cual

permite su reconocimiento en términos de un lenguaje dactilológico en particular. Los resultados arrojados por el sistema integrado

mostraron gran efectividad en el reconocimiento de las vocales que conforman el lenguaje dactilológico en español, esto gracias a la

capacidad que posee el modelo de asociar un conjunto de señales de entrada, con un movimiento dactilológico en particular.

Palabras clave ─ Computación neuronal híbrida, lenguaje dactilológico, Protocolo ZigBee, discapacidad auditiva, sistemas de

reconocimiento.

Abstract ─ One of the main limitations of the people with hearing impairment is directly related to their difficulty interacting

with others, either verbally or through auxiliary systems based on voice and audio. This paper presents the development of an

integrated system of hardware and software for automatic fingerspelling sign language used by people with this type of disability. The

hardware system comprises a glove which has a set of wireless sensors that capture a series of signals generated by the hand gestures,

and a adaptive model based on the principles of neural computation, that allows recognition of a particular dactilologic language.

Results from the integrated system showed great effectiveness in recognizing vowels from the dactilologic Spanish language. This

recognition was influenced by the dimensionality reduction made by the neural model of the input signals representing movements,

and the sensitivity factor that sets the limit between recognition and learning.

ψ

Keywords ─ Dactilologic language, Hearing impairment, Hybrid neural computing, Zigbee protocol.

L

i. introducción

a comunicación es el medio por el cual los seres

humanos comparten sus ideas, pensamientos,

sentimientos u opiniones, constituyéndose en un elemento

primordial para el desarrollo de una persona dentro de una

Dirección para correspondencia: pfjapena@gmail.com

1,ψ

sociedad. Como seres humanos, los individuos utilizan

diferentes formas de comunicación, siendo el habla la más

común, seguida de la escritura y finalmente de cualquier

otro tipo de lenguaje de señas creado para tal fin [1,2].

Como individuos, las personas sordas y sordomudas

poseen una capacidad auditiva nula que no les permite

Betancur D. et al. Sistema de traducción del lenguaje dactilológico

aprender a hablar, por lo que se ven obligadas a emitir o a

captar mensajes por medios diferentes al sonido, como son

la escritura o el lenguaje dactilológico, para lo cual sólo

requieren del sentido de la vista [3].

El lenguaje dactilológico es un lenguaje de señas

generado por los movimientos gestuales de la mano,

en donde se busca interpretar cada letra del alfabeto a

través de diferentes figuras o formas. Este lenguaje varía

de comunidad en comunidad, donde cada una maneja un

gentilicio para su idioma gestual, por ejemplo las personas

con discapacidad auditiva en comunidades de habla

francesa utilizan el langue des signes française conocido

como LSF [4], en los Estados Unidos de América (USA)

este lenguaje se conoce como american sign language

(ASL) [5], y en el idioma español en donde se enmarca

el lenguaje de signos colombiano (Fig. 1), este se conoce

como lengua de signos española (LSE) [6,7].

Fig.1. Movimientos gestuales que definen el lenguaje dactilológico en

español utilizado en Colombia.

A pesar de la gran variedad de lenguajes dactilológicos

existentes, y a pesar de la gran cantidad de signos que

estos poseen, la comunicación verbal sigue siendo una

limitación importante en la formación de personas con

discapacidad auditiva, hecho que se evidencia aún más

en su formación a través de ambientes virtuales en donde

predomina la comunicación verbal, lo que supone un

impacto directo en su inserción en la sociedad y de manera

general en el mundo laboral [8].

La comunicación no verbal en personas con

discapacidad auditiva involucra una serie de aspectos

relacionados con los movimientos gestuales de la mano

como son las posturas, en donde se encuentran la forma

y la orientación de la mano, o los gestos temporales, los

cuales se relacionan con su movimiento y posición [9,10],

y de manera general con los estados de transición y las

posturas del cuerpo humano [11]. Para el reconocimiento

de un movimiento gestual desde las posturas y los gestos

temporales, se han desarrollado una serie de trabajos

basados en el procesamiento digital de imágenes sobre

video, los cuales reconocen un movimiento gestual

en tiempo real, mediante la utilización de técnicas

como la transformada wavelet, o las redes neuronales

por aprendizaje no supervisado [11]. Para el caso del

reconocimiento de movimientos gestuales a partir

de imágenes

...