Generación de Texto Utilizando Redes Neuronales Recurrentes

Universidad Politécnica de Tlaxcala

Ingeniería mecatrónica

Generación de Texto Utilizando Redes Neuronales Recurrentes

Diciembre 2017

En el presente trabajo se describe el proyecto titulado, Generación de Texto Utilizando Redes Neuronales Recurrentes, el cual consiste en la elaboración de una red neuronal recurrente de tipo Long Short-Term Memory (LSTM en adelante) que sea capaz de generar texto, la red LSTM  es entrenada con código en lenguaje POV-Ray, el cual se utiliza para obtener escenas a partir de una descripción de las características de esta, por lo tanto se pretende obtener una salida similar para la generación de nuevas escenas a partir de este nuevo código, para el entrenamiento es necesario convertir los caracteres del código en número enteros, durante el entrenamiento se hacen pruebas con bases de datos de diferentes tamaños, obteniendo que  mientras más grande es la base de datos, mejores son los resultados en la generación de este nuevo código, pero así mismo se extiende el tiempo de entrenamiento de la red.

Desde hace ya varias décadas científicos en la computación han trabajado en el intento de crear dispositivos con una inteligencia similar a la de los humanos, basándose en modelos biológicos del funcionamiento del cerebro humano, sin embargo, muchos de ellos se han visto obstaculizados por la capacidad de procesamiento de las computadoras de sus tiempos.

En la actualidad las computadoras cuentan con procesadores de altas velocidades de procesamiento, lo cual nos permite trabajar en el campo de la inteligencia artificial de una manera más rápida y eficaz.

Muchos de los métodos propuestos por científicos en las décadas anteriores no tenían una gran utilidad debido a los tiempos de procesamiento, pero hoy en día con la tecnología actual, esos tiempos han disminuido, y estos mismos métodos ahora se encuentran en su auge , es por esto que se decide trabajar en el campo de la inteligencia artificial, en específico las redes neuronales, para explorar el potencial con el que cuentan para resolver una gran cantidad de problemas y en un futuro facilitar la vida de las personas.

Al realizar este proyecto se tiene la finalidad de adentrarse en el campo de la inteligencia artificial, concretamente en las redes neuronales las cuales están siendo muy utilizadas actualmente, así mismo explorar la creatividad de las mismas para la generación de resultados como pueden ser la música, la pintura, los poemas, y otras formas de arte.

Generar una red neuronal recurrente, del tipo LSTM, capaz de generar código POV-Ray para posteriormente renderizar este código y obtener imágenes de escenas surrealistas en 3D, la red se genera mediante la Librería Keras utilizando lenguaje de programación Python, se pretende alcanzar este objetivo en un periodo máximo de 5 meses.

Crear una base de datos para el entrenamiento de la red, la cual contenga una variedad de código para la generación de escenas.

Acondicionar la base de datos para poder utilizarla en el entrenamiento de la red, convirtiendo cada carácter en un en un entero único.

Delimitar el inicio y fin de cada código y concatenarlo en uno solo para introducirlos a la red.

Utilizar el programa POV-Ray para intentar renderizar la salida de la red y verificar si los códigos generados pueden ser renderizados o no.

El proyecto se desarrolló en las Instalaciones del Laboratorio de Inteligencia Artificial del Centro de Investigación en Computación, perteneciente al Instituto, ubicado en Avenida Juan de Dios Bátiz s/n Nueva Industria Vallejo, Código Postal 07738, Delegación Gustavo A Madero, Ciudad de México, cuyo objetivo es realizar investigación científica de vanguardia orientada a la enseñanza en el posgrado, a la investigación básica y aplicada, así como al desarrollo tecnológico.

¿Redes Neuronales, Que son?

Una Red Neuronal Artificial (RNA en adelante) es un modelo matemático inspirado en sistemas biológicos, adaptado y simulado en computadoras convencionales. Las RNAs están inspiradas en el sistema biológico natural. Como es conocido, en este sistema la neurona es la unidad de procesamiento, y aunque las RNAs sean mucho menos complejas que una red neuronal biológica, también realizan cálculos complejos para procesar información. Es una estructura compuesta de un número de unidades interconectadas (neuronas artificiales). Cada unidad posee una característica de entrada/salida e implementa una computación local o función. La salida de cualquier unidad está determinada por su característica de entrada/salida, su interconexión con otras unidades, y de sus entradas externas.

El funcionamiento de una neurona artificial (figura 1) consiste en aplicar un conjunto de entradas, cada una representando la salida de otra neurona, o una entrada del medio externo (dada como un vector X que se multiplica por un peso asociado dado como un vector W), realizar una suma ponderada con estos valores.

[pic 1]

Figura 1. Neurona Artificial

Una vez realizado lo anterior se puede aplicar la función de activación, que es la encargada de transformar el valor de la entrada neta en el valor de salida, esta función de activación puede ser o no lineal. Algunos ejemplos son:

...