Desarrollo de un entorno basado en MapReduce para la ejecución distribuida de algoritmos genéticos paralelos

UNIVERSIDADE DA CORUÑA

FACULTAD DE INFORMÁTICA

Departamento de Electrónica y Sistemas

PROYECTO FIN DE CARRERA DE INGENIERÍA

INFORMÁTICA

Desarrollo de un entorno basado en

MapReduce para la ejecución distribuida

de algoritmos genéticos paralelos

-.Consideraciones técnicas.-

Autor: Alberto Luengo Cabanillas

Directores: Xoán Carlos Pardo Martínez

Patricia González Gómez

A Coruña, 21 de Septiembre de 2010

Índice general I

Índice general

CONSIDERACIONES TÉCNICAS ____________________________________________________1

1. INSTALACIÓN DEL SOFTWARE ____________________________________________________1

1.1 Prerrequisitos ____________________________________________________________1

1.2 Cygwin__________________________________________________________________1

1.3 Entorno virtualizado con Hadoop _____________________________________________2

1.4 Instalando VMWare Player __________________________________________________3

1.4.1 Configurando el Entorno Virtual ____________________________________________________ 4

1.4.2 Cuentas de usuario de la máquina virtual ______________________________________________ 5

1.4.3 Ejecutando un trabajo Hadoop ______________________________________________________ 5

1.4.5 Accediendo a la máquina virtual mediante ssh__________________________________________ 6

1.4.6 Apagando la máquina virtual _______________________________________________________ 7

1.5 Preparando Eclipse ________________________________________________________7

1.5.1 Descarga e instalación ____________________________________________________________ 7

1.5.2 Instalación del plugin Hadoop MapReduce ____________________________________________ 8

1.5.3 Haciendo una copia de Hadoop _____________________________________________________ 8

1.5.4 Ejecutando Eclipse _______________________________________________________________ 8

1.5.5 Configurando el plugin Hadoop MapReduce ___________________________________________ 9

1.6 PigPen: Plugin de Pig Latin para Eclipse______________________________________11

1.7 Interactuando con el HDFS_________________________________________________12

1.7.1 Usando la línea de comandos ______________________________________________________ 12

1.7.2 Usando el plugin MapReduce para Eclipse ___________________________________________ 13

1.8 Lanzando un programa de prueba____________________________________________13

1.8.1 Creación del Proyecto____________________________________________________________ 14

1.8.2 Creación de los archivos fuente ____________________________________________________ 14

1.8.3 Lanzando el trabajo contra el HDFS_________________________________________________ 15

2. MANUAL DE USUARIO DEL PROYECTOMRPGA _____________________________________19

3. MANUAL DE PROGRAMADOR DEL PROYECTOMRPGA ________________________________23

Índice de capturas III

Índice de capturas

CAPTURA 1:MÁQUINAWINDOWS VIRTUALIZANDO MÁQUINA LINUX........................................................3

CAPTURA 2: INSTALACIÓN VMWARE PLAYER .........................................................................................4

CAPTURA 3: LISTADO DE SERVIDORESMAPREDUCE EN ECLIPSE 3.5........................................................10

CAPTURA 4: PLUGINS DE PIG Y HADOOP INSTALADOS EN ECLIPSE 3.5 .....................................................12

CAPTURA 5: CÓDIGO JAVA CLASEWORDCOUNTMAPPER .......................................................................16

CAPTURA 6: CÓDIGO JAVA CLASEWORDCOUNTREDUCER......................................................................17

CAPTURA 7: CÓDIGO JAVA CLASEWORDCOUNT ....................................................................................18

CAPTURA 8: RESULTADO EJECUCIÓN TRABAJOMRWORDCOUNT...........................................................19

CAPTURA 9:MENÚ JAVA BUILD PATH EN ECLIPSE 3.5............................................................................20

CAPTURA 10: EDICIÓN DE PARÁMETROS DE LA APLICACIÓN EN ECLIPSE 3.5 ............................................21

CAPTURA 11: RESULTADOS DE EJECUCIÓN DEL PROYECTOMRPGA EN ECLIPSE 3.5................................22

Consideraciones Técnicas Página | 1

Consideraciones Técnicas

A lo largo de este documento se abarcarán las cuestiones más técnicas del

desarrollo del sistema, desde su configuración e instalación hasta su ejecución y uso. En

la primera sección se procede a desarrollar un breve tutorial con los pasos necesarios

para configurar el entorno adecuado de ejecución para la aplicación. En la sección 2 se

incluye un manual de usuario en el que se explica la manera de ejecutar un AG

determinado

...