Cluster hadopp

[pic 1][pic 2][pic 3]

Guía

Por

Mgt. Claudio Isaias Huancahuire Bravo

Compendio

Las limitaciones digitales de almacenamiento estructurado de filas y columnas de Microsoft-Excel, fueron resueltas por sistemas denominados Administradores de Sistema de Base de Datos Relacional-RDBMS, que integra modelo Entidad-Relación y el Lenguaje Estructurado de Consultas-SQL de Microsoft SQL-Server, MySql, PostgresSQL y Oracle SQL Developer. Estos datos estructurados fueron mejorados con ETL (extraer, transformar y cargar) en Data Warehouse (almacén de datos) todo ello enmarcado en arquitectura y software convencional y tradicional. Ahora interactuamos con Big Data con la limitación de exponencialmente grandes datos, por rendimiento y precios exorbitantes para su tratamiento.

La limitación de almacenamiento tradicional y convencional es Big Data. “En el año 2011 se pretendía cuantificar la cantidad de información generada y almacenada en el mundo. Google, con Eric Schmidt, afirmó que la Humanidad había creado hasta 2003 una cantidad equivalente a 5 Exabytes, añadiendo que ahora esta cifra se generaba en 2 días”. (https://www.sciencemag.org/). Las diferentes fuentes como: La web 2.0 que dio el proceso de interactuar con el almacenamiento de datos en línea de transacciones, ventas, compras, los sensores, IoT (Internet de las Cosas), es ineludible contar con las redes sociales digitales y además el avance del TIC de un teléfono fijo a un "Smartphone". Datos de diferentes tipos como son: Estructurado, semi-estructurado y no estructurado que son: Correos electrónicos, log, un documento de algún procesador de palabra, hojas electrónicas, una imagen, un objeto, blogs, mensajes de correo de voz, mensajes instantáneos, contenidos Web, audios y videos. Datos a una velocidad no tradicional datos que interactúan en streaming. Todo esto enmarcado en Big Data a precios no asequibles para los diferentes sectores.

Tabla de Contenidos

Pseudo Clúster - con 3 nodos        4

1.- Clúster real        4

2.- Clúster virtual        5

3.- Cambiar nombre del nodo        7

4.- Cambiar nombre en la configuración de network        7

5.- Editar cada nodo, del clúster .        8

1. Comprobar envío de paquetes, con ping.        9
2. Configurar IP        9
3. Configurar SSH entre los 3 nodos        10
4. Comunicación entre 3 nodos, modo SSH        49
5. Recomendaciones para nuestra arquitectura        50
6. Antes de iniciar el clúster        50
7. Configurar un nodo maestro y 2 nodos esclavos        50
8. Arrancar 3 nodos        51

Pseudo Clúster - con 3 nodos

1.- Clúster real

La infografía muestra 3 nodos, con características homogéneas, el primer nodo es maestro y los 2 nodos son esclavos, como referencia la figura.

[pic 4]

Figura. Clúster para Big Data

2.- Clúster virtual

[pic 5][pic 6]

[pic 7]

[pic 8]

2.- Configurar la tarjeta de red

[pic 9]

3.- Cambiar nombre del nodo

[pic 10]

4.- Cambiar nombre en la configuración de network

[pic 11]

y editar como muestra la figura

[pic 12]

5.- Editar cada nodo, del clúster .

Los nodos tienen que interactuar, entonces configuramos en cada nodo las ip verificando con el comando ifconfig, con el siguiente comando gedit hosts, editamos lo siguiente, recalcamos en todos los nodos, como referencia la figura.

[pic 13]

Figura. IP de los nodos.

1. Comprobar envío de paquetes, con ping.

[pic 14]

1. Configurar IP

[pic 15]

Figura. Ubicar ted interna

[pic 16]

Figura. Ip del nodo virtual.

1. Configurar SSH entre los 3 nodos

Realizamos la configuración de la red pública segura con .ssh. Ubicamos el fichero

.ssh, volver a generar la autorización entre los 3 nodos con el comando ssh-keygen y presionamos 3 veces enter sin ingresar clave, como referencia la figura.

[pic 17]

Figura. Generar un Nuevo SSH para el clúster.

1. Comunicación entre 3 nodos, modo SSH

Configuramos y comprobamos la comunicación de los nodos del clúster con copiar el fichero generado con comando cp id_rsa.pub authorized_keys, enseguida pasamos el fichero de autorización del nodo 2 al nodo1 y nodo3 con el comando scp authorized_keys y finalmente adicionar la nueva autorización, con el comando cat id_rsa.pub >> authorized_keys. Como referencia de logueo de modo seguro en la figura.

[pic 18]

Figura. Ahora desde el nodo1, iniciar sesión con ssh al nodo2 y nodo3

...