Cluster hadopp
Enviado por ISAAC • 2 de Julio de 2022 • Documentos de Investigación • 1.238 Palabras (5 Páginas) • 98 Visitas
[pic 1][pic 2][pic 3]
Guía
Por
Mgt. Claudio Isaias Huancahuire Bravo
Compendio
Las limitaciones digitales de almacenamiento estructurado de filas y columnas de Microsoft-Excel, fueron resueltas por sistemas denominados Administradores de Sistema de Base de Datos Relacional-RDBMS, que integra modelo Entidad-Relación y el Lenguaje Estructurado de Consultas-SQL de Microsoft SQL-Server, MySql, PostgresSQL y Oracle SQL Developer. Estos datos estructurados fueron mejorados con ETL (extraer, transformar y cargar) en Data Warehouse (almacén de datos) todo ello enmarcado en arquitectura y software convencional y tradicional. Ahora interactuamos con Big Data con la limitación de exponencialmente grandes datos, por rendimiento y precios exorbitantes para su tratamiento.
La limitación de almacenamiento tradicional y convencional es Big Data. “En el año 2011 se pretendía cuantificar la cantidad de información generada y almacenada en el mundo. Google, con Eric Schmidt, afirmó que la Humanidad había creado hasta 2003 una cantidad equivalente a 5 Exabytes, añadiendo que ahora esta cifra se generaba en 2 días”. (https://www.sciencemag.org/). Las diferentes fuentes como: La web 2.0 que dio el proceso de interactuar con el almacenamiento de datos en línea de transacciones, ventas, compras, los sensores, IoT (Internet de las Cosas), es ineludible contar con las redes sociales digitales y además el avance del TIC de un teléfono fijo a un "Smartphone". Datos de diferentes tipos como son: Estructurado, semi-estructurado y no estructurado que son: Correos electrónicos, log, un documento de algún procesador de palabra, hojas electrónicas, una imagen, un objeto, blogs, mensajes de correo de voz, mensajes instantáneos, contenidos Web, audios y videos. Datos a una velocidad no tradicional datos que interactúan en streaming. Todo esto enmarcado en Big Data a precios no asequibles para los diferentes sectores.
Tabla de Contenidos
Pseudo Clúster - con 3 nodos 4
1.- Clúster real 4
2.- Clúster virtual 5
3.- Cambiar nombre del nodo 7
4.- Cambiar nombre en la configuración de network 7
5.- Editar cada nodo, del clúster . 8
- Comprobar envío de paquetes, con ping. 9
- Configurar IP 9
- Configurar SSH entre los 3 nodos 10
- Comunicación entre 3 nodos, modo SSH 49
- Recomendaciones para nuestra arquitectura 50
- Antes de iniciar el clúster 50
- Configurar un nodo maestro y 2 nodos esclavos 50
- Arrancar 3 nodos 51
Pseudo Clúster - con 3 nodos
1.- Clúster real
La infografía muestra 3 nodos, con características homogéneas, el primer nodo es maestro y los 2 nodos son esclavos, como referencia la figura.
[pic 4]
Figura. Clúster para Big Data
2.- Clúster virtual
[pic 5][pic 6]
[pic 7]
[pic 8]
2.- Configurar la tarjeta de red
[pic 9]
3.- Cambiar nombre del nodo
[pic 10]
4.- Cambiar nombre en la configuración de network
[pic 11]
y editar como muestra la figura
[pic 12]
5.- Editar cada nodo, del clúster .
Los nodos tienen que interactuar, entonces configuramos en cada nodo las ip verificando con el comando ifconfig, con el siguiente comando gedit hosts, editamos lo siguiente, recalcamos en todos los nodos, como referencia la figura.
[pic 13]
Figura. IP de los nodos.
Comprobar envío de paquetes, con ping.
[pic 14]
Configurar IP
[pic 15]
Figura. Ubicar ted interna
[pic 16]
Figura. Ip del nodo virtual.
Configurar SSH entre los 3 nodos
Realizamos la configuración de la red pública segura con .ssh. Ubicamos el fichero
.ssh, volver a generar la autorización entre los 3 nodos con el comando ssh-keygen y presionamos 3 veces enter sin ingresar clave, como referencia la figura.
[pic 17]
Figura. Generar un Nuevo SSH para el clúster.
Comunicación entre 3 nodos, modo SSH
Configuramos y comprobamos la comunicación de los nodos del clúster con copiar el fichero generado con comando cp id_rsa.pub authorized_keys, enseguida pasamos el fichero de autorización del nodo 2 al nodo1 y nodo3 con el comando scp authorized_keys y finalmente adicionar la nueva autorización, con el comando cat id_rsa.pub >> authorized_keys. Como referencia de logueo de modo seguro en la figura.
[pic 18]
Figura. Ahora desde el nodo1, iniciar sesión con ssh al nodo2 y nodo3
...