BIG DATA – EXPOSICIÓN ALMACENAMIENTO

BIG DATA – EXPOSICIÓN

ALMACENAMIENTO

Existe un desafío para las soluciones de almacenamiento de datos, viéndose obligadas a adaptarse a marchas forzadas para dar respuesta a la demanda de las organizaciones.

• Falta de recursos tecnológicos y humanos.
• Acceso a los datos.
• Se dedica mucho tiempo al data quality, a la limpieza y al examinado de datos.

El almacenamiento de datos por niveles se basa en segmentar la información de acuerdo con su importancia, de manera que los registros de mayor valor se colocan en emplazamientos más seguros, estables y con gran capacidad de procesamiento; y los de menor valor se confinan en capas de más difícil acceso y con menos prestaciones.

En líneas generales, definir la estrategia de almacenamiento de datos opta por el almacenamiento por niveles:

-Combinar diferentes tipos de almacenamiento. Por ejemplo, la nube o servidores on-premise para datos vitales; y discos duros o memorias externas para los registros de menor utilidad.

-Priorizar aquellos datos que se necesita consultar con frecuencia, trasladando al resto a los entornos de almacenamiento a largo plazo. De este modo, se libera espacio y se facilita la actividad de las unidades más eficientes.

Beneficios:

Mantenimiento, accesibilidad, optimización de espacio, seguridad, reducción de costes. (colocar ítems separados porfa)

Herramientas

El almacenamiento de datos es, a día de hoy, una necesidad para las empresas de este siglo que quieran adaptarse a la era digital.

-Mongo DB

-Lenguaje R

-Phyton

https://impulsate.between.tech/almacenamiento-datos-big-data

https://blogs.imf-formacion.com/blog/tecnologia/como-es-el-almacenamiento-de-datos-en-tiempos-del-big-data-201907/

https://revistabyte.es/actualidad-it/big-data/almacenamiento-en-tiempos-big-data/

https://agenciab12.com/noticia/5-herramientas-almacenamiento-datos-big-data

https://www.iic.uam.es/innovacion/herramientas-big-data-para-empresa/

PROCESAMIENTO

El proceso de Big Data consiste en la extracción de datos de múltiples fuentes para que luego sean filtrados, clasificados y estructurados permitiendo así la habilitación del dato, es decir el análisis, el modelado y la correlación de los mismos, de manera que sus resultados permitan realizar predicciones útiles para el negocio.

Los grandes volúmenes de datos generados por usuarios y máquinas, que debido a su tamaño y complejidad superan las capacidades de procesamiento de las herramientas de software tradicionales. Cuando este volumen de datos es más pequeño, también se denomina small data o smart data.

Etapas del procesamiento de datos

1. Recogida de datos

Los datos se extraen de las fuentes disponibles, entre las cuales se cuentan los data lakes y los almacenes de datos. Es importante que las fuentes de datos disponibles sean fiables y estén bien creadas para que los datos recabados (que posteriormente se emplearán como información) sean de la más alta calidad posible.

2. Preparación de datos

También llamada «preprocesamiento», es la etapa en la que los datos en bruto se limpian y organizan para la siguiente fase del procesamiento. Durante la preparación, los datos en bruto se verifican diligentemente para detectar errores. El objetivo de este paso es eliminar los datos erróneos (datos redundantes, incompletos o incorrectos) y empezar a crear datos de gran calidad para obtener la mejor business intelligence.

...