TFM Analisis Big data

Diana Carolina Torres VanegasMáster Universitario en Análisis y Visualización de Datos Masivos

[pic 1]

Trabajo Fin de Máster

Tipo de trabajo: Herramientas de apoyo a la toma de decisiones en el contexto empresarial o en otros escenarios

Presentado por: Torres Vanegas, Diana Carolina

Director/a: Blanco Valencia, Xiomara

Resumen

El termino Big data surge con el aumento considerable en las cantidades de información que producen las empresas a nivel mundial y con los cuales las herramientas convencionales que son utilizadas para su manejo no son capaces de soportar estos grandes volúmenes de datos, por lo que se tiene que recurrir a las tecnologías emergentes.

El uso de estas nuevas tecnologías permite que los problemas identificados se solucionen en un menor tiempo, lo que ha permitido que muchas empresas recurran a este tipo de herramientas para optimizar requerimientos. También permite realizar análisis y a partir de estos obtener conocimiento de todo el conjunto de datos que poseen, por lo anterior, resulta posible tomar decisiones en tiempo real y verificar si las estrategias del negocio propuestas han sido bien planteadas.

Para la realización de este proyecto el sector central es en el Sistema de Identificación de Potenciales Beneficiarios de Programas Sociales (SISBEN) indicador calculado por el Departamento Nacional de Planeación de Colombia que, a través de un puntaje, clasifica a la población de acuerdo con sus condiciones socioeconómicas. Se ha realizado un estudio con el objetivo de diseñar un sistema Big Data que permita procesar, analizar y visualizar la información relacionada con las variables capturadas en la base de datos de SISBENIII, con el fin de obtener un análisis sobre el comportamiento en la clasificación de la población vulnerable de Colombia. El sistema big data le permite al usuario tener un repositorio de información con la posibilidad de procesar y luego tener la capacidad de analizar la información y visualizar los resultados obtenidos a partir de los datos del SISBEN, lo anterior con implementaciones desarrolladas con tecnologías como Hadoop y Apache Hive, para finalmente realizar visualizaciones en la herramienta tableau de las variables que permitan realizar una clasificación y diversos análisis a nivel departamental de la población vulnerable.

Palabras Clave: Big data, población vulnerable, Sisben.

Abstract

The term Big data arises with the considerable increase in the amounts of information produced by companies worldwide and with which the conventional tools that are used to manage them are not capable of supporting these large volumes of data, so it is necessary to resort to emerging technologies.

The use of these new technologies allows the problems identified to be solved in a shorter time, which has allowed many companies to resort to this type of tools to optimize requirements. It also allows to make analysis and from these obtain knowledge of all the data they have, so it is possible to make decisions in real time and verify if the proposed business strategies have been well raised.

To carry out this project the central sector is in the System of Identification of Potential Beneficiaries of Social Programs (SISBEN) indicator calculated by the National Department of Planning of Colombia that, through a score, classifies the population according to their socioeconomic conditions. A study has been carried out with the aim of designing a Big Data system that will make it possible to process, analyse and display the information related to the variables captured in the SISBENIII database, in order to obtain an analysis of the behaviour in the classification of Colombia's vulnerable population. The big data system allows the user to have a repository of information with the possibility of processing and then have the capacity to analyze the information and visualize the results obtained from the data of the SISBEN, the previous with implementations developed with technologies like Hadoop and Apache Hive, to finally make visualizations in the tableau tool of the variables that allow to make a classification and diverse analysis at departmental level of the vulnerable population.

Keywords: Big data, vulnerable population, Sisben.

Índice de contenidos

1. Introducción        6

1.1 Justificación        6

1.2 Planteamiento del trabajo        6

1.3 Estructura de la memoria        6

2. Contexto y estado del arte        7

3. Objetivos concretos y metodología de trabajo        8

3.1. Objetivo general        8

3.2. Objetivos específicos        8

3.3. Metodología del trabajo        10

4. Desarrollo específico de la contribución        11

5. Conclusiones y trabajo futuro        12

5.1. Conclusiones        12

5.2. Líneas de trabajo futuro        12

6. Bibliografía        13

Anexos        14

Anexo I. Artículo        14

Anexo II. Título anexo II        15

Índice de figuras

Figura 1. Título de la figura (fuente donde se ha extraído)        11

1. Introducción

Con el avance de las tecnologías de la información, van surgiendo nuevas necesidades que las herramientas actuales no tiene la capacidad técnica de suplir. Con el aumento exponencial en los volúmenes de datos que manejan las organizaciones hace que el procesado y análisis se conviertan en una carga en cuanto a costo y capacidad.

...