ETL EXTRACT TRANSFORM AND LOAD

Proceso ETL

1. Introducción

El Proyecto SIGNA representa un nuevo sistema con el objetivo de cubrir las necesidades del cliente Cliente de contar con una herramienta que permita el control integral de toda la operativa de monitoreo de los sistemas y servicios de su centro de cómputos. También debe de poder realizar reportes de costos asociados al funcionamiento del centro de cómputos.

•Debido a que el sistema SIGNA utiliza como fuente de información los datos de monitoreo de otro subsistema, debe de existir un conjunto de procesos encargados de extraer, transformar y cargar dichos datos (ETL: Extraction, Transforming and Loading).

1.1 Propósito

El propósito de este documento es recolectar, analizar y definir las necesidades y las características de los procesos necesarios para obtener la información desde el sistema de monitoreo.

1.2 Alcance

El presente documento aplica solamente al proyecto del sistema SIGNA y al subsistema de monitoreo Pandora (v 2.1)

2. Proceso ETL

2.1 Generalidades

La arquitectura del proceso ETL maneja distintas entidades. Cuando se hace referencia a nodos se está mencionado los elementos físicos a monitorear, quiere decir: servidores, impresoras, routers, etc. Cuando se habla de módulo se hace referencia a elementos o servicios que están desglosados para su control dentro del nodo monitoreado.

2.2 Arquitectura de alto nivel

El proceso ETL básicamente maneja estructuras y procesos de bases de datos para realizar su tarea. Dicho proceso consiste en filtrar, transformar y cargar la información requerida para el sistema SIGNA. También se contempla un manejo controlado y registrado del proceso para dar mayor seguridad y control sobre la carga de datos.

Por un lado está la base de datos utilizada por el sistema Pandora que está encargada de recolectar la información de monitoreo. La base de datos del sistema SIGNA tiene la información consolidada y adaptada de Pandora para sus procesos de reportes gerenciales. La base de datos del proceso de extracción contiene la información acerca del propio proceso ETL y también tablas temporales para el almacenamiento de la información antes de ser llevada a Signa.

La figura 1 contiene una representación esquemática de los grandes componentes involucrados en el proceso ETL y la dirección del flujo de datos entre los repositorios involucrados.

...