PAQUETE INSTALACIÓN ETL CHORDIANT

PAQUETE INSTALACIÓN ETL CHORDIANT

Índice

1.        PAQUETE INSTALACIÓN        

1.1.        DESCRIPCIÓN        

1.2.        VARIABLES .PROFILE:        

1.3.        ESTRUCTURA:        

1.4.        EJECUCIÓN        

1.4.1.        PREPARACIÓN DEL PAQUETE:        

1.4.2.        INSTALACIÓN DEL PAQUETE:        

1.4.3.        ENVÍO FTP INDEPENDIENTE:        

2.        ANEXO: Comandos Powercenter utilizados        

1. PAQUETE INSTALACIÓN

1. DESCRIPCIÓN

Los archivos/scripts necesarios para la generación y restauración del paquete de instalación se encuentra en la carpeta Install_Package que se encuentra dentro de la ruta $PMRootDir/Scripts/.

1. VARIABLES .PROFILE

Para el correcto funcionamiento del paquete de instalación, las siguientes variables tienen que estar definidas en el fichero .profile, ubicado en el home del usuario con el que se vaya a ejecutar:

export IP_ETL="servidor"            

export PUERTO_ETL="puerto"              

export PMUSER=Administrator

export PMPASSWD=Administrator

export PMSERVICE=chordiant_serv_xxxx

export PMDOMAIN=dom_CHORDIANT_XXXX

export PMREPOSITORY=CHORDIANT_XXXX

export PMREP_EXE=$PMRootDir/server/bin/pmrep

export PMINF_EXE=$PMRootDir/server/bin/infacmd.sh

1. ESTRUCTURA

La estructura de carpetas del paquete de instalación es el siguiente:

• $PMRootDir/Scripts/Install_Package/: Ruta en la que se encuentra el paquete de instalación.
• Setup.sh: Script que procesa un paquete de instalación. En la ejecución, hay que pasarle el código de reléase por parámetro (pe: Setup.sh ES1211RE). Los pasos que sigue son:

1. Actualización del modelo de datos (Data_Model.sh).
2. Creación de carpetas (Folders.sh).
3. Borrado de ficheros (FileDel.sh).
4. Copiado de ficheros de parámetros, scripts y cadenas de control-M (Files.sh).
5. Restauración nuevo repositorio (PWC_RSTR_REP.sh):

• Backup repositorio y secuencias (PWC_BCK_REP.sh).
• Instalación nuevo repositorio.
• Restaura secuencias y conexiones de BBDD.
• Actualiza estadísticas de las tablas de PWC.
• Reinicio Powercenter.

• PCK_Generate.sh: Script que genera un paquete de instalación. En la ejecución hay que pasarle el código de la reléase y opcionalmente el servidor destino para el envío por ftp (pe: PCK_Generate.sh ES1211RE TEST). Los pasos que sigue son:

1. Crea estructura de carpetas del paquete de instalación.
2. Tratamiento del inventario y preparación del paquete.
3. Genera RELEASE_Setup.tar.
4. Historifica inventario.
5. Genera Set_Up del repositorio (PWC_BCK_REP.sh).
6. Envía por FTP RELEASE_Setup.tar (paquete de instalación) y  Set_Up_RELEASE.rep.Z (Repositorio) vía FTP (Opcional – FTP_PCK.sh).

• /Install/: Contiene scripts secundarios, necesarios en la ejecución del script de instalación (Setup.sh) o del script de generación del paquete de instalación (PCK_Generate.sh). Estos scripts son:

• Data_Model.sh: Ejecución de los scripts de BBDD en los esquemas ETL, ETL_SPIRIT y VFUSER.
• Files.sh: Copia los ficheros de parámetros, scripts y cadenas de control-M en sus carpetas correspondientes.
• Folders.sh: Genera las nuevas rutas definidas en el fichero Folders.dat.
• FileDel.sh: Borra y mueve a la carpeta Trash los archivos definidos en el fichero FileDel.dat.
• PWC_BCK_REP.sh: Genera un Backup del repositorio pudiendo seleccionar si se trata de una copia de seguridad (Backup) o un repositorio para instalar (Set_Up). Si se trata de una copia de seguridad, también realiza un Backup de las secuencias.
• PWC_RSTR_REP.sh: Script que restaura un repositorio de Powercenter.
• FTP_PCK.sh: Script que envía vía FTP a un servidor destino el paquete de instalación y el backup del repositorio.

• /Inventory/: Contiene los ficheros del inventario de lo que tiene que ir en el paquete de instalación que se quiere generar.

• /CtrlM/

• CTM_XXX.dat: Ficheros que contienen un inventario de las cadenas de control-M que deben de estar incluidas en el paquete. Debe de indicarse la ruta relativa desde la carpeta Scripts (/controlm_execution/…). Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.

• /Folders/

• FOL_XXX.dat: Ficheros que contienen una lista de las carpetas que deben de crearse al subir el paquete. Debe de indicarse la ruta relativa desde la carpeta $PMRootDir. Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.

• /FileDel/

• DEL_XXX.dat: Ficheros que contienen una lista de archivos que deben de borrarse (se genera un backup en la carpeta /Trash/). Debe de indicarse la ruta relativa desde la carpeta $PMRootDir. Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.

• /Parameter/

• PAR_XXX.dat: Ficheros que contienen un inventario de los ficheros de parámetros de la aplicación o de Powercenter que deben de estar incluidos en el paquete. Debe de indicarse la ruta relativa desde la carpeta Scripts ( /parameter/..). Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.

• /Scripts/

• SCR_XXX.dat: Ficheros que contienen un inventario de los scripts que deben de estar incluidas en el paquete. Debe de indicarse la ruta relativa desde la carpeta Scripts ( /sh/..). Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.

• /SQL/

• ETL_XXX.sql: Ficheros que contienen los scripts SQL que se deben de ejecutar en el esquema ETL. No se debe de incluir la sentencia exit. Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.
• ETL_SPIRIT_XXX.sql: Ficheros que contienen los scripts SQL que se deben de ejecutar en el esquema ETL_SPIRIT. No se debe de incluir la sentencia exit. Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.
• VFUSER_XXX.sql: Ficheros que contienen los scripts SQL que se deben de ejecutar en el esquema VFUSER. No se debe de incluir la sentencia exit. Los caracteres XXX del nombre del fichero, puede sustituirse por 3 caracteres cualquiera y puede haber tantos ficheros como se quiera.

• /Inventory_Hist/: Carpeta donde se almacena el histórico de inventarios tratados en la generación de los paquetes de instalación.

• YYYYMMDD_HHMISS_RELEASE_Inventory.tar: En estos ficheros tar se encuentran los inventarios empaquetados. Para restaurar un Inventario basta con descomprimirlo con la siguiente sentencia:

•  tar –xf YYYYMMDD_HHMISS_RELEASE_Inventory.tar

• /Trash/: Carpeta donde se almacena el backup de los ficheros borrados.

• YYYYMMDD_HHMISS_RELEASE_FilesBackup.tar: En estos ficheros tar se encuentran los ficheros eliminados empaquetados.

• /Log/: Carpeta donde se almacenan los logs, tanto de la generación de los paquetes de instalación como de su ejecución.

• YYYYMMDD_HHMISS_RELEASE_Setup.log.Z: Este Log contiene la información de la generación de un paquete de instalación.
• YYYYMMDD_HHMISS_RELEASE_Install.log.Z: Este Log contiene la información del procesamiento de un paquete de instalación.

• /Releases/: Carpeta donde se almacenan los paquetes de instalación generados. Este paquete se genera con la ejecución del script PCK_Generate.sh y tiene en cuenta los ficheros del Inventario.

• RELEASE_Setup.tar: Fichero tar que contiene los ficheros del paquete de instalación. Su estructura es la siguiente:

• /controlm_execution/: En esta carpeta se encuentran las cadenas de control-M nuevas o modificadas.
• /parameter/: En esta carpeta se encuentran los ficheros de parámetros nuevos o modificados. Cada uno en su ruta correspondiente.

• /CLF/

• /DWH_PF/
• /PWC_PF/

• /SPIRIT/

• /DWH_PF/
• /PWC_PF/

• /CAMPAIGN/

• /Affinium_PF/
• /PWC_PF/

• /sh/: En esta carpeta se encuentran los scripts nuevos o modificados. Cada uno en su ruta correspondiente.

• /CLF/
• /SPIRIT/

• /rollback/

• /CAMPAIGN/

• /sql/: En esta ruta se encuentran los scripts sql con las modificaciones del modelo de datos. Hay un fichero por usuario/esquema.

• ETL_SPIRIT.sql
• VFUSER.sql
• ETL.sql

• /folders/: En esta ruta existe un fichero de texto con las rutas que se tienen que crear con la Release que se esté desplegando. Las rutas se crean desde $PMRootDir.

• Folders.dat

• /filedel/: En esta ruta existe un fichero de texto con la lista de ficheros a borrar. Las rutas se crean desde $PMRootDir.

• FileDel.dat

1. EJECUCIÓN

1. PREPARACIÓN DEL PAQUETE:

Desde el servidor origen, para la generación del paquete de instalación seguiremos los siguientes pasos:

1 – Crear ficheros de inventario y guardarlos en la ruta $PMRootDir/Scripts/Install_Package/Inventory/.

2 – Desde la tura $PMRootDir/Scripts/Install_Package/ se ejecutaría el script: 

PCK_Generate.sh RELEASE [Host_FTP]

        Donde Host_FTP puede contener los siguientes valores:

• DEV: Conexión al servidor de desarrollo (62.87.0.212) con usuario etl.
• TEST: Conexión al servidor de test (62.87.0.212) con usuario etlsys.
• UAT: Conexión al servidor de UAT (195.233.188.30) con usuario etlsys.
• Producción, a día de hoy, no se puede conectar contra ninguno de estos servidores vía FTP.

Los parámetros entre corchetes son opcionales. Si no se informan todos no se realizará el envío FTP al servidor destino.

...