Resumen Alineacion de Estrategias de negocios y TI
Enviado por VanJhel • 5 de Noviembre de 2019 • Informe • 2.438 Palabras (10 Páginas) • 149 Visitas
STORAGE (GSUTIL)
gsutil es una aplicación de Python que te permite acceder a Cloud Storage desde la línea de comandos. Puede usar gsutil para realizar una amplia gama de tareas de administración de objetos y depósitos, que incluyen:
- Creación y eliminación de buckets.
- Cargar, descargar y eliminar objetos.
- Listado de buckets and objetos.
- Mover, copiar y renombrar objetos.
- Edición de objetos y bucket ACLs.
- Trabajar con Buckets
Creating Storage Buckets
gsutil mb gs://[BUCKET_NAME]/
Optional
- -p: Especifica el proyecto con el que se asociará tu bucket.
- -c: Especifique la clase de almacenamiento por defecto de su bucket.
- -l: Especifica la ubicación de tu bucket.
gsutil mb -p [PROJECT_NAME] -c [STORAGE_CLASS] -l [BUCKET_LOCATION] gs://[BUCKET_NAME]/
Listing Buckets
gsutil ls
Getting Bucket Information
- Determinar el tamaño de un bucket (bytes)
gsutil du -s gs://[BUCKET_NAME]/
- Visualización de la ubicación de un bucket y la clase de almacenamiento predeterminada
gsutil ls -L -b gs://[BUCKET_NAME]/
Changing the Default Storage Class of a Bucket
gsutil defstorageclass set [STORAGE_CLASS] gs://[BUCKET_NAME]
Moving and Renaming Buckets
- Copiar
gsutil –m cp gs://[SOURCE_BUCKET]/fact_trx_*.csv gs://[DESTINATION_BUCKET]
- Mover
gsutil mv gs://[SOURCE_BUCKET_NAME]/[SOURCE_OBJECT_NAME] gs://[DESTINATION_BUCKET_NAME]/[DESTINATION_OBJECT_NAME]
- Borrar
- Con Bucket
gsutil rm -r gs://[SOURCE_BUCKET]
- Sin Bucket
gsutil rm -a gs://[SOURCE_BUCKET]/**
Eliminar Buckets
gsutil rm -r gs://[BUCKET_NAME]
Working with Objects
Subida de objetos
gsutil cp [LOCAL_OBJECT_LOCATION] gs://[DESTINATION_BUCKET_NAME]/
Listing Objects
gsutil ls -r gs://[BUCKET_NAME]/**
Downloading Objects
gsutil cp gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION]
Renaming, Copying, and Moving Objects
- Renombrar objeto
gsutil mv gs://[BUCKET_NAME]/[OLD_OBJECT_NAME] gs://[BUCKET_NAME]/[NEW_OBJECT_NAME]
- Copiar objeto
gsutil cp gs://[SOURCE_BUCKET_NAME]/[SOURCE_OBJECT_NAME] gs://[DESTINATION_BUCKET_NAME]/[NAME_OF_COPY]
- Mover objeto
gsutil mv gs://[SOURCE_BUCKET_NAME]/[SOURCE_OBJECT_NAME] gs://[DESTINATION_BUCKET_NAME]/[DESTINATION_OBJECT_NAME]
Changing Object Storage Classes
gsutil rewrite -s [STORAGE_CLASS] gs://[PATH_TO_OBJECT]
Viewing and Editing Object Metadata
- Visualización de metadatos de objetos
gsutil ls -L gs://[BUCKET_NAME]/[OBJECT_NAME]
- Edición de metadatos de objetos
gsutil setmeta -h "[METADATA_KEY]:[METADATA_VALUE]" gs://[BUCKET_NAME]/[OBJECT_NAME]
Deleting Objects
gsutil rm gs://[BUCKET_NAME]/[OBJECT_NAME]
BIGQUERY (BQ)
Creating resources
Creating a dataset
bq --location=[LOCATION] mk --dataset --default_table_expiration [INTEGER] --default_partition_expiration [INTEGER2] --description [DESCRIPTION] [PROJECT_ID]:[DATASET]
- [LOCATION] es la ubicación del dataset. Después de crear un dataset, la ubicación no se puede cambiar. Puede establecer un valor predeterminado para la ubicación utilizando el archivo .bigqueryrc.
- [INTEGER] es la duración predeterminada (en segundos) para las tablas recién creadas. El valor mínimo es de 3600 segundos (una hora). La hora de caducidad se evalúa a la hora actual más el valor entero. Cualquier tabla creada en el dataset se elimina después de [INTEGER] segundos a partir de su tiempo de creación. Este valor se aplica si no establece un vencimiento de la tabla cuando se crea la tabla.
- [INTEGER2] es la duración predeterminada (en segundos) para las particiones en tablas particionadas recién creadas. La caducidad de la partición predeterminada no tiene un valor mínimo. El tiempo de caducidad se evalúa según la fecha de la partición más el valor entero. Cualquier partición creada en una tabla particionada en el conjunto de datos se elimina después de [INTEGER2] segundos a partir de la fecha de la partición. Si proporciona el indicador --time_partitioning_expiration al crear o actualizar una tabla particionada, la caducidad de la partición a nivel de tabla tiene prioridad sobre la caducidad de la partición predeterminada a nivel de conjunto de datos.
- [DESCRIPTION] Es una descripción del dataset entre comillas.
- [PROJECT_ID] es su ID de proyecto.
- [DATASET] es el nombre del dataset que estás creando.
Creating an empty table with a schema definition
bq mk --table --expiration [INTEGER] --description [DESCRIPTION] --label [KEY:VALUE, KEY:VALUE] [PROJECT_ID]:[DATASET].[TABLE] [SCHEMA]
- [INTEGER] es el tiempo de vida predeterminado (en segundos) para la tabla. El valor mínimo es de 3600 segundos (una hora). La hora de caducidad se evalúa a la hora actual más el valor entero. Si configura el tiempo de caducidad al crear una tabla, se ignora la configuración de caducidad de la tabla predeterminada del dataset.
- [DESCRIPTION] Es una descripción de la tabla entre comillas.
- [KEY:VALUE] es el par [clave:valor] que representa una etiqueta. Puede ingresar varias etiquetas usando una lista separada por comas.
- [PROJECT_ID] es su ID de proyecto.
- [DATASET] es un dataset en su proyecto.
- [TABLE] Es el nombre de la tabla que estás creando.
- [SCHEMA] Es una definición de esquema en línea en el formato [FIELD]:[DATA_TYPE],[FIELD]:[DATA_TYPE] o la ruta al archivo de esquema JSON en su máquina local.
Creating a table from a query result
bq --location=[LOCATION] query --destination_table [PROJECT_ID]:[DATASET].[TABLE] --use_legacy_sql=false '[QUERY]'
- [LOCATION] es el nombre de la ubicación utilizada para procesar la consulta. El flag --location es opcional. Por ejemplo, si está utilizando BigQuery en la región de Tokio, puede establecer el valor del flag en asia-northeast1. Puede establecer un valor predeterminado para la ubicación utilizando el archivo .bigqueryrc.
- [PROJECT_ID] es su ID de proyecto.
- [DATASET] es el nombre del dataset que contiene la tabla en la que está escribiendo los resultados de la consulta.
- [TABLE] es el nombre de la tabla en la que está escribiendo los resultados de la consulta.
- [QUERY] Es una consulta en sintaxis SQL estándar.
Creating an ingestion-time partitioned table
bq mk --table --expiration [INTEGER1] --time_partitioning_type=DAY --time_partitioning_expiration [INTEGER2] --description "[DESCRIPTION]" --label [KEY:VALUE, KEY:VALUE] [PROJECT_ID]:[DATASET].[TABLE] [SCHEMA]
- [INTEGER1] es el tiempo de vida predeterminado (en segundos) para la tabla. El valor mínimo es de 3600 segundos (una hora). La hora de caducidad se evalúa a la hora actual más el valor entero. Si configura el tiempo de caducidad de la tabla cuando crea una tabla particionada, se ignora la configuración de caducidad de la tabla predeterminada del. La configuración de este valor elimina la tabla y todas las particiones después del tiempo especificado.
- [INTEGER2] es el tiempo de vida predeterminado (en segundos) para las particiones de la tabla. No hay valor mínimo. El tiempo de caducidad se evalúa según la fecha de la partición más el valor entero. La caducidad de la partición es independiente de la caducidad de la tabla, pero no la reemplaza. Si establece una caducidad de la partición que es más larga que la caducidad de la tabla, la caducidad de la tabla tiene prioridad.
- [DESCRIPTION] Es una descripción de la tabla entre comillas.
- [KEY:VALUE] es el par [clave:valor] que representa una etiqueta. Puede ingresar varias etiquetas usando una lista separada por comas.
- [PROJECT_ID] es su ID de proyecto.
- [DATASET] es un dataset en su proyecto.
- [TABLE] es el nombre de la tabla particionada en el tiempo que estás creando.
- [SCHEMA] Es una definición de esquema en línea en el formato. [FIELD]:[DATA_TYPE],[FIELD]:[DATA_TYPE] o la ruta al archivo de esquema JSON en su máquina local.
Creating a view
bq mk --use_legacy_sql=false --view_udf_resource=[PATH_TO_FILE] --expiration [INTEGER] --description "[DESCRIPTION]" --label [KEY:VALUE, KEY:VALUE] --view '[QUERY]' --project_id [PROJECT_ID] [DATASET].[VIEW]
...