Configura Cloud Logging
Mainframe Connector puede enviar mensajes de registro con formato JSON que contienen información de contexto a Cloud Logging. El contexto incluye el nombre del trabajo, el ID del trabajo, la fecha del trabajo, el nombre del paso y otras variables que proporciona z/OS.
Esto te ayuda a encontrar registros de trabajos específicos y a crear alertas. Además, cuando se implementa el conector de Mainframe en Cloud Run, Google Kubernetes Engine o Compute Engine, el agente de Cloud Logging recopila los registros y los muestra en el Explorador de registros.
Para configurar el conector de Mainframe para escribir en Cloud Logging, establece las variables de entorno LOG_PROJECT y LOG_ID en el JCL que inicia el trabajo. Por ejemplo, LOG_PROJECT=mainframe-connector-proj y LOG_ID=my-mfc. El nombre de registro LOG_NAME se deriva de LOG_PROJECT y LOG_ID. En este ejemplo, será projects/mainframe-connector-proj/logs/my-mfc.
El tipo de recurso siempre es global, ya que el registro es uno creado por el usuario en lugar de uno del servicio en la nube. Durante el inicio, Mainframe Connector muestra un mensaje que indica si Cloud Logging está configurado.
Habilita las estadísticas de carga
La función de estadísticas de carga registra cada comando que ejecutas con el conector de Mainframe en una tabla de SQL. Para habilitar la función de estadísticas de carga, crea una tabla con el siguiente comando y agrega la marca --stats_table TABLE_NAME al comando cp, donde TABLE_NAME es el nombre de la tabla de SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Reemplaza lo siguiente:
PROJECT_NAME: Es el nombre del proyecto en el que deseas ejecutar el comando.DATASET_NAME: Es el nombre del archivo del conjunto de datos.TABLE_NAME: Es el nombre de la tabla de SQL en la que deseas registrar los detalles.
Nombres de los conjuntos de datos
Puedes usar los siguientes archivos de definición de conjuntos de datos (DD) en tu procedimiento JCL de BQSH. Asegúrate de que todos los conjuntos de datos de MVS a los que hace referencia un archivo DD usen el formato de registro de bloque fijo (FB).
| Nombre del DD | Descripción |
|---|---|
| LIBRO DE COPIAS | Un conjunto de datos de MVS que contiene un libro de copia de COBOL para el conjunto de datos al que hace referencia un DD INFILE Puedes usar el DD de libro de copia con algunas restricciones. Para obtener más información, consulta Restricciones de uso de DD de COPYBOOK. |
| INFILE | Un conjunto de datos MVS que contiene un conjunto de datos COBOL para subir a Cloud Storage |
| KEYFILE | Un conjunto de datos de MVS que contiene un archivo de claves JSON de la cuenta de servicio de IAM de Google Cloud |
| OUTFILE | Un conjunto de datos de MVS que contiene un conjunto de datos de COBOL que se cargará desde BigQuery. |
| QUERY DD | Un conjunto de datos de MVS que contiene una consulta en SQL estándar de BigQuery El DD de QUERY es un archivo FB con un tamaño de registro lógico (LRECL) de 80. Esto significa que cada registro del archivo tiene 80 bytes de longitud. |
| STDIN | Entrada de transmisión que se usa para proporcionar comandos de shell. |