Configura Cloud Logging
El conector de unidades centrales puede enviar mensajes de registro con formato JSON que contienen información contextual a Cloud Logging. El contexto incluye el nombre, el ID del trabajo, fecha de trabajo, nombre del paso y otras variables proporcionadas por z/OS.
Esto te ayuda a encontrar registros de trabajos específicos y crear alertas. Además, cuando se implementa el conector de Mainframe en Cloud Run, Google Kubernetes Engine o Compute Engine, el agente de Cloud Logging recopila los registros y aparecen en el Explorador de registros.
Para configurar el conector de Mainframe para escribir en Cloud Logging, establece las variables de entorno LOG_PROJECT y LOG_ID en el JCL que inicia el trabajo. Por ejemplo, LOG_PROJECT=mainframe-connector-proj.
y LOG_ID=my-mfc. El nombre de registro LOG_NAME se deriva de LOG_PROJECT y LOG_ID. En este ejemplo,
ser projects/mainframe-connector-proj/logs/my-mfc.
El tipo de recurso siempre es global, ya que es un registro creado por el usuario en lugar de un registro del servicio en la nube. Durante el inicio, El conector de unidad central muestra un mensaje que indica si Cloud Logging está configurado.
Habilitar estadísticas de carga
La función de estadísticas de carga registra cada comando que ejecutas con el conector de Mainframe en una tabla de SQL. Para habilitar la función de estadísticas de carga, crea una tabla con el siguiente comando y agrega la marca --stats_table TABLE_NAME al comando cp, donde TABLE_NAME es el nombre de la tabla SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Reemplaza lo siguiente:
PROJECT_NAME: Es el nombre del proyecto en el que deseas realizar la acción. ejecutar el comando.DATASET_NAME: Es el nombre del archivo del conjunto de datos.TABLE_NAME: Es el nombre de la tabla de SQL en la que deseas registrar los detalles.
Nombres de los conjuntos de datos
Puedes usar los siguientes archivos de definición de conjunto de datos (DD) en tu JCL de BQSH. procedimiento. Asegúrate de que todos los conjuntos de datos de MVS a las que hace referencia un archivo DD, se usa el formato de registro de bloque fijo (FB).
| Nombre del DD | Descripción |
|---|---|
| CUADERNO DE COPIAS | Un conjunto de datos MVS que contiene un copybook de COBOL para el conjunto de datos al que hace referencia un DD INFILE. Puedes usar el DD de libro de copia con algunas restricciones. Para ver más consulta Restricciones de uso del COPYBOOK DD. |
| EN ARCHIVO | Un conjunto de datos MVS que contiene un conjunto de datos COBOL para subir a Cloud Storage |
| KEYFILE | Un conjunto de datos de MVS que contiene un archivo de claves JSON de la cuenta de servicio de IAM de Google Cloud |
| OUTFILE | Un conjunto de datos de MVS que contiene un conjunto de datos de COBOL que se cargará desde BigQuery. |
| CONSULTA DD | Un conjunto de datos de MVS que contiene una consulta de SQL estándar de BigQuery El QUERY DD es un archivo FB con un tamaño de registro lógico (LRECL) de 80. Esto significa que cada registro del archivo tiene 80 bytes de longitud. |
| STDIN | Entrada de transmisión que se usa para proporcionar comandos de shell. |