Referência do conetor de mainframe

Configure o Cloud Logging

O Mainframe Connector pode enviar mensagens de registo formatadas em JSON que contenham informações de contexto para o Cloud Logging. O contexto inclui o nome da tarefa, o ID da tarefa, a data da tarefa, o nome do passo e outras variáveis fornecidas pelo z/OS.

Isto ajuda a encontrar registos de tarefas específicas e a criar alertas. Além disso, quando implementa o Mainframe Connector no Cloud Run, no Google Kubernetes Engine ou no Compute Engine, os registos são recolhidos pelo agente do Cloud Logging e aparecem no Explorador de registos.

Para configurar o Mainframe Connector para escrever no Cloud Logging, defina as variáveis de ambiente LOG_PROJECT e LOG_ID no JCL que inicia a tarefa. Por exemplo, LOG_PROJECT=mainframe-connector-proj e LOG_ID=my-mfc. O nome do registo LOG_NAME é derivado de LOG_PROJECT e LOG_ID. Neste exemplo, vai ser projects/mainframe-connector-proj/logs/my-mfc.

O tipo de recurso é sempre global, uma vez que o registo é um registo criado pelo utilizador e não um registo do serviço na nuvem. Durante o arranque, o Mainframe Connector apresenta uma mensagem a indicar se o Cloud Logging está configurado.

Ative as estatísticas de carregamento

A funcionalidade de estatísticas de carregamento regista todos os comandos que executa através do conetor de mainframe numa tabela SQL. Para ativar a funcionalidade de estatísticas de carregamento, crie uma tabela com o seguinte comando e adicione a flag --stats_table TABLE_NAME ao comando cp, em que TABLE_NAME é o nome da tabela SQL.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

Substitua o seguinte:

• PROJECT_NAME: o nome do projeto no qual quer executar o comando.
• DATASET_NAME: o nome do ficheiro do conjunto de dados.
• TABLE_NAME: o nome da tabela SQL na qual quer registar os detalhes.

Nomes dos conjuntos de dados

Pode usar os seguintes ficheiros de definição de conjuntos de dados (DD) no procedimento JCL do BQSH. Certifique-se de que todos os conjuntos de dados MVS referenciados por um ficheiro DD usam o formato de registo de bloco fixo (FB).

Nome do DD	Descrição
COPYBOOK	Um conjunto de dados MVS que contém um COBOL copybook para o conjunto de dados referenciado por um INFILE DD. Pode usar o DD do livro de registo com algumas restrições. Para mais informações, consulte as restrições de utilização de COPYBOOK DD.
INFILE	Um conjunto de dados MVS que contém um conjunto de dados COBOL a carregar para o Cloud Storage.
KEYFILE	Um conjunto de dados MVS que contém um ficheiro de chave Google Cloud JSON da conta de serviço do IAM.
OUTFILE	Um conjunto de dados do MVS que contém um conjunto de dados COBOL a ser carregado a partir do BigQuery.
QUERY	Um conjunto de dados MVS que contém uma consulta SQL padrão do BigQuery. O QUERY DD é um ficheiro FB com um tamanho de registo lógico (LRECL) de 80. Isto significa que cada registo no ficheiro tem 80 bytes de comprimento.
STDIN	Entrada de stream usada para fornecer comandos de shell.