Menyiapkan Cloud Logging
{i>Mainframe Connector<i} dapat mengirim pesan log terformat JSON yang berisi informasi konteks ke Cloud Logging. Konteksnya mencakup nama pekerjaan, ID pekerjaan, tanggal pekerjaan, nama langkah, dan variabel lain yang disediakan oleh z/OS.
Hal ini membantu Anda menemukan log untuk tugas tertentu dan membuat pemberitahuan. Selain itu, saat men-deploy Mainframe Connector di Cloud Run, Google Kubernetes Engine, atau Compute Engine, log yang dikumpulkan oleh Agen Cloud Logging dan log tersebut akan muncul di Logs Explorer.
Untuk mengonfigurasi Mainframe Connector agar menulis ke Cloud Logging, setel
Variabel lingkungan LOG_PROJECT dan LOG_ID di
JCL yang meluncurkan tugas. Misalnya, LOG_PROJECT=mainframe-connector-proj
dan LOG_ID=my-mfc. Nama log LOG_NAME berasal
dari LOG_PROJECT dan LOG_ID. Dalam contoh ini,
menjadi projects/mainframe-connector-proj/logs/my-mfc.
Jenis resource selalu global karena log berupa log yang dibuat pengguna bukan log dari layanan {i>cloud<i}. Selama startup, Mainframe Connector menampilkan pesan yang menunjukkan apakah Cloud Logging dikonfigurasi.
Aktifkan statistik pemuatan
Fitur statistik pemuatan mencatat
setiap perintah yang Anda jalankan menggunakan
Mainframe Connector dalam tabel SQL. Untuk mengaktifkan statistik pemuatan
baru, buat tabel menggunakan perintah berikut dan tambahkan
tandai --stats_table TABLE_NAME ke cp
di mana TABLE_NAME adalah nama tabel SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Ganti kode berikut:
PROJECT_NAME: nama project tempat Anda ingin menjalankan perintah tersebut.DATASET_NAME: nama file set data.TABLE_NAME: nama tabel SQL tempat Anda ingin mencatat detailnya.
Nama set data
Anda dapat menggunakan file definisi set data (DD) berikut di BQSH JCL prosedur standar. Memastikan semua set data MVS yang dirujuk oleh file DD menggunakan format catatan fixed block (FB).
| Nama DD | Deskripsi |
|---|---|
| BUKU SALIN | {i>Dataset<i} MVS yang berisi {i>copybook<i} COBOL untuk {i>dataset<i} yang dirujuk oleh DD INFILE. Anda dapat menggunakan DD buku salinan dengan beberapa batasan. Untuk selengkapnya lihat batasan penggunaan DD COPYBOOK. |
| TIDAK ADA BERFILE | Set data MVS yang berisi set data COBOL yang akan diupload ke Cloud Storage. |
| FILE UTAMA | Set data MVS yang berisi JSON akun layanan IAM Google Cloud {i>keyfile<i}. |
| {i>OUTFILE<i} | Set data MVS yang berisi set data COBOL yang akan dimuat dari BigQuery. |
| DD KUERI | Set data MVS yang berisi kueri SQL standar BigQuery. Tujuan QUERY DD adalah file FB dengan ukuran catatan logis (LRECL) 80. Artinya bahwa setiap {i>record<i} dalam file itu panjangnya 80 byte. |
| {i>STDIN<i} | Input aliran data yang digunakan untuk menyediakan perintah shell. |