Menyiapkan Cloud Logging
Mainframe Connector dapat mengirim pesan log berformat JSON yang berisi informasi konteks ke Cloud Logging. Konteks mencakup nama tugas, ID tugas, tanggal tugas, nama langkah, dan variabel lainnya yang disediakan oleh z/OS.
Hal ini membantu Anda menemukan log untuk tugas tertentu dan membuat pemberitahuan. Selain itu, saat men-deploy Konektor Mainframe di Cloud Run, Google Kubernetes Engine, atau Compute Engine, log dikumpulkan oleh agen Cloud Logging dan muncul di Log Explorer.
Untuk mengonfigurasi Konektor Mainframe agar dapat menulis ke Cloud Logging, tetapkan variabel lingkungan LOG_PROJECT dan LOG_ID di JCL yang meluncurkan tugas. Misalnya, LOG_PROJECT=mainframe-connector-proj
dan LOG_ID=my-mfc. Nama log LOG_NAME berasal
dari LOG_PROJECT dan LOG_ID. Dalam contoh ini, nilainya
adalah projects/mainframe-connector-proj/logs/my-mfc.
Jenis resource selalu global karena log adalah log buatan pengguna, bukan log dari layanan cloud. Selama startup, Mainframe Connector menampilkan pesan yang menunjukkan apakah Cloud Logging dikonfigurasi.
Mengaktifkan statistik pemuatan
Fitur statistik beban mencatat setiap perintah yang Anda jalankan menggunakan
Mainframe Connector dalam tabel SQL. Untuk mengaktifkan fitur statistik beban, buat tabel menggunakan perintah berikut dan tambahkan flag --stats_table TABLE_NAME ke perintah cp, dengan TABLE_NAME adalah nama tabel SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Ganti kode berikut:
PROJECT_NAME: nama project tempat Anda ingin menjalankan perintah.DATASET_NAME: nama file set data.TABLE_NAME: nama tabel SQL tempat Anda ingin mencatat detail.
Nama set data
Anda dapat menggunakan file definisi set data (DD) berikut dalam prosedur JCL BQSH. Pastikan semua set data MVS yang direferensikan oleh file DD menggunakan format data blok tetap (FB).
| Nama DD | Deskripsi |
|---|---|
| BUKU TULUS | Set data MVS yang berisi copybook COBOL untuk set data yang dirujuk oleh DD INFILE. Anda dapat menggunakan DD buku salinan dengan beberapa batasan. Untuk informasi selengkapnya, lihat Pembatasan penggunaan DD COPYBOOK. |
| INFILE | Set data MVS yang berisi set data COBOL yang akan diupload ke Cloud Storage. |
| KEYFILE | Set data MVS yang berisi file kunci JSON akun layanan Google Cloud IAM. |
| OUTFILE | Set data MVS yang berisi set data COBOL yang akan dimuat dari BigQuery. |
| QUERY DD | Set data MVS yang berisi kueri SQL standar BigQuery. DD QUERY adalah file FB dengan ukuran data logika (LRECL) 80. Artinya, setiap data dalam file berukuran 80 byte. |
| STDIN | Input streaming yang digunakan untuk memberikan perintah shell. |