Configurer Cloud Logging
Le connecteur Mainframe peut envoyer des messages de journal au format JSON contenant des informations de contexte à Cloud Logging. Le contexte inclut le nom et l'ID du job, la date du job, le nom de l'étape et d'autres variables fournies par z/OS.
Cela vous permet de trouver des journaux pour des tâches spécifiques et de créer des alertes. De plus, lorsque vous déployez le connecteur Mainframe sur Cloud Run, Google Kubernetes Engine ou Compute Engine, les journaux sont collectés par l'agent Cloud Logging et apparaissent dans l'explorateur de journaux.
Pour configurer le connecteur Mainframe pour écrire dans Cloud Logging, définissez les variables d'environnement LOG_PROJECT et LOG_ID dans le JCL qui lance la tâche. Exemple : LOG_PROJECT=mainframe-connector-proj
et LOG_ID=my-mfc. Le nom de journal LOG_NAME est dérivé
de LOG_PROJECT et LOG_ID. Dans cet exemple, il s'agit de projects/mainframe-connector-proj/logs/my-mfc.
Le type de ressource est toujours global, car le journal est un journal créé par l'utilisateur. plutôt qu'un journal du service cloud. Au démarrage, Mainframe Connector affiche un message indiquant si Cloud Logging est configuré.
Activer les statistiques de charge
La fonctionnalité de statistiques de charge consigne chaque commande exécutée à l'aide de
Mainframe Connector dans une table SQL. Pour activer la fonctionnalité de statistiques de chargement, créez une table à l'aide de la commande suivante et ajoutez l'indicateur --stats_table TABLE_NAME à la commande cp, où TABLE_NAME est le nom de la table SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Remplacez les éléments suivants :
PROJECT_NAME: nom du projet dans lequel vous souhaitez exécuter la commande.DATASET_NAME: nom du fichier de l'ensemble de données.TABLE_NAME: nom de la table SQL dans laquelle vous souhaitez consigner les détails.
Noms des ensembles de données
Vous pouvez utiliser les fichiers de définition d'ensemble de données (DD) suivants dans votre JCL BQSH procédure. Assurez-vous que tous les ensembles de données MVS référencés par un fichier DD utilisent le format d'enregistrement bloc fixe (FB).
| Nom pour prélèvement automatique | Description |
|---|---|
| EXEMPLAIRE | Un ensemble de données MVS contenant un exemplaire COBOL pour l'ensemble de données référencé par un DD INFILE. Vous pouvez utiliser le DD de livre de copie avec quelques restrictions. Pour plus consultez la section Restrictions d'utilisation de COPYBOOK DD |
| INFILE | Ensemble de données MVS contenant un ensemble de données COBOL à importer dans Cloud Storage |
| KEYFILE | Ensemble de données MVS contenant un fichier JSON de compte de service Google Cloud IAM keyfile. |
| OUTFILE | Ensemble de données MVS contenant un ensemble de données COBOL à charger depuis BigQuery |
| REQUÊTE DD | Ensemble de données MVS contenant une requête SQL standard BigQuery. La QUERY DD est un fichier FB avec une taille d'enregistrement logique (LRECL) de 80. Cela signifie que chaque enregistrement du fichier fait 80 octets. |
| STDIN | Entrée de flux utilisée pour fournir des commandes shell. |