Transcodage à distance des données de mainframe sur Google Cloud

La transcodification de données localement sur un mainframe est un processus gourmand en processeur qui entraîne une consommation élevée de millions d'instructions par seconde (MIPS). Pour éviter cela, vous pouvez utiliser Cloud Run pour déplacer et transcoder des données de mainframe à distance surGoogle Cloud. Cela libère votre mainframe pour les tâches critiques pour l'entreprise et réduit également la consommation de MIPS.

Le schéma suivant montre comment déplacer vos données de mainframe vers un bucket Cloud Storage, les transcoder au format ORC à l'aide de Cloud Run, puis déplacer le contenu vers BigQuery.

Transcoder à distance les données de mainframe
Transcodage à distance des données du mainframe

Avant de commencer

Déplacer des données de mainframe vers Google Cloud et les transcoder à distance à l'aide de Cloud Run

Pour déplacer vos données de mainframe vers Google Cloud et les transcoder à distance à l'aide de Cloud Run, vous devez effectuer les tâches suivantes:

  1. Lire et transcoder un ensemble de données sur un mainframe, puis l'importer dans Cloud Storage au format ORC La transcodage est effectuée lors de l'opération cp, où un ensemble de données EBCDIC (Extended Binary Coded Decimal Interchange Code) de mainframe est converti au format ORC en UTF-8 lors de la copie dans un bucket Cloud Storage.
  2. Chargez l'ensemble de données dans une table BigQuery.
  3. (Facultatif) Exécutez une requête SQL sur la table BigQuery.
  4. (Facultatif) Exporter des données de BigQuery vers un fichier binaire dans Cloud Storage

Pour effectuer ces tâches, procédez comme suit:

  1. Sur votre mainframe, créez une tâche pour lire l'ensemble de données sur votre mainframe et le transcoder au format ORC, comme suit. Lisez les données de l'ensemble de données INFILE et la mise en page des enregistrements du DD COPYBOOK. L'ensemble de données d'entrée doit être un fichier QSAM (queued sequential access method) avec une longueur d'enregistrement fixe ou variable.

    Pour obtenir la liste complète des variables d'environnement compatibles avec le connecteur Mainframe, consultez la section Variables d'environnement.

    //STEP01 EXEC BQSH
//INFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.FILENAME
//STDIN DD *
gsutil cp --replace gs://mybucket/tablename.orc --remote \
  --remoteHost <mainframe-connector-url>.a.run.app \
  --remotePort 443
/*

    Si vous souhaitez consigner les commandes exécutées au cours de ce processus, vous pouvez activer les statistiques de charge.

  2. (Facultatif) Créez et envoyez une tâche de requête BigQuery qui exécute une lecture SQL à partir du fichier DD QUERY. En règle générale, la requête est une instruction MERGE ou SELECT INTO DML qui entraîne la transformation d'une table BigQuery. Notez que le connecteur Mainframe consigne les métriques de tâche, mais n'écrit pas les résultats de la requête dans un fichier.

    Vous pouvez interroger BigQuery de différentes manières : en ligne, avec un ensemble de données distinct à l'aide de DD ou avec un ensemble de données distinct à l'aide de DSN.

    Example JCL
//STEP03 EXEC BQSH
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
LOCATION=LOCATION
bq query --project_id=$PROJECT \
  --location=$LOCATION \
  --remoteHost <mainframe-connector-url>.a.run.app \
  --remotePort 443/*
/*

    Vous devez également définir la variable d'environnement BQ_QUERY_REMOTE_EXECUTION=true.

    Remplacez les éléments suivants :

    • PROJECT_NAME: nom du projet dans lequel vous souhaitez exécuter la requête.
    • LOCATION: emplacement où la requête sera exécutée. Nous vous recommandons d'exécuter la requête dans un emplacement proche des données.

  3. (Facultatif) Créez et envoyez une tâche d'exportation qui exécute une lecture SQL à partir du fichier DD QUERY et exporte le jeu de données obtenu vers Cloud Storage en tant que fichier binaire.

    Example JCL
//STEP04 EXEC BQSH
//OUTFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.FILENAME
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
DATASET_ID=DATASET_ID
DESTINATION_TABLE=DESTINATION_TABLE
BUCKET=BUCKET
bq export --project_id=$PROJECT \
  --dataset_id=$DATASET_ID \
  --destination_table=$DESTINATION_TABLE \
  --location="US" \
  --bucket=$BUCKET \
  --remoteHost <mainframe-connector-url>.a.run.app \
  --remotePort 443
/*

    Remplacez les éléments suivants :

    • PROJECT_NAME: nom du projet dans lequel vous souhaitez exécuter la requête.
    • DATASET_ID: ID de l'ensemble de données BigQuery contenant la table que vous souhaitez exporter.
    • DESTINATION_TABLE: table BigQuery que vous souhaitez exporter.
    • BUCKET: bucket Cloud Storage qui contiendra le fichier binaire de sortie.

Étape suivante