Présentation de Mainframe Connector

Cette page présente le connecteur Mainframe, ses fonctionnalités et ses principaux avantages.

Les mainframes IBM sont utilisés par les entreprises pour effectuer des tâches de calcul critiques. Ces dernières années, de nombreuses entreprises qui s'appuient sur des mainframes ont travaillé à leur migration vers le cloud. Mainframe Connector vous permet de déplacer vos données de mainframe versGoogle Cloud afin de décharger les charges de travail de création de rapports gourmandes en processeur vers Google Cloud.

Principaux avantages de Mainframe Connector

Voici les principaux avantages de l'utilisation de Mainframe Connector pour déplacer des données de mainframe vers Google Cloud:

  • Transfert de données simplifié:simplifie le transfert de données de mainframe vers les services de stockageGoogle Cloud tels que Cloud Storage et BigQuery.
  • Intégration des tâches par lot:vous permet d'envoyer des tâches BigQuery à l'aide de tâches par lot mainframe définies dans le langage de contrôle des tâches (JCL). Comme les requêtes sont lues à partir de jeux de données ou de fichiers, les analystes peuvent utiliser des tâches planifiées avec un minimum de connaissances et de compréhension des environnements mainframe.
  • Surveillance facile:le personnel d'exploitation des mainframes n'a pas besoin de surveiller un environnement différent, car les tâches sont envoyées avec des planifications familières à l'aide de JCL.
  • Réduction des MIPS:Mainframe Connector utilise une machine virtuelle Java (JVM) pour la plupart des traitements afin de réduire la charge de travail du processeur du mainframe lors du transfert de données, ce qui réduit le nombre de millions d'instructions par seconde (MIPS) et, par conséquent, les coûts. Mainframe Connector transfère la plupart des tâches gourmandes en processeur aux processeurs auxiliaires. Si les processeurs auxiliaires sont sollicités, vous pouvez également configurer Mainframe Connector pour effectuer le transcodage et la conversion à l'aide de Compute Engine. Pour en savoir plus sur les configurations du connecteur Mainframe, consultez la section Configurations du connecteur Mainframe.

  • Transformation en streaming:transcodage des ensembles de données mainframe QSAM (queued sequential access method) associés à des livres de copie COBOL au format EBCDIC (extended binary coded decimal interchange code) ou des fichiers au format ASCII UTF-8 au format ORC, qui est compatible avec les services Google Cloud tels que BigQuery. Par défaut, le connecteur Mainframe transcode les ensembles de données du jeu de caractères US EBCDIC: Cp037 en ORC. Toutefois, Mainframe Connector prend également en charge le transcodage des ensembles de données à partir des jeux de caractères EBCDIC régionaux suivants:

    • Français: Cp297
    • Allemand: Cp1141
    • Espagnol: Cp1145

    Un jeu de caractères personnalisé peut être implémenté si un jeu de caractères approprié n'est pas inclus dans la JVM IBM.

Fonctionnement de Mainframe Connector

Mainframe Connector vous permet de déplacer des données situées sur votre mainframe vers et depuis Cloud Storage, et d'envoyer des tâches BigQuery à partir de tâches par lot basées sur un mainframe définies dans JCL. Mainframe Connector vous permet de transcoder des ensembles de données de mainframe directement au format ORC (Optimized Row Columnar).

Le transcodage consiste à convertir des informations d'une forme de représentation codée à une autre, en l'occurrence en ORC. ORC est un format de données Open Source orienté colonnes, très utilisé dans l'écosystème Apache Hadoop et compatible avec BigQuery.

Le connecteur Mainframe fournit un sous-ensemble des utilitaires de ligne de commande du SDK Google Cloud qui vous permet de transférer des données et d'interagir avec les services Google Cloud . L'interprète de shell et les implémentations basées sur la JVM de gsutil et des utilitaires de ligne de commande bq vous permettent de gérer un pipeline ELT complet entièrement à partir d'IBM z/OS tout en conservant votre planificateur de tâches existant.

L'un des principaux défis du transfert de vos données de mainframe vers et depuis le cloud est qu'il s'agit d'un processus en plusieurs étapes qui comprend normalement les étapes suivantes:

  1. Copier des données sur un serveur de fichiers.
  2. Copier les données du serveur de fichiers vers un autre emplacement pour les traiter.
  3. Utilisez une pile de traitement des données pour convertir les données dans un format moderne.
  4. Réécrire les données traitées dans un autre emplacement.
  5. Chargez les données traitées dans une base de données ou un entrepôt de données où elles peuvent être interrogées ou utilisées.

La figure suivante illustre le processus en plusieurs étapes normalement utilisé pour transférer des données d'un mainframe vers Google Cloud.

Plusieurs étapes pour transférer des données de mainframe vers Google Cloud
Plusieurs étapes pour migrer les données de mainframe vers Google Cloud

Mainframe Connector vous permet d'effectuer toutes ces étapes en une seule commande à l'aide de Cloud Storage comme emplacement de stockage intermédiaire. Cela réduit le temps nécessaire pour que les données du mainframe soient traitées et mises à disposition dans une base de données ou un entrepôt de données, comme illustré dans la figure suivante.

Étapes supprimées par Mainframe Connector
Étapes supprimées par Mainframe Connector

Étape suivante