Les mainframes IBM sont utilisés par les entreprises pour effectuer des tâches informatiques critiques. Ces dernières années, de nombreuses entreprises qui s'appuient sur des mainframes ont cherché à migrer vers le cloud. Mainframe Connector vous permet de transférer vos données de mainframe versGoogle Cloud afin de décharger les charges de travail de création de rapports intensives en termes de processeur vers Google Cloud.
Principaux avantages de Mainframe Connector
Voici les principaux avantages de l'utilisation de Mainframe Connector pour déplacer des données de mainframe vers Google Cloud :
- Transfert de données simplifié : simplifie le transfert de données de mainframe vers des services de stockageGoogle Cloud tels que Cloud Storage et BigQuery.
- Intégration des jobs par lot : vous permet d'envoyer des jobs BigQuery à l'aide de jobs par lot de mainframe définis dans le langage de contrôle des jobs (JCL). Les analystes peuvent utiliser des jobs planifiés pour lire les requêtes à partir d'ensembles de données ou de fichiers, avec un minimum de connaissances et de compréhension des environnements mainframe.
- Surveillance facile : le personnel des opérations mainframe n'a pas besoin de surveiller un environnement différent, car les jobs sont envoyés avec des plannings familiers à l'aide de JCL.
- Réduction des MIPS : Mainframe Connector utilise une machine virtuelle Java (JVM) pour la plupart des traitements afin de minimiser la charge de travail du processeur mainframe lors du transfert de données, ce qui réduit les millions d'instructions par seconde (MIPS) et, par conséquent, les coûts. Mainframe Connector décharge la plupart des tâches nécessitant beaucoup de ressources processeur sur des processeurs auxiliaires. Si les processeurs auxiliaires sont surchargés, vous pouvez également configurer Mainframe Connector pour effectuer le transcodage et la conversion à l'aide de Compute Engine. Pour en savoir plus sur les configurations de Mainframe Connector, consultez Configurations de Mainframe Connector.
Transformation de flux : transcodez les ensembles de données mainframe QSAM (Queued Sequential Access Method) associés aux copybooks COBOL au format EBCDIC (Extended Binary Coded Decimal Interchange Code) ou les fichiers au format ASCII UTF-8 au format ORC, qui est compatible avec les services Google Cloud tels que BigQuery. Par défaut, Mainframe Connector transcode les ensembles de données du jeu de caractères US EBCDIC: Cp037 au format ORC. Toutefois, le connecteur Mainframe est également compatible avec le transcodage des ensembles de données à partir des jeux de caractères EBCDIC régionaux suivants :
- Français : Cp297
- Allemand : Cp1141
- Espagnol : Cp1145
Un jeu de caractères personnalisé peut être implémenté si aucun jeu approprié n'est inclus dans la JVM IBM.
Fonctionnement de Mainframe Connector
Mainframe Connector vous permet de déplacer des données situées sur votre mainframe vers et depuis Cloud Storage, et d'envoyer des jobs BigQuery à partir de jobs par lot basés sur un mainframe et définis dans JCL. Mainframe Connector vous permet de transcoder directement les ensembles de données de mainframe au format Optimized Row Columnar (ORC).
Le transcodage consiste à convertir des informations d'une forme de représentation codée à une autre, en l'occurrence au format ORC. ORC est un format de données Open Source orienté colonnes dont l'utilisation est très répandue dans l'écosystème Apache Hadoop. Il est compatible avec BigQuery.
Mainframe Connector fournit un sous-ensemble des utilitaires de ligne de commande du SDK Google Cloud qui vous permettent de transférer des données et d'interagir avec les services Google Cloud . L'interpréteur de shell et les implémentations basées sur JVM des utilitaires de ligne de commande gsutil et bq vous permettent de gérer un pipeline complet d'extraction, de chargement et de transformation (ELT) entièrement à partir d'IBM z/OS tout en conservant votre planificateur de tâches existant.
L'un des principaux défis liés au transfert de vos données de mainframe vers et depuis le cloud est qu'il s'agit d'un processus en plusieurs étapes qui inclut normalement les étapes suivantes :
- Copiez les données sur un serveur de fichiers.
- Copiez les données du serveur de fichiers vers un autre emplacement pour les traiter.
- Utilisez une pile de traitement des données pour convertir les données dans un format moderne.
- Réécrivez les données traitées dans un autre emplacement.
- Chargez les données traitées dans une base de données ou un entrepôt de données où elles peuvent être interrogées ou utilisées.
La figure suivante illustre le processus en plusieurs étapes qui est normalement utilisé pour transférer des données d'un ordinateur central vers Google Cloud.
Mainframe Connector vous permet d'effectuer toutes ces étapes avec une seule commande à l'aide de Cloud Storage comme emplacement de stockage intermédiaire. Cela réduit le temps nécessaire au traitement des données du mainframe et à leur mise à disposition dans une base de données ou un entrepôt de données, comme illustré dans la figure suivante.
Étapes suivantes
- Architecture de Mainframe Connector
- Configurations de Mainframe Connector
- Installer Mainframe Connector