Cette page décrit l'architecture de Mainframe Connector.
Le connecteur de mainframe est généralement déployé en tant qu'application Java. En tant que est autonome. Il vous suffit d'installer IBM JRE version 8 ou ultérieure pour déployer Mainframe Connector. Une procédure JCL (Job Control Language) est l'interface qui permettant d'appeler Mainframe Connector. L'image suivante donne une de l'architecture Mainframe Connector.
Lorsque vous importez des fichiers de données dans Cloud Storage, le connecteur mainframe communique directement avec l'API Cloud Storage à l'aide d'un zIIP (Integrated Information Processor) IBM z ou d'un processeur général (GP). Vous pouvez également déployer un service distant pour transférer une partie du calcul vers Google Cloud.
Après l'importation d'un fichier de données dans Cloud Storage, Mainframe Connector envoie un appel de procédure à distance (RPC) au service gRPC en indiquant l'emplacement du fichier, la disposition de l'enregistrement et l'emplacement de sortie. Le service gRPC lit le fichier à partir de Cloud Storage, transcode les données et écrit un fichier ORC (Optimized Row Columnar) multi-parties à l'emplacement de sortie Cloud Storage. Le connecteur Mainframe communique ensuite directement avec l'API BigQuery pour enregistrer le fichier ORC en tant que table externe ou le charger dans une table.
Vous pouvez également déployer un appareil matériel dans votre centre de données pour transférer des données directement du système de stockage de l'ordinateur central vers Cloud Storage à l'aide d'une bibliothèque de bandes virtuelle (VTL). Cette approche n'utilise ni zIIP ni GP lors du transfert de données vers Cloud Storage, car l'appareil matériel reçoit les données directement à partir du système de stockage du mainframe à l'aide d'un VTL et n'utilise pas du tout le mainframe. Cela libère le mainframe pour les tâches critiques pour l'entreprise.
Chiffrement des données
IBM fournit une implémentation Java Cryptography Extension (JCE) avec la JVM appelée Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) qui utilise le matériel de cryptographie sur IBM z/OS. La connexion TLS (Transport Layer Security) entre la JVM et les points de terminaison de l'API Google Cloud utilise JCE et la cryptographie matérielle pour sécuriser les données lors des opérations d'extraction, de transformation et de chargement (ELT).
Procédure JCL
Pour utiliser les procédures JCL, vous devez installer un interpréteur de shell BQSH.
dans les bibliothèques de procédures (PROCLIB) de votre mainframe. Les données d'environnement standard (STDENV)
la procédure JCL permet de définir des variables d'environnement, des arguments JVM, ainsi que des
classpath avant de lancer l'application Java. Procédure JCL
lance la JVM et la classe principale com.google.cloud.bqsh.Bqsh à l'aide de
Lanceur d'applications JVM IBM JVMLDM86.
Interpréteur shell BQSH
La classe principale BQSH agit en tant qu'interprète de shell. Il lit l'entrée de flux à partir d'une la procédure JCL, divise les lignes d'entrée et tente d'interpréter chaque ligne comme .
Application Java
Le connecteur Mainframe utilise des bibliothèques clientes cloud Java. Apache ORC et d'autres bibliothèques Open Source. Il utilise le SDK JZOS propriétaire d'IBM pour interagir avec le système de stockage IBM z/OS et s'exécute sur la JVM sur IBM z/OS et OpenJDK sur Linux.