Cette page décrit l'architecture de Mainframe Connector.
Mainframe Connector est généralement déployé en tant qu'application Java. Étant donné que l'application est autonome, il vous suffit d'installer la version 8 du JRE IBM ou une version ultérieure pour déployer le connecteur Mainframe. Une procédure JCL (Job Control Language) est le front-end que vous pouvez utiliser pour appeler le connecteur Mainframe. L'image suivante présente une vue d'ensemble de l'architecture du connecteur Mainframe.
Lorsque vous importez des fichiers de données dans Cloud Storage, le connecteur mainframe communique directement avec l'API Cloud Storage à l'aide d'un zIIP (Integrated Information Processor) IBM z ou d'un processeur général (GP). Vous pouvez également déployer un service distant pour décharger une partie du calcul sur Google Cloud.
Une fois qu'un fichier de données a été importé dans Cloud Storage, Mainframe Connector envoie un appel de procédure à distance (RPC) au service gRPC indiquant l'emplacement du fichier, la mise en page des enregistrements et l'emplacement de sortie. Le service gRPC lit le fichier à partir de Cloud Storage, transcode les données et écrit un fichier ORC (Optimized Row Columnar) multi-parties à l'emplacement de sortie Cloud Storage. Le connecteur Mainframe communique ensuite directement avec l'API BigQuery pour enregistrer le fichier ORC en tant que table externe ou le charger dans une table.
Vous pouvez également déployer un appareil matériel dans votre centre de données pour transférer des données directement du système de stockage de l'ordinateur central vers Cloud Storage à l'aide d'une bibliothèque de bandes virtuelle (VTL). Cette approche n'utilise ni zIIP ni GP lors du transfert de données vers Cloud Storage, car l'appareil matériel reçoit les données directement à partir du système de stockage du mainframe à l'aide d'un VTL et n'utilise pas du tout le mainframe. Cela libère le mainframe pour les tâches critiques pour l'entreprise.
Chiffrement des données
IBM fournit une implémentation de Java Cryptography Extension (JCE) avec la JVM appelée IBMJCECCA (Java Cryptography Extension Common Cryptographic Architecture), qui utilise le système de cryptographie matérielle sur IBM z/OS. La connexion TLS (Transport Layer Security) entre la JVM et les points de terminaison d'API Google Cloud utilise JCE et la cryptographie matérielle pour sécuriser les données lors des opérations d'extraction, de transformation et de chargement (ELT).
Procédure JCL
Pour utiliser des procédures JCL, vous devez installer un interprète de shell BQSH dans vos bibliothèques de procédures (PROCLIB) de mainframe. Les données d'environnement standard (STDENV) de la procédure JCL sont utilisées pour définir les variables d'environnement, les arguments JVM et le chemin d'accès Java avant de lancer l'application Java. Une procédure JCL lance la JVM et la classe principale com.google.cloud.bqsh.Bqsh à l'aide du lanceur de JVM IBM JVMLDM86.
Interprète de shell BQSH
La classe principale BQSH agit en tant qu'interprète de shell. Il lit l'entrée de flux à partir d'une procédure JCL, divise les lignes d'entrée et tente d'interpréter chaque ligne en tant que commande.
Application Java
Le connecteur Mainframe utilise les bibliothèques clientes Java Cloud, Apache ORC et d'autres bibliothèques Open Source. Il utilise le SDK JZOS propriétaire d'IBM pour interagir avec le système de stockage IBM z/OS et s'exécute sur la JVM sur IBM z/OS et OpenJDK sur Linux.