En esta página se describe la arquitectura de Mainframe Connector.
Mainframe Connector se suele desplegar como una aplicación Java. Como la aplicación es autónoma, solo tienes que instalar IBM JRE versión 8 o IBM JRE versión 17 para implementar Mainframe Connector. Un procedimiento de lenguaje de control de trabajos (JCL) es el frontend que puedes usar para llamar a Mainframe Connector. En la siguiente imagen se muestra una descripción general de la arquitectura de Mainframe Connector.
Cuando se suben archivos de datos a Cloud Storage, Mainframe Connector se comunica directamente con la API Cloud Storage mediante un procesador de información integrado de IBM z (zIIP) o un procesador general (GP). También puedes implementar un servicio remoto para delegar parte de los cálculos Google Cloud.
Una vez que se ha subido un archivo de datos a Cloud Storage, Mainframe Connector envía una llamada a procedimiento remoto (RPC) al servicio gRPC para indicar la ubicación del archivo, el diseño del registro y la ubicación de salida. El servicio gRPC lee el archivo de Cloud Storage, transcodifica los datos y escribe un archivo Optimized Row Columnar (ORC) de varias partes en la ubicación de salida de Cloud Storage. A continuación, Mainframe Connector se comunica directamente con la API BigQuery para registrar el archivo ORC como una tabla externa o cargar el archivo ORC en una tabla.
También puedes implementar un dispositivo de hardware en tu centro de datos para transferir datos directamente del sistema de almacenamiento del mainframe a Cloud Storage mediante una biblioteca de cintas virtual (VTL). Este método no usa zIIP ni GP durante la transferencia de datos a Cloud Storage, ya que el dispositivo de hardware recibe los datos directamente del sistema de almacenamiento del mainframe mediante una VTL y no usa el mainframe en absoluto. De esta forma, la plataforma principal puede centrarse en las tareas críticas para la empresa.
Encriptado de datos
IBM proporciona una implementación de Java Cryptography Extension (JCE) con la JVM llamada Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) (Java 8 o Java 17) que usa el sistema de cifrado de hardware en IBM z/OS. La conexión de seguridad en la capa de transporte (TLS) entre la JVM y los endpoints de la API Google Cloud usa JCE y la criptografía de hardware para proteger los datos durante las operaciones de extracción, transformación y carga (ELT).
Procedimiento JCL
Para usar los procedimientos de JCL, debes instalar un intérprete de shell BQSH en las bibliotecas de procedimientos (PROCLIB) de tu mainframe. Los datos del entorno estándar (STDENV) del procedimiento JCL se usan para definir variables de entorno, argumentos de JVM y classpath de Java antes de iniciar la aplicación Java. Un procedimiento JCL inicia la JVM y la clase principal com.google.cloud.bqsh.Bqsh mediante IBM JVMLDM86 JVM launcher.
Intérprete de shell BQSH
La clase principal de BQSH actúa como intérprete de shell. Lee la entrada de flujo de un procedimiento JCL, divide las líneas de entrada e intenta interpretar cada línea como un comando.
Aplicación Java
Mainframe Connector usa las bibliotecas de cliente de Java Cloud, Apache ORC y otras bibliotecas de código abierto. Utiliza el SDK de JZOS propietario de IBM para interactuar con el sistema de almacenamiento de IBM z/OS y se ejecuta en la JVM de IBM z/OS y en OpenJDK en Linux.