Questa pagina descrive l'architettura di Mainframe Connector.
In genere, Mainframe Connector viene implementato come applicazione Java. Come è autonoma, è sufficiente installare IBM JRE versione 8 o successiva per eseguire il deployment del connettore mainframe. Una procedura di job Control Language (JCL) è il front-end che puoi utilizzare per chiamare Connettore mainframe. L'immagine seguente fornisce una panoramica dell'architettura di Mainframe Connector.
Quando carichi file di dati su Cloud Storage, Il connettore del mainframe comunica direttamente API Cloud Storage utilizzando IBM z Integrated Information Processor (zIIP) o General processor (GP). Puoi anche eseguire il deployment di un servizio remoto per scaricare parte del calcolo su Google Cloud.
Dopo aver caricato un file di dati su Cloud Storage, il connettore Mainframe invia una chiamata di procedura remota (RPC) al servizio gRPC indicando la posizione del file, il layout del record e il percorso di output. Il servizio gRPC legge il file da Cloud Storage, transcodifica i dati e scrive una Optimized Row Columnar (ORC) alla Percorso di output di Cloud Storage. Quindi, il connettore del mainframe comunica direttamente con l'API BigQuery per registrare il file ORC come tabella esterna o caricare il file ORC in una tabella.
In alternativa, puoi eseguire il deployment di un dispositivo hardware nel tuo data center per trasferire direttamente dal sistema di archiviazione mainframe a Cloud Storage utilizzando VTL (Virtual Tape Library). Questo approccio non utilizza né zIIP né GP durante il trasferimento dei dati Cloud Storage perché il dispositivo hardware riceve i dati direttamente un sistema di archiviazione mainframe utilizzando una VTL e non usa affatto il mainframe. Questo libera il mainframe per le attività business-critical.
Crittografia dei dati
IBM fornisce un'implementazione Java Cryptography Extension (JCE) con la JVM denominata Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) che utilizza l'hardware su IBM z/OS. La connessione TLS (Transport Layer Security) tra gli endpoint JVM e dell'API Google Cloud utilizza JCE e la crittografia hardware per proteggere i dati durante le operazioni di estrazione, trasformazione e caricamento (ELT).
Procedura JCL
Per utilizzare le procedure JCL, devi installare un interprete di shell BQSH
nelle librerie di procedura (PROCLIB) del mainframe. I dati dell'ambiente standard (STDENV) nella procedura JCL vengono utilizzati per impostare le variabili di ambiente, gli argomenti JVM e il percorso di classe Java prima di avviare l'applicazione Java. Una procedura JCL
avvia la JVM e la classe principale com.google.cloud.bqsh.Bqsh utilizzando
Avvio app JVM IBM JVMLDM86.
Interprete shell BQSH
La classe principale BQSH funge da interprete. Legge l'input dello stream da una procedura JCL, suddivide le righe di input e tenta di interpretare ciascuna riga come un comando.
Applicazione Java
Il connettore mainframe utilizza le librerie client Java Cloud, Apache ORC e altre librerie open source. Utilizza l'SDK JZOS proprietario di IBM per interagire con il sistema di archiviazione IBM z/OS ed è eseguito sulla JVM su IBM z/OS e OpenJDK su Linux.