Auf dieser Seite wird die Architektur des Mainframe-Connectors beschrieben.
Der Mainframe-Connector wird normalerweise als Java-Anwendung bereitgestellt. Da die Anwendung unabhängig ist, müssen Sie nur IBM JRE Version 8 oder höher installieren, um den Mainframe-Connector bereitzustellen. Ein Job Control Language (JCL)-Verfahren ist das Frontend, mit denen Sie den Mainframe-Connector aufrufen. Die folgende Abbildung bietet einen Überblick über die Architektur des Mainframe-Connectors.
Gehen Sie beim Hochladen von Datendateien in Cloud Storage folgendermaßen vor: Der Mainframe-Connector kommuniziert direkt mit dem Cloud Storage API mit entweder IBM z Integrated Information Processor (zIIP) oder allgemeiner Prozessor (General Processor, GP). Sie können auch Einen Remote-Dienst bereitstellen, um einen Teil der Berechnungen in Google Cloud zu verlagern
Nachdem eine Datendatei in Cloud Storage hochgeladen wurde, sendet Mainframe Connector einen Remote Procedure Call (RPC) an den gRPC-Dienst, in dem der Speicherort der Datei, das Datensatzlayout und der Ausgabeort angegeben sind. Der gRPC-Dienst liest die Datei aus Cloud Storage aus, transcodiert die Daten und schreibt ORC-Datei (Optimized Row Columnar) in den Cloud Storage-Ausgabespeicherort. Der Mainframe-Connector kommuniziert dann direkt mit der BigQuery API um die ORC-Datei als externe Tabelle zu registrieren oder die ORC-Datei in eine Tabelle zu laden.
Alternativ können Sie ein Hardwaregerät in Ihrem Rechenzentrum für die Übertragung Daten direkt vom Mainframe-Speichersystem in Cloud Storage übertragen. Virtual Tape Library (VTL). Bei diesem Ansatz werden bei der Datenübertragung in Cloud Storage weder zIIP noch GP verwendet, da das Hardwaregerät die Daten direkt über ein VTL vom Mainframe-Speichersystem empfängt und den Mainframe nicht verwendet. Dieses und gibt den Mainframe für geschäftskritische Aufgaben frei.
Datenverschlüsselung
IBM stellt eine Java Cryptography Extension (JCE)-Implementierung mit der JVM namens Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) bereit, die das Hardware-Kryptografiesystem unter IBM z/OS verwendet. Die TLS-Verbindung (Transport Layer Security) zwischen der JVM und der Google Cloud API Endpunkte nutzen JCE und Hardwarekryptografie, um Daten während der Extraktion, Transformations- und Ladevorgänge (ELT).
JCL-Prozedur
Zur Verwendung von JCL-Verfahren müssen Sie einen BQSH-Shell-Interpreter installieren.
in Ihren Mainframe-Prozedurbibliotheken (PROCLIB). Die Daten der Standardumgebung (STDENV) in der JCL-Prozedur werden verwendet, um Umgebungsvariablen, JVM-Argumente und den Java-Classpath festzulegen, bevor die Java-Anwendung gestartet wird. Eine JCL-Prozedur
startet die JVM und die Hauptklasse com.google.cloud.bqsh.Bqsh mithilfe von
IBM JVMLDM86 JVM Launcher
BQSH-Shell-Interpreter
Die Hauptklasse von BQSH fungiert als Shell-Interpreter. Es liest die Streameingabe aus einer JCL-Prozedur, teilt die Eingabezeilen und versucht, jede Zeile als Befehl zu interpretieren.
Java-Anwendung
Der Mainframe-Connector verwendet Java Cloud-Clientbibliotheken, Apache ORC und andere Open-Source-Bibliotheken. Es verwendet das proprietäre JZOS SDK von IBM, um mit dem IBM z/OS-Speichersystem zu interagieren, und wird auf der JVM unter IBM z/OS und OpenJDK unter Linux ausgeführt.