Auf dieser Seite wird die Architektur von Mainframe Connector beschrieben.
Der Mainframe Connector wird in der Regel als Java-Anwendung bereitgestellt. Da die Anwendung eigenständig ist, müssen Sie zum Bereitstellen des Mainframe-Connectors nur IBM JRE Version 8 oder höher installieren. Eine Job Control Language (JCL)-Prozedur ist das Front-End, mit dem Sie den Mainframe Connector aufrufen können. Die folgende Abbildung bietet einen Überblick über die Architektur des Mainframe-Connectors.
Beim Hochladen von Datendateien in Cloud Storage kommuniziert der Mainframe-Connector entweder über den IBM z Integrated Information Processor (zIIP) oder einen General Processor (GP) direkt mit der Cloud Storage API. Sie können auch einen Remote-Dienst bereitstellen, um einen Teil der Berechnungen an Google Cloud auszulagern.
Nachdem eine Datendatei in Cloud Storage hochgeladen wurde, sendet Mainframe Connector einen Remote Procedure Call (RPC) an den gRPC-Dienst, in dem der Speicherort der Datei, das Datensatzlayout und der Ausgabeort angegeben sind. Der gRPC-Dienst liest die Datei aus Cloud Storage, transkodiert die Daten und schreibt eine mehrteilige ORC-Datei (Optimized Row Columnar) an den Cloud Storage-Ausgabespeicherort. Der Mainframe-Connector kommuniziert dann direkt mit der BigQuery API, um die ORC-Datei als externe Tabelle zu registrieren oder in eine Tabelle zu laden.
Alternativ können Sie ein Hardwaregerät in Ihrem Rechenzentrum bereitstellen, um Daten mithilfe einer virtuellen Bandbibliothek (VTL) direkt vom Mainframe-Speichersystem in Cloud Storage zu übertragen. Bei diesem Ansatz werden bei der Datenübertragung in Cloud Storage weder zIIP noch GP verwendet, da das Hardwaregerät die Daten direkt über ein VTL vom Mainframe-Speichersystem empfängt und den Mainframe nicht verwendet. So wird der Mainframe für geschäftskritische Aufgaben freigesetzt.
Datenverschlüsselung
IBM stellt eine Java Cryptography Extension (JCE)-Implementierung mit der JVM namens Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) bereit, die das Hardware-Kryptografiesystem auf IBM z/OS verwendet. Die TLS-Verbindung (Transport Layer Security) zwischen der JVM und den API-Endpunkten von Google Cloud nutzt JCE und Hardwarekryptografie, um Daten während der ELT-Vorgänge (Extract, Transform, Load) zu schützen.
JCL-Prozedur
Wenn Sie JCL-Prozeduren verwenden möchten, müssen Sie einen BQSH-Shell-Interpreter in Ihren Prozedurbibliotheken (PROCLIB) auf dem Mainframe installieren. Die Daten der Standardumgebung (STDENV) in der JCL-Prozedur werden verwendet, um Umgebungsvariablen, JVM-Argumente und den Java-Klassenpfad festzulegen, bevor die Java-Anwendung gestartet wird. Eine JCL-Prozedur startet die JVM und die Hauptklasse com.google.cloud.bqsh.Bqsh mit dem IBM JVMLDM86 JVM-Launcher.
BQSH-Shell-Interpreter
Die Hauptklasse von BQSH dient als Shell-Interpreter. Es liest die Streameingabe aus einer JCL-Prozedur, teilt die Eingabezeilen und versucht, jede Zeile als Befehl zu interpretieren.
Java-Anwendung
Der Mainframe-Connector verwendet Java Cloud-Clientbibliotheken, Apache ORC und andere Open-Source-Bibliotheken. Es verwendet das proprietäre JZOS SDK von IBM, um mit dem IBM z/OS-Speichersystem zu interagieren, und wird auf der JVM unter IBM z/OS und OpenJDK unter Linux ausgeführt.