Mainframe-Connector – Übersicht

Auf dieser Seite erhalten Sie einen Überblick über Mainframe Connector, seine Funktionen und wichtigsten Vorteile.

IBM-Mainframes werden von Organisationen verwendet, um kritische Computing-Aufgaben auszuführen. In den letzten Jahren haben viele Unternehmen, die auf Mainframes setzen, damit begonnen, in die Cloud zu migrieren. Mit dem Mainframe-Connector können Sie Ihre Mainframe-Daten zu Google Cloud verschieben, um CPU-intensive Berichtsarbeitslasten auf Google Cloud auszulagern.

Hauptvorteile des Mainframe-Connectors

Die folgenden Vorteile bietet die Verwendung des Mainframe-Connectors zum Verschieben von Mainframe-Daten in Google Cloud:

  • Vereinfachte Datenübertragung:Vereinfacht das Verschieben von Mainframe-Daten zu Google Cloud-Speicherdienste wie Cloud Storage und BigQuery.
  • Batchjob-Integration: Sie können BigQuery-Jobs mit Mainframe-Batchjobs einreichen, die in Job Control Language (JCL) definiert sind. Da Abfragen aus Datasets oder Dateien gelesen werden, können Analysten geplante Jobs mit nur wenig Wissen und Verständnis von Mainframe-Umgebungen verwenden.
  • Einfache Überwachung: Das Mainframe-Betriebsteam muss keine andere Umgebung überwachen, da Jobs mit bekannten Zeitplänen mit JCL eingereicht werden.
  • Reduzierte MIPS: Der Mainframe-Connector verwendet für die meisten Verarbeitungen eine Java Virtual Machine (JVM), um die Mainframe-Prozessorlast während der Datenübertragung zu minimieren. Dadurch werden die Millionen von Anweisungen pro Sekunde (MIPS) reduziert und die Kosten gesenkt. Mainframe Connector überträgt die meisten prozessorintensiven Aufgaben an Hilfsprozessoren. Wenn die Hilfsprozessoren ausgelastet sind, kannst du Mainframe Connector auch so konfigurieren, dass Transcodierung und Konvertierung mit der Compute Engine ausgeführt werden. Weitere Informationen zu Mainframe Connector-Konfigurationen finden Sie unter Mainframe Connector-Konfigurationen.

  • Streamingtransformation: Die Methode für den sequenziellen Zugriff in der Warteschlange (Transcoded Queued Access Method, QSAM) Mainframe-Datasets, die mit COBOL-Copybooks in erweiterten binär codierten decimal Interchange Code (EBCDIC) oder Dateien in ASCII UTF-8 in das ORC-Format das mit Google Cloud-Diensten wie BigQuery kompatibel ist. Von transcodiert der Mainframe-Connector Datasets US EBCDIC: Cp037 wird auf ORC gesetzt. Sie können jedoch Der Mainframe-Connector unterstützt auch das Transcodieren von Datasets aus dem folgende regionale EBCDIC-Zeichensätze:

    • Französisch: Cp297
    • Deutsch: Cp1141
    • Spanisch: Cp1145

    Ein benutzerdefinierter Zeichensatz kann implementiert werden, wenn kein geeigneter Zeichensatz die in der IBM JVM enthalten sind.

Funktionsweise des Mainframe-Connectors

Mit dem Mainframe-Connector können Sie Daten aus Ihrem Mainframe in aus Cloud Storage auswählen und BigQuery-Jobs über Mainframe-basierte die in JCL definierten Batchjobs. Mit dem Mainframe-Connector können Sie Mainframe-Datasets direkt in Optimized Row Columnar (ORC) Format.

Transcodierung ist der Prozess der Konvertierung von Informationen aus einer Form codierter in eine andere, in diesem Fall ORC, zu übertragen. ORC ist Open Source spaltenorientiertes Datenformat, das häufig in der Apache Hadoop-Umgebung verwendet wird, und wird von BigQuery unterstützt.

Mainframe Connector bietet eine Teilmenge der Befehlszeilen-Dienstprogramme des Google Cloud SDK, mit denen Sie Daten übertragen und mit Google Cloud-Diensten interagieren können. Die Muschel Interpreter und JVM-basierte Implementierungen von gsutil und mit den bq-Befehlszeilendienstprogrammen Sie können damit eine vollständige ELT-Pipeline (Extrahieren, Laden, Transformieren) verwalten vollständig aus IBM z/OS und Ihre vorhandenen Jobplaner.

Eine der größten Herausforderungen bei der Übertragung Ihrer Mainframe-Daten zum und vom besteht darin, dass es sich um einen mehrstufigen Prozess handelt, führen Sie die folgenden Schritte aus:

  1. Daten auf einen Dateiserver kopieren
  2. Daten zur Verarbeitung vom Dateiserver an einen anderen Speicherort kopieren.
  3. Sie verwenden einen Datenverarbeitungs-Stack, um die Daten in ein modernes Format zu konvertieren.
  4. Die verarbeiteten Daten an einen anderen Speicherort zurückschreiben.
  5. Laden Sie die verarbeiteten Daten in eine Datenbank oder ein Data Warehouse, wo die Daten abgefragt oder verwendet werden.

Die folgende Abbildung zeigt den mehrstufigen Prozess, der normalerweise zum Übertragen von Daten von einem Mainframe zu Google Cloud verwendet wird.

Mehrere Schritte zum Verschieben von Mainframe-Daten zu Google Cloud
Mehrere Schritte zum Verschieben von Mainframe-Daten zu Google Cloud

Mit dem Mainframe-Connector können Sie alle diese Schritte mit einem einzigen Befehl unter Verwendung von Cloud Storage als Zwischenspeicherspeicherort. Dieses verkürzt die Zeit, die für die Verarbeitung und Bereitstellung der Mainframe-Daten benötigt wird. in einer Datenbank oder einem Data Warehouse gespeichert werden, wie in der folgenden Abbildung dargestellt.

Durch den Mainframe Connector entfallene Schritte
Durch Mainframe Connector entfallene Schritte

Nächste Schritte