Mainframe Connector – Übersicht

Auf dieser Seite erhalten Sie einen Überblick über den Mainframe-Connector, seine Funktionen und wichtigsten Vorteile.

IBM-Mainframes werden von Unternehmen für kritische Rechenaufgaben eingesetzt. In den letzten Jahren haben viele Unternehmen, die auf Mainframes setzen, damit begonnen, in die Cloud zu migrieren. Mit dem Mainframe-Connector können Sie Ihre Mainframe-Daten zu Google Cloud verschieben, um CPU-intensive Berichtsarbeitslasten auf Google Cloud auszulagern.

Die wichtigsten Vorteile des Mainframe Connectors

Die folgenden Vorteile bietet die Verwendung des Mainframe-Connectors zum Verschieben von Mainframe-Daten in Google Cloud:

  • Vereinfachte Datenübertragung:Erleichtert die Übertragung von Mainframe-Daten in Google Cloud-Speicherdienste wie Cloud Storage und BigQuery.
  • Batchjob-Integration:Sie können BigQuery-Jobs mit Mainframe-Batchjobs einreichen, die in Job Control Language (JCL) definiert sind. Da Abfragen aus Datasets oder Dateien gelesen werden, können Analysten geplante Jobs mit nur wenig Wissen und Verständnis von Mainframe-Umgebungen verwenden.
  • Einfache Überwachung: Das Mainframe-Betriebsteam muss keine andere Umgebung überwachen, da Jobs mit bekannten Zeitplänen mit JCL eingereicht werden.
  • Reduzierte MIPS: Der Mainframe-Connector verwendet für die meisten Verarbeitungen eine Java Virtual Machine (JVM), um die Mainframe-Prozessorlast während der Datenübertragung zu minimieren. Dadurch werden die Millionen von Anweisungen pro Sekunde (MIPS) reduziert und die Kosten gesenkt. Mainframe Connector überträgt die meisten prozessorintensiven Aufgaben an Hilfsprozessoren. Wenn die Hilfsprozessoren ausgelastet sind, kannst du Mainframe Connector auch so konfigurieren, dass Transcodierung und Konvertierung mit der Compute Engine ausgeführt werden. Weitere Informationen zu Mainframe Connector-Konfigurationen finden Sie unter Mainframe Connector-Konfigurationen.

  • Streaming-Transformation: Transcodierung von QSAM-Mainframe-Datasets (Queued Sequential Access Method), die mit COBOL-Copybooks im EBCDIC-Format (Extended Binary Coded Decimal Interchange Code) oder Dateien im ASCII-UTF-8-Format verknüpft sind, in das ORC-Format, das mit Google Cloud-Diensten wie BigQuery kompatibel ist. Standardmäßig transkodiert der Mainframe-Connector Datasets vom Zeichensatz US EBCDIC: Cp037 in ORC. Der Mainframe-Connector unterstützt jedoch auch die Transcodierung von Datasets aus den folgenden regionalen EBCDIC-Zeichensätzen:

    • Französisch: Cp297
    • Deutsch: Cp1141
    • Spanisch: Cp1145

    Ein benutzerdefinierter Zeichensatz kann implementiert werden, wenn in der IBM JVM kein geeigneter Zeichensatz enthalten ist.

Funktionsweise von Mainframe Connector

Mit dem Mainframe-Connector können Sie Daten auf Ihrem Mainframe in Cloud Storage verschieben und von Mainframe-basierten Batchjobs, die in JCL definiert sind, BigQuery-Jobs einreichen. Mit dem Mainframe-Connector können Sie Mainframe-Datasets direkt in das ORC-Format (Optimized Row Columnar) umwandeln.

Bei der Transcodierung werden Informationen von einer codierten Darstellung in eine andere umgewandelt, in diesem Fall in ORC. ORC ist ein spaltenorientiertes Open-Source-Datenformat, das häufig in Verbindung mit Apache Hadoop genutzt wird und von BigQuery unterstützt wird.

Mainframe Connector bietet eine Teilmenge der Google Cloud SDK-Befehlszeilen-Dienstprogramme, mit denen Sie Daten übertragen und mit Google Cloud-Diensten interagieren können. Mit dem Shell-Interpreter und den JVM-basierten Implementierungen von gsutil und den bq-Befehlszeilen-Dienstprogrammen können Sie eine vollständige ELT-Pipeline (Extract, Load, Transform, also Extrahieren, Laden, Transformieren) vollständig über IBM z/OS verwalten und dabei Ihren vorhandenen Jobplaner beibehalten.

Eine der größten Herausforderungen bei der Übertragung von Mainframe-Daten in die Cloud und umgekehrt ist, dass es sich um einen mehrstufigen Prozess handelt, der normalerweise die folgenden Schritte umfasst:

  1. Daten auf einen Dateiserver kopieren
  2. Daten zur Verarbeitung vom Dateiserver an einen anderen Speicherort kopieren.
  3. Verwenden Sie einen Daten-Stack, um die Daten in ein modernes Format umzuwandeln.
  4. Die verarbeiteten Daten an einen anderen Speicherort zurückschreiben.
  5. Laden Sie die verarbeiteten Daten in eine Datenbank oder ein Data Warehouse, in dem sie abgefragt oder verwendet werden können.

Die folgende Abbildung zeigt den mehrstufigen Prozess, der normalerweise zum Übertragen von Daten von einem Mainframe zu Google Cloud verwendet wird.

Mehrere Schritte zum Verschieben von Mainframe-Daten zu Google Cloud
Mehrere Schritte zum Verschieben von Mainframe-Daten zu Google Cloud

Mit dem Mainframe-Connector können Sie alle diese Schritte mit einem einzigen Befehl ausführen und dabei Cloud Storage als Zwischenspeicherort verwenden. Dadurch wird die Zeit verkürzt, die für die Verarbeitung der Mainframe-Daten und die Bereitstellung in einer Datenbank oder einem Data Warehouse benötigt wird, wie in der folgenden Abbildung dargestellt.

Durch den Mainframe Connector entfallene Schritte
Durch Mainframe Connector eliminierte Schritte

Nächste Schritte