このページでは、Mainframe Connector の概要、その機能、主なメリットについて説明します。
IBM メインフレームは、組織が重要なコンピューティング タスクを実行するために使用されます。近年、メインフレームを利用している多くの企業が、クラウドへの移行を進めています。Mainframe Connector を使用すると、メインフレーム データを Google Cloud に移行できます。これにより、CPU 使用率の高いレポート ワークロードを Google Cloud にオフロードできます。
Mainframe Connector の主なメリット
Mainframe Connector を使用してメインフレーム データを Google Cloud に移行する主なメリットは次のとおりです。
- データ転送の簡素化: Cloud Storage や BigQuery などの Google Cloud ストレージ サービスへのメインフレーム データの移動を簡素化します。
- バッチジョブ統合: ジョブ制御言語（JCL）で定義されたメインフレームのバッチジョブを使用して BigQuery ジョブを送信できます。クエリがデータセットまたはファイルから読み込まれると、アナリストは、メインフレーム環境に関する知識と理解がほとんどなくても、スケジュールされたジョブを使用できます。
- 簡単なモニタリング:メインフレームのオペレーション担当者は、JCL を使用して使い慣れたスケジュールでジョブが送信されるため、別の環境をモニタリングする必要はありません。
- MIPS の低減: Mainframe Connector は、ほとんどの処理に Java 仮想マシン（JVM）を使用して、データ転送中のメインフレーム プロセッサのワークロードを最小限に抑え、100 万命令/秒（MIPS）を減らしてコストを削減します。Mainframe Connector は、プロセッサの負荷が高い作業のほとんどを補助プロセッサにオフロードします。補助プロセッサに負荷がかかっている場合は、Compute Engine を使用してコード変換と変換を行うように Mainframe Connector を構成することもできます。Mainframe Connector の構成の詳細については、Mainframe Connector の構成をご覧ください。
ストリーミング変換: 拡張バイナリコード（EBCDIC）の COBOL コピーブックに関連付けられたキューに入れられた順次アクセス方式（QSAM）のメインフレーム データセット、または ASCII UTF-8 のファイルを、BigQuery などの Google Cloud サービスと互換性のある ORC 形式にコード変換します。デフォルトでは、Mainframe Connector はデータセットを US EBCDIC: Cp037 文字セットから ORC にコード変換します。ただし、Mainframe Connector は、次のリージョン EBCDIC 文字セットからのデータセットのコード変換もサポートしています。
- フランス語: Cp297
- ドイツ語: Cp1141
- スペイン語: Cp1145
IBM JVM に適切な文字セットが含まれていない場合は、カスタム文字セットを実装できます。
Mainframe Connector の仕組み
Mainframe Connector を使用すると、メインフレームにあるデータを Cloud Storage との間で移動し、JCL で定義されたメインフレーム ベースのバッチジョブから BigQuery ジョブを送信できます。Mainframe Connector を使用すると、メインフレーム データセットを Optimized Row Columnar（ORC）形式に直接コード変換できます。
コード変換とは、情報をある形式のコーディング表現から別の形式（この場合は ORC など）に変換するプロセスです。ORC は、Apache Hadoop エコシステムで広く使用されているオープンソースの列指向のデータ形式であり、BigQuery でサポートされています。
Mainframe Connector には、Google Cloud SDK コマンドライン ユーティリティのサブセットがあり、データを転送して Google Cloud サービスを操作できます。シェル インタプリタと、JVM ベースで実装された gsutil および bq コマンドライン ユーティリティによって、既存のジョブ スケジューラを維持したまま、抽出、読み込み、変換（ELT）パイプライン全体を IBM z/OS から完全に管理できます。
クラウドとの間でメインフレーム データを転送する際の主な課題の 1 つは、複数のステップから構成されるプロセスであることです。このプロセスには通常、次のステップの実行が含まれます。
- データをファイル サーバーにコピーします。
- 処理のためにファイル サーバーから別の場所にデータをコピーします。
- データ処理スタックを使用してデータを最新の形式に変換します。
- 処理されたデータをさらに別の場所に書き戻します。
- 処理されたデータを、データのクエリや使用が可能なデータベースまたはデータ ウェアハウスに読み込みます。
次の図は、メインフレームから Google Cloud にデータを転送するために通常使用されるマルチステップのプロセスを示しています。
Mainframe Connector を使用すると、中間ストレージの場所として Cloud Storage を使用し、1 つのコマンドでこれらの手順をすべて実行できます。これにより、次の図に示すように、メインフレーム データが処理され、データベースまたはデータ ウェアハウスで利用可能になるまでの時間が短縮されます。
