このページでは、Mainframe Connector、その機能、主なメリットの概要について説明します。
IBM メインフレームは、組織が重要なコンピューティング タスクを実行するために使用されます。近年、メインフレームを利用している多くの企業が、クラウドへの移行を進めています。Mainframe Connector を使用すると、メインフレーム データをGoogle Cloud に移動して、CPU 使用率の高いレポート ワークロードを Google Cloudにオフロードできます。
Mainframe Connector の主なメリット
Mainframe Connector を使用してメインフレーム データを Google Cloudに移行する主なメリットは次のとおりです。
- データ転送の簡素化: メインフレーム データをGoogle Cloud ストレージ サービス（Cloud Storage や BigQuery など）に転送する手順を簡素化します。
- バッチジョブの統合: ジョブ制御言語（JCL）で定義されたメインフレーム バッチジョブを使用して BigQuery ジョブを送信できます。クエリはデータセットまたはファイルから読み込まれるため、アナリストはメインフレーム環境に関する知識や理解を最小限に抑えてスケジュールされたジョブを使用できます。
- 簡単なモニタリング: JCL を使用して使い慣れたスケジュールでジョブが送信されるため、メインフレーム運用担当者は別の環境をモニタリングする必要はありません。
- MIPS の削減: Mainframe Connector は、ほとんどの処理に Java Virtual Machine（JVM）を使用するため、データ転送中のメインフレーム プロセッサのワークロードを最小限に抑え、100 万命令/秒（MIPS）を削減してコストを削減します。Mainframe Connector は、プロセッサ使用率の高いほとんどの処理を補助プロセッサにオフロードします。補助プロセッサに負荷がかかっている場合は、Compute Engine を使用してコード変換と変換を実行するように Mainframe Connector を構成することもできます。Mainframe Connector の構成の詳細については、Mainframe Connector の構成をご覧ください。
ストリーミング変換: 拡張バイナリコード（EBCDIC）の COBOL コピーブックに関連付けられたキューに入れられた順次アクセス方式（QSAM）のメインフレーム データセット、または ASCII UTF-8 のファイルを、 Google Cloud サービス（BigQuery など）と互換性のある ORC 形式にコード変換します。デフォルトでは、Mainframe Connector はデータセットを US EBCDIC: Cp037 文字セットから ORC にコード変換します。ただし、Mainframe Connector は、次の地域の EBCDIC 文字セットからのデータセットのコード変換もサポートしています。
- フランス語: Cp297
- ドイツ語: Cp1141
- スペイン語: Cp1145
適切な文字セットが IBM JVM に含まれていない場合は、カスタム文字セットを実装できます。
Mainframe Connector の仕組み
Mainframe Connector を使用すると、メインフレームにあるデータを Cloud Storage との間で移動できます。また、JCL で定義されたメインフレーム ベースのバッチジョブから BigQuery ジョブを送信できます。Mainframe Connector を使用すると、メインフレーム データセットを Optimized Row Columnar（ORC）形式に直接コード変換できます。
コード変換は、ある形式のコード表現から別の形式（この場合は ORC）に変換するプロセスです。ORC は、Apache Hadoop エコシステムで広く使用されているオープンソースの列指向のデータ形式であり、BigQuery でサポートされています。
Mainframe Connector は、Google Cloud SDK コマンドライン ユーティリティのサブセットを提供します。これにより、 Google Cloud サービスとデータを転送してやり取りできます。シェル インタプリタと、JVM ベースで実装された gsutil および bq コマンドライン ユーティリティによって、既存のジョブ スケジューラを維持したまま、抽出、読み込み、変換（ELT）パイプライン全体を IBM z/OS から完全に管理できます。
クラウドとの間でメインフレーム データを転送する際の主な課題の 1 つは、複数のステップから構成されるプロセスであることです。このプロセスには通常、次のステップの実行が含まれます。
- データをファイル サーバーにコピーします。
- ファイルサーバーから別の場所にデータをコピーして処理します。
- データ処理スタックを使用してデータを最新の形式に変換します。
- 処理済みデータを別の場所に書き戻します。
- 処理されたデータを、データのクエリや使用が可能なデータベースまたはデータ ウェアハウスに読み込みます。
次の図は、メインフレームから Google Cloudにデータを転送するために通常使用されるマルチステップのプロセスを示しています。
Mainframe Connector を使用すると、Cloud Storage を中間ストレージ ロケーションとして使用して、これらのすべての手順を 1 つのコマンドで実行できます。これにより、次の図に示すように、メインフレーム データが処理されてデータベースまたはデータ ウェアハウスで利用可能になるまでの時間が短縮されます。
