选择数据迁移历程

本页面简要介绍了 Mainframe 连接器支持数据迁移的方式,以及每种方法的优势。

您可以根据自己的需求,在以下配置中运行 Mainframe Connector:

以下部分详细介绍了这些配置。

将本地转码的主机数据移至 Google Cloud

您可以在大型机本地将大型机数据转码为 BigQuery 支持的优化行列式 (ORC) 格式。在此配置中,Mainframe Connector 可帮助您完全从 IBM z/OS 管理完整的提取、转换和加载 (ETL) 流水线,如下图所示。

使用 Mainframe Connector 进行本地转码
本地转码

如需了解详情,请参阅将在大型机上本地转码的数据移至 Google Cloud

使用 Cloud Run 在 Google Cloud 上远程转码大型机数据

在大型机上本地转码数据是一项 CPU 密集型进程,会导致每秒百万条指令 (MIPS) 消耗量较高。为避免这种情况,您可以将大型机数据的转码委托给 Google Cloud上的 Cloud Run 服务,如下图所示。这样,您就可以将大型机释放出来执行业务关键任务,同时还能降低 MIPS 消耗。

使用 Mainframe Connector 进行远程转码
远程转码

如需了解详情,请参阅在 Google Cloud 上远程转码大型机数据。

在独立模式下运行 Mainframe Connector

Mainframe Connector 版本 5.13.0 及更高版本支持在 Google Cloud上将 Mainframe Connector 作为独立作业运行。借助此功能,您可以将 Mainframe Connector 作为容器化批量作业运行,例如作为 Cloud Run 作业、Google Kubernetes Engine 作业或在 Docker 容器中运行。此选项可帮助您避免在大型机上本地安装 Mainframe Connector,并让您更轻松地将 Mainframe 队列式顺序访问方法 (QSAM) 文件解析集成到现有的提取、转换和加载 (ETL) 工作流中。

使用独立版本的主机连接器时,您必须自行设置将 QSAM 文件加载到 Google Cloud 的 ETL 工作流。如需了解详情,请参阅在独立模式下运行大型机连接器

使用虚拟磁带库对移至 Google Cloud 的大型机数据进行转码

如果您想将大量数据(每天约 500 GB)转移到Google Cloud,但不想使用大型机来完成此任务,则可以在数据中心部署硬件设备,使用 VTL 和 10G 以太网将数据直接从大型机存储系统转移到 Cloud Storage。由于硬件设备使用 VTL 直接从大型机存储系统接收数据,因此大型机和 Cloud Storage 之间的数据传输过程完全不会使用大型机,从而使大型机可以用于执行业务关键任务。数据转码由Google Cloud上的 Cloud Run 服务执行,如下图所示。

使用 VTL 连接将大型主机数据迁移到 Google Cloud
使用 VTL 连接将大型主机数据迁移到 Google Cloud

如需了解详情,请参阅使用虚拟磁带库转码迁移到 Google Cloud 的主机数据

后续步骤