本页面概述了大型主机连接器的 支持数据迁移以及每种方法的优势。
您可以根据自己的需求,在以下配置中运行 Mainframe Connector:
- 在大型主机本地转码大型主机数据,然后将其迁移到 Google Cloud。
- 使用 Cloud Run 在 Google Cloud 上对大型主机数据进行转码。
- 使用 Cloud Run 在 Google Cloud 上以独立模式转码大型主机数据。
- 使用虚拟磁带库 (VTL) 将大型主机数据转移到 Cloud Storage,然后在 Google Cloud 上对数据进行转码。
以下部分详细介绍了这些配置。
将本地转码的大型主机数据移至 Google Cloud
您可以在大型机本地将大型机数据转码为 BigQuery 支持的优化行列式 (ORC) 格式。在此配置中,大型主机连接器 可帮助您从 IBM z/OS 中管理完整的提取、转换和加载 (ETL) 流水线, 如下图所示。
如需了解详情,请参阅将在大型机上本地转码的数据移至 Google Cloud。
使用 Cloud Run 在 Google Cloud 上远程转码大型机数据
在大型机上本地转码数据是一项 CPU 密集型进程,会导致每秒百万条指令 (MIPS) 消耗量较高。为避免出现这种情况 可以将大型主机数据的转码委托给 Cloud Run 服务 如下图所示。这样,您就可以将大型机用于处理业务关键任务,并减少 MIPS 消耗。
如需了解详情,请参阅在 Google Cloud 上远程转码大型主机数据。
在独立模式下运行大型主机连接器
大型主机连接器版本 5.13.0 及更高版本支持运行 将大型主机连接器作为独立作业在 Google Cloud 上执行。此功能 可让您将大型主机连接器作为容器化批量作业运行, 例如作为 Cloud Run 作业、Google Kubernetes Engine 作业或在 Docker 容器此选项可帮助您避免 大型主机连接器位于您的大型主机本地,可让您更轻松地 您集成大型主机队列顺序访问方法 (QSAM) 文件 解析到现有的提取、转换和加载 (ETL) 工作流。
使用独立版本的 Mainframe Connector 时,您必须自行设置用于将 QSAM 文件加载到 Google Cloud 的 ETL 工作流。如需了解详情,请参阅在独立模式下运行大型主机连接器。
使用虚拟磁带库转码移至 Google Cloud 的大型主机数据
如果您想将大量数据(每天约 500 GB 以上)传输到 Google Cloud,但不想使用大型机来完成此任务,则可以在数据中心部署硬件设备,使用 VTL 和 10G 以太网将数据直接从大型机存储系统传输到 Cloud Storage。由于硬件设备使用 VTL 直接从大型机存储系统接收数据,因此大型机与 Cloud Storage 之间的数据传输过程完全不会使用大型机,从而使大型机可以用于执行业务关键任务。数据转码由 Google Cloud 上的 Cloud Run 服务执行,如下图所示。
如需了解详情,请参阅使用虚拟磁带库转码迁移到 Google Cloud 的主机数据。