本页面将简要介绍大型主机连接器,以及 功能和主要优势
IBM 大型机可供组织执行关键计算任务。近年来,许多依赖大型机的公司一直在努力迁移到云端。借助 Mainframe Connector,您可以将大型主机数据移至 Google Cloud,以便将 CPU 密集型报告工作负载分流到 Google Cloud。
Mainframe Connector 的主要优势
以下是使用大型主机连接器进行迁移的主要好处 将大型主机数据传输到 Google Cloud:
- 简化的数据传输:简化了大型主机数据的传输, Google Cloud 存储服务,例如 Cloud Storage 和 BigQuery。
- 批量作业集成:让您可以使用作业控制语言 (JCL) 中定义的主机批量作业提交 BigQuery 作业。由于查询是从数据集或文件中读取的,因此分析师无需具备太多大型机环境知识和理解,即可使用安排的作业。
- 轻松监控:大型主机操作人员无需监控 因为使用 JCL 以熟悉的时间表提交作业。
- 降低 MIPS:Mainframe Connector 使用 Java 虚拟机 (JVM) 进行大多数处理,以最大限度地减少数据传输期间大型机处理器的工作负载,从而降低每秒百万条指令 (MIPS) 数,进而降低费用。大型主机连接器可将大部分处理器密集型工作分流到 辅助处理器如果辅助处理器处于繁忙状态,您还可以配置 Mainframe Connector 以使用 Compute Engine 执行转码和转换。有关大型主机连接器的详细信息 配置,请参阅大型主机连接器配置。
流式转换:将与扩展二进制编码十进制交换码 (EBCDIC) 中的 COBOL 副本库关联的队列式顺序访问方法 (QSAM) 大型机数据集或 ASCII UTF-8 格式的文件转码为与 BigQuery 等 Google Cloud 服务兼容的 ORC 格式。修改者 默认情况下,大型主机连接器会对来自 US EBCDIC: Cp037 字符已设置为 ORC。不过, 大型主机连接器还支持对来自 以下区域 EBCDIC 字符集:
- 法语:Cp297
- 德语:Cp1141
- 西班牙语:Cp1145
如果 IBM JVM 中未包含合适的字符集,则可以实现自定义字符集。
大型主机连接器的工作原理
借助 Mainframe Connector,您可以将大型主机上的数据移入和移出 Cloud Storage,以及通过 JCL 中定义的基于大型主机的批处理作业提交 BigQuery 作业。借助 Mainframe Connector,您可以将大型机数据集直接转码为 Optimized Row Columnar (ORC) 格式。
转码是将信息从一种经过编码的 表示为另一个表示,在本示例中为 ORC。ORC 是一种开源软件 Apache Hadoop 生态系统中广泛使用的面向列的数据格式, 受 BigQuery 支持
大型主机连接器提供了一部分 Google Cloud SDK 命令行实用程序 可让您转移数据并与 Google Cloud 服务进行交互。借助 gsutil 和 bq 命令行实用程序的 Shell 解释器和基于 JVM 的实现,您可以完全从 IBM z/OS 管理完整的提取、加载、转换 (ELT) 流水线,同时保留现有作业调度程序。
在将大型主机数据传输到/从 它是一个多步骤流程,通常需要执行 执行下列步骤:
- 将数据复制到文件服务器。
- 将数据从文件服务器复制到其他位置进行处理。
- 使用数据处理堆栈将数据转换为现代格式。
- 将处理后的数据写回另一个位置。
- 将处理后的数据加载到可用于访问数据的数据库或数据仓库 查询或使用过的内容
下图显示了多步骤流程,通常用于 将数据从大型主机转移到 Google Cloud 的方法
<ph type="x-smartling-placeholder">大型机连接器让您只需使用一个 命令(使用 Cloud Storage 作为中间存储位置)。这样可以缩短处理大型机数据并将其提供给数据库或数据仓库所需的时间,如下图所示。