大型主机连接器架构

本页介绍了 Mainframe Connector 的架构。

Mainframe Connector 通常部署为 Java 应用。作为 应用是独立的,您只需安装 IBM JRE 版本 8 或更高版本即可部署大型机连接器。 作业控制语言 (JCL) 程序是一个前端, 您可以用它来调用大型机连接器。下图给出了 大型主机连接器架构概述。

大型主机连接器架构
Mainframe Connector 架构

将数据文件上传到 Cloud Storage 时, 大型主机连接器直接与 Cloud Storage API,使用 IBM z 集成信息处理器 (zIIP) 或通用处理器 (GP)。您还可以 部署远程服务以将部分计算分流到 Google Cloud

将数据文件上传到 Cloud Storage 后,Mainframe Connector 会向 gRPC 服务发送远程过程调用 (RPC),指明文件的位置、记录布局和输出位置。gRPC 服务读取 从 Cloud Storage 中下载文件、对数据进行转码 Optimized Row Columnar (ORC) 文件添加到 Cloud Storage 输出位置。然后,Mainframe 连接器会直接与 BigQuery API 通信,以将 ORC 文件注册为外部表或将 ORC 文件加载到表中。

或者,您也可以在数据中心部署硬件设备,以便使用虚拟磁带库 (VTL) 将数据直接从大型机存储系统传输到 Cloud Storage。此方法在数据传输期间既不使用 zIIP 也不使用 GP Cloud Storage,因为硬件设备直接从 使用 VTL 的大型主机存储系统,并且完全不使用大型机。这样,大型机就可以专注于处理业务关键型任务。

数据加密

IBM 提供 Java 加密扩展 (JCE) 实现,其中 JVM 名为 使用硬件的 Java 加密扩展通用加密架构 (IBMJCECCA) IBM z/OS 上的加密系统。JVM 和 Google Cloud API 端点之间的传输层安全协议 (TLS) 连接使用 JCE 和硬件加密技术,在提取、转换和加载 (ELT) 操作期间保护数据。

JCL 过程

如需使用 JCL 过程,您必须在大型机过程库 (PROCLIB) 中安装 BQSH shell 解释器。JCL 过程中的标准环境 (STDENV) 数据用于在启动 Java 应用之前设置环境变量、JVM 参数和 Java 类路径。JCL 过程使用 IBM JVMLDM86 JVM 启动器启动 JVM 和主类 com.google.cloud.bqsh.Bqsh

BQSH shell 解释器

BQSH 主类充当 shell 解释器。它会从 JCL 过程,拆分输入行,并尝试将每行解释为 命令。

Java 应用

大型机连接器使用 Java Cloud 客户端库Apache ORC 和其他开源库。它使用 IBM 专有 JZOS SDK 与 IBM z/OS 存储系统交互,并在 IBM z/OS 上的 JVM 和 Linux 上的 OpenJDK 上运行。

后续步骤