Mainframe Connector 架构

本页介绍了 Mainframe Connector 的架构。

Mainframe Connector 通常部署为 Java 应用。由于该应用是自包含的,因此您只需安装 IBM JRE 8 版或更高版本即可部署大型机连接器。作业控制语言 (JCL) 过程是您可以用来调用大型机连接器的前端。下图概述了大型机连接器架构。

Mainframe Connector 架构
Mainframe Connector 架构

将数据文件上传到 Cloud Storage 时,Mainframe Connector 会使用 IBM z 集成信息处理器 (zIIP) 或通用处理器 (GP) 直接与 Cloud Storage API 通信。您还可以部署远程服务,将部分计算工作分流到 Google Cloud

将数据文件上传到 Cloud Storage 后,Mainframe Connector 会向 gRPC 服务发送远程过程调用 (RPC),指明文件的位置、记录布局和输出位置。gRPC 服务会从 Cloud Storage 读取文件、转码数据,并将多部分优化行列格 (ORC) 文件写入 Cloud Storage 输出位置。然后,大型机连接器会直接与 BigQuery API 通信,以将 ORC 文件注册为外部表或将 ORC 文件加载到表中。

或者,您也可以在数据中心部署硬件设备,以便使用虚拟磁带库 (VTL) 将数据直接从大型机存储系统传输到 Cloud Storage。在将数据传输到 Cloud Storage 期间,此方法不会使用 zIIP 或 GP,因为硬件设备会使用 VTL 直接从大型机存储系统接收数据,而不会使用大型机。这样,大型主机就可以专注于处理业务关键型任务。

数据加密

IBM 为 JVM 提供了一个名为 Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA)Java Cryptography Extension (JCE) 实现,该实现使用 IBM z/OS 上的硬件加密系统。JVM 与 Google Cloud API 端点之间的传输层安全 (TLS) 连接使用 JCE 和硬件加密技术,在提取、转换和加载 (ELT) 操作期间保护数据。

JCL 过程

如需使用 JCL 过程,您必须在大型机过程库 (PROCLIB) 中安装 BQSH shell 解释器。JCL 过程中的标准环境 (STDENV) 数据用于在启动 Java 应用之前设置环境变量、JVM 参数和 Java 类路径。JCL 过程使用 IBM JVMLDM86 JVM 启动器启动 JVM 和主要类 com.google.cloud.bqsh.Bqsh

BQSH shell 解释器

BQSH 主类充当 shell 解释器。它会从 JCL 过程读取流输入,拆分输入行,并尝试将每行解释为命令。

Java 应用

大型机连接器使用 Java Cloud 客户端库Apache ORC 和其他开源库。它使用 IBM 专有 JZOS SDK 与 IBM z/OS 存储系统交互,并在 IBM z/OS 上的 JVM 和 Linux 上的 OpenJDK 上运行。

后续步骤