Mainframe Connector 架構

Mainframe Connector 通常會部署為 Java 應用程式。由於應用程式是獨立的,因此您只需要安裝 IBM JRE 第 8 版IBM JRE 第 17 版,即可部署 Mainframe Connector。作業控制語言 (JCL) 程序是前端,可用於呼叫 Mainframe Connector。下圖概略說明 Mainframe Connector 架構。

Mainframe Connector 架構
Mainframe Connector 架構

將資料檔案上傳至 Cloud Storage 時,Mainframe Connector 會使用 IBM z Integrated Information Processor (zIIP) 或一般處理器 (GP),直接與 Cloud Storage API 通訊。您也可以部署遠端服務,將部分運算作業卸載至 Google Cloud

將資料檔案上傳至 Cloud Storage 後,Mainframe Connector 會將遠端程序呼叫 (RPC) 傳送至 gRPC 服務,指出檔案位置、記錄版面配置和輸出位置。gRPC 服務會從 Cloud Storage 讀取檔案、轉碼資料,然後將多部分最佳化列直欄 (ORC) 檔案寫入 Cloud Storage 輸出位置。然後,Mainframe Connector 會直接與 BigQuery API 通訊,將 ORC 檔案註冊為外部資料表,或將 ORC 檔案載入資料表。

或者,您也可以在資料中心部署硬體裝置,使用虛擬磁帶庫 (VTL),將資料直接從大型主機儲存系統轉移至 Cloud Storage。這種方法在資料傳輸至 Cloud Storage 時,不會使用 zIIP 或 GP,因為硬體裝置會使用 VTL 直接從大型主機儲存系統接收資料,完全不會用到大型主機。這樣一來,大型主機就能專注處理關鍵業務工作。

資料加密

IBM 提供 JVM 的 Java Cryptography Extension (JCE) 實作項目,稱為 Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) (Java 8Java 17),可使用 IBM z/OS 上的硬體密碼編譯系統。JVM 與 Google Cloud API 端點之間的傳輸層安全標準 (TLS) 連線會使用 JCE 和硬體加密技術,確保擷取、轉換及載入 (ELT) 作業期間的資料安全。

JCL 程序

如要使用 JCL 程序,您必須在大型主機程序庫 (PROCLIB) 中安裝 BQSH 殼層解譯器。JCL 程序中的標準環境 (STDENV) 資料用於設定環境變數、JVM 引數和 Java 類別路徑,然後啟動 Java 應用程式。JCL 程序會使用 IBM JVMLDM86 JVM 啟動器啟動 JVM 和主要類別 com.google.cloud.bqsh.Bqsh

BQSH 殼層解譯器

BQSH 主類別會做為殼層解譯器。這個程式會從 JCL 程序讀取串流輸入內容、分割輸入行,並嘗試將每一行解讀為指令。

Java 應用程式

Mainframe Connector 使用 Java Cloud 用戶端程式庫Apache ORC 和其他開放原始碼程式庫。它會使用 IBM 專屬的 JZOS SDK,與 IBM z/OS 儲存系統互動,並在 IBM z/OS 和 Linux 上的 OpenJDK 的 JVM 上執行。

後續步驟