機構會使用 IBM 大型主機執行重要的運算工作。近年來,許多依賴大型主機的公司都致力於遷移至雲端。透過 Mainframe Connector,您可以將大型主機資料移至Google Cloud ,以便將需要大量 CPU 的報表工作負載卸載至 Google Cloud。
Mainframe Connector 的主要優點
使用 Mainframe Connector 將大型主機資料移至 Google Cloud的主要好處如下:
- 簡化資料移轉:簡化大型主機資料移至Google Cloud 儲存空間服務 (例如 Cloud Storage 和 BigQuery) 的程序。
- 批次工作整合:可讓您使用工作控制語言 (JCL) 中定義的主機批次工作,提交 BigQuery 工作。從資料集或檔案讀取查詢時,分析師只需具備最基本的知識,瞭解大型主機環境,即可使用排定的工作。
- 輕鬆監控:主機作業人員不必監控不同環境,因為工作是使用 JCL 透過熟悉的排程提交。
- 降低 MIPS:Mainframe Connector 會使用 Java 虛擬機器 (JVM) 進行大部分的處理作業,盡量減少資料傳輸期間的大型主機處理器工作負載,進而降低每秒百萬指令數 (MIPS),減少相關費用。Mainframe Connector 會將大部分耗用大量處理器資源的工作,卸載至輔助處理器。如果輔助處理器負載過重,您也可以設定 Mainframe Connector,使用 Compute Engine 執行轉碼和轉換作業。如要進一步瞭解 Mainframe Connector 設定,請參閱「Mainframe Connector 設定」。
串流轉換:將佇列中的循序存取方法 (QSAM) 大型主機資料集 (與擴充二進位編碼十進位交換碼 (EBCDIC) 中的 COBOL 副本相關聯),或 ASCII UTF-8 格式的檔案轉碼為與 BigQuery 等 Google Cloud 服務相容的 ORC 格式。根據預設,Mainframe Connector 會將資料集從 US EBCDIC: Cp037 字元集轉碼為 ORC。不過,Mainframe Connector 也支援從下列區域 EBCDIC 字元集轉碼資料集:
- 法文:Cp297
- 德文:Cp1141
- 西班牙文:Cp1145
如果 IBM JVM 未包含適當的字元集,可以實作自訂字元集。
Mainframe Connector 的運作方式
透過 Mainframe Connector,您可以將大型主機上的資料移入及移出 Cloud Storage,並從 JCL 中定義的大型主機批次工作提交 BigQuery 工作。透過 Mainframe Connector,您可以將大型主機資料集直接轉碼為最佳化單欄式資料列 (ORC) 格式。
轉碼是將資訊從一種編碼表示形式轉換為另一種形式的程序,在本例中為 ORC。ORC 是一種開放原始碼資料欄導向的資料格式,在 Apache Hadoop 生態系統中被廣泛使用,BigQuery 也支援這種格式。
大型主機連線工具提供 Google Cloud SDK 指令列公用程式的子集,可讓您傳輸資料及與 Google Cloud 服務互動。透過 gsutil 和 bq 指令列公用程式的 Shell 解譯器和 JVM 實作項目,您可以在 IBM z/OS 中管理完整的擷取、載入、轉換 (ELT) 管道,同時保留現有的工作排程器。
將大型主機資料傳輸至雲端或從雲端傳輸資料時,主要挑戰之一是這項程序包含多個步驟,通常包括執行下列步驟:
- 將資料複製到檔案伺服器。
- 將檔案伺服器中的資料複製到其他位置進行處理。
- 使用資料處理堆疊將資料轉換為現代化格式。
- 將處理過的資料寫回另一個位置。
- 將處理過的資料載入資料庫或資料倉儲,以便查詢或使用資料。
下圖顯示從大型主機轉移資料至 Google Cloud時,通常會使用的多步驟程序。

透過 Mainframe Connector,您可以使用單一指令執行所有這些步驟,並將 Cloud Storage 做為中繼儲存位置。如圖所示,這樣可縮短處理大型主機資料的時間,並在資料庫或資料倉儲中提供資料。
