이 페이지에서는 Mainframe Connector의 아키텍처를 설명합니다.
Mainframe Connector는 일반적으로 Java 애플리케이션으로 배포됩니다. 애플리케이션이 자체적으로 포함되어 있으므로 Mainframe Connector를 배포하려면 IBM JRE 버전 8 이상만 설치하면 됩니다. 작업 제어 언어(JCL) 프로시져는 Mainframe Connector를 호출하는 데 사용할 수 있는 프런트엔드입니다. 다음 이미지는 Mainframe Connector 아키텍처의 개요를 보여줍니다.
Cloud Storage에 데이터 파일을 업로드할 때 Mainframe Connector는 IBM z Integrated Information Processor (zIIP) 또는 일반 프로세서(GP)를 사용하여 Cloud Storage API와 직접 통신합니다. 또한 원격 서비스를 배포하여 컴퓨팅의 일부를 Google Cloud로 오프로드할 수도 있습니다.
데이터 파일이 Cloud Storage에 업로드된 후 Mainframe Connector는 파일 위치, 레코드 레이아웃, 출력 위치를 나타내는 리모트 프로시져 콜(RPC)을 gRPC 서비스에 보냅니다. gRPC 서비스는 Cloud Storage에서 파일을 읽고, 데이터를 트랜스코딩하고, 멀티 파트로 구성된 최적화된 행 열 형식(ORC) 파일을 Cloud Storage 출력 위치에 씁니다. 그런 후 Mainframe Connector가 BigQuery API와 직접 통신하여 ORC 파일을 외부 테이블로 등록하거나 ORC 파일을 테이블에 로드합니다.
또는 가상 테이프 라이브러리(VTL)를 사용하여 데이터 센터에 하드웨어 기기를 배포하여 메인프레임 스토리지 시스템에서 Cloud Storage로 직접 데이터를 전송할 수 있습니다. 이 방식에서는 하드웨어 기기가 VTL을 사용하여 메인프레임 스토리지 시스템에서 직접 데이터를 수신하고 메인프레임을 전혀 사용하지 않으므로 Cloud Storage로 데이터를 전송할 때 zIIP나 GP를 모두 사용하지 않습니다. 따라서 비즈니스에 중요한 태스크를 위한 메인프레임이 확보됩니다.
데이터 암호화
IBM은 IBM z/OS에서 하드웨어 암호화 시스템을 사용하는 자바 암호화 확장 프로그램 공통 암호화 아키텍처(IBMJCECCA)라는 JVM으로 자바 암호화 확장 프로그램(JCE) 구현을 제공합니다. JVM과 Google Cloud API 엔드포인트 간의 전송 계층 보안(TLS) 연결은 JCE 및 하드웨어 암호화를 사용하여 추출, 변환, 로드(ELT) 작업 중에 데이터를 보호합니다.
JCL 프로시져
JCL 프로시져를 사용하려면 메인프레임 프로시져 라이브러리(PROCLIB)에 BQSH 셸 인터프리터를 설치해야 합니다. JCL 프로시져의 표준 환경(STDENV) 데이터는 Java 애플리케이션을 시작하기 전에 환경 변수, JVM 인수, Java 클래스 경로를 설정하는 데 사용됩니다. JCL 프로시져에서는 IBM JVMLDM86 JVM 런처를 사용하여 JVM 및 기본 클래스 com.google.cloud.bqsh.Bqsh를 실행합니다.
BQSH 셸 인터프리터
BQSH 기본 클래스는 셸 인터프리터 역할을 합니다. JCL 프로시져에서 스트림 입력을 읽고, 입력 줄을 분할하고, 각 줄을 명령어로 해석하려고 시도합니다.
Java 애플리케이션
Mainframe Connector는 Java Cloud 클라이언트 라이브러리, Apache ORC, 기타 오픈소스 라이브러리를 사용합니다. 이는 IBM 독점 JZOS SDK를 사용하여 IBM z/OS 스토리지 시스템과 상호작용하고 IBM z/OS의 JVM 및 Linux의 OpenJDK에서 실행됩니다.