이 페이지에서는 Mainframe Connector, 기능, 주요 이점을 간략하게 설명합니다.
IBM 메인프레임은 조직에서 중요한 컴퓨팅 작업을 수행하는 데 사용됩니다. 최근 몇 년 동안 메인프레임을 사용하는 많은 회사들이 클라우드로의 마이그레이션을 위해 노력했습니다. Mainframe Connector를 사용하면 메인프레임 데이터를 Google Cloud로 이동하여 CPU 집약적인 보고서 워크로드를 Google Cloud로 오프로드할 수 있습니다.
Mainframe Connector의 주요 이점
다음은 Mainframe Connector를 사용하여 메인프레임 데이터를 Google Cloud로 이동할 때의 주요 이점입니다.
- 간소화된 데이터 전송: Cloud Storage 및 BigQuery와 같은 Google Cloud Storage 서비스로 메인프레임 데이터 이동을 간소화합니다.
- 일괄 작업 통합: 작업 제어 언어(JCL)에 정의된 메인프레임 일괄 작업을 사용하여 BigQuery 작업을 제출할 수 있습니다. 데이터 세트 또는 파일에서 쿼리를 읽을 때 분석가는 메인프레임 환경에 대한 최소한의 지식과 이해로 예약된 작업을 사용할 수 있습니다.
- 손쉬운 모니터링: 메인프레임 운영 담당자는 JCL을 사용하여 익숙한 일정으로 작업이 제출되므로 다른 환경을 모니터링할 필요가 없습니다.
- MIPS 감소: Mainframe Connector는 대부분의 처리에 Java 가상 머신(JVM)을 사용하여 데이터 전송 중에 메인프레임 프로세서 워크로드를 최소화하고 MIPS(초당 백만 명령)를 줄여 비용을 절감합니다. Mainframe Connector는 프로세서 집약적인 작업을 보조 프로세서로 오프로드합니다. 보조 프로세서에 부담이 발생하면 Compute Engine을 사용하여 트랜스코딩 및 변환을 수행하도록 Mainframe Connector를 구성할 수도 있습니다. Mainframe Connector 구성에 대한 자세한 내용은 Mainframe Connector 구성을 참조하세요.
스트리밍 변환: 확장 바이너리 코딩 십진수 교환 코드(EBCDIC) 또는 ASCII UTF-8 파일의 COBOL 카피북과 연관된 큐에 추가된 순차 액세스 메서드(QSAM) 메인프레임 데이터 세트를 BigQuery 등의 Google Cloud 서비스와 호환되는 ORC 형식입니다. 기본적으로 Mainframe Connector는 US EBCDIC: Cp037 문자 집합을 ORC로 트랜스코딩합니다. 하지만 Mainframe Connector는 다음 리전별 EBCDIC 문자 집합의 트랜스코딩 데이터 세트도 지원합니다.
- 프랑스어: Cp297
- 독일어: Cp1141
- 스페인어: Cp1145
IBM JVM에 적절한 문자 집합이 포함되지 않은 경우 커스텀 문자 집합을 구현할 수 있습니다.
Mainframe Connector 작동 방법
Mainframe Connector를 사용하면 메인프레임에 있는 데이터를 Cloud Storage 안팎으로 이동하고, JCL에 정의된 메인프레임 기반 일괄 작업에서 BigQuery 작업을 제출할 수 있습니다. Mainframe Connector를 사용하면 메인프레임 데이터 세트를 최적화된 행 열 형식(ORC) 형식으로 직접 트랜스코딩할 수 있습니다.
트랜스코딩은 한 가지 형식의 코딩된 표현에서 다른 형식(이 경우 ORC)으로 정보를 변환하는 프로세스입니다. ORC는 Apache Hadoop 생태계에서 널리 사용하는 오픈소스 열 기반 데이터 형식이며 BigQuery에서 지원됩니다.
Mainframe Connector는 데이터를 전송하고 Google Cloud 서비스와 상호작용할 수 있도록 Google Cloud SDK 명령줄 유틸리티의 하위 집합을 제공합니다. gsutil 및 bq 명령줄 유틸리티의 셸 인터프리터 및 JVM 기반 구현을 통해 기존 작업 스케줄러를 유지하면서 IBM z/OS에서 전체 추출, 로드, 변환(ELT) 파이프라인을 관리할 수 있습니다.
메인프레임 데이터를 클라우드에서 전송할 때의 주요 과제 중 하나는 일반적으로 다음과 같은 단계의 실행이 포함되는 다단계 프로세스라는 점입니다.
- 파일 서버로 데이터를 복사합니다.
- 처리를 위해 파일 서버에서 다른 위치로 데이터를 복사합니다.
- 데이터 처리 스택을 사용하여 데이터를 최신 형식으로 변환합니다.
- 처리된 데이터를 또 다른 위치에 다시 씁니다.
- 처리된 데이터를 쿼리하거나 사용할 수 있는 데이터베이스 또는 데이터 웨어하우스에 로드합니다.
다음 그림은 일반적으로 메인프레임에서 Google Cloud로 데이터를 전송하는 데 사용되는 여러 단계로 구성된 프로세스를 보여줍니다.
Mainframe Connector를 사용하면 Cloud Storage를 중간 스토리지 위치로 사용하여 단일 명령어로 이러한 모든 단계를 수행할 수 있습니다. 이렇게 하면 다음 그림과 같이 메인프레임 데이터를 처리하고 데이터베이스 또는 데이터 웨어하우스에서 사용할 수 있게 되는 데 걸리는 시간이 줄어듭니다.
