메인프레임에서 로컬로 메인프레임 데이터를 BigQuery에서 지원되는 최적화된 행 열 형식(ORC) 형식으로 트랜스코딩할 수 있습니다. 이 구성에서 Mainframe Connector는 다음 그림과 같이 IBM z/OS에서 전체 추출, 변환, 로드(ETL) 파이프라인을 관리하는 데 도움이 됩니다.
Cloud Run을 사용하여 Google Cloud에서 원격으로 메인프레임 데이터 트랜스코딩
메인프레임에서 로컬로 데이터를 트랜스코딩하는 것은 CPU 집약적인 프로세스이므로 MIPS(초당 백만 명령) 소비량이 높아집니다. 이를 방지하기 위해 다음 그림과 같이 메인프레임 데이터의 트랜스코딩을 Google Cloud의 Cloud Run 서비스에 위임할 수 있습니다. 이렇게 하면 비즈니스에 중요한 작업을 위한 메인프레임이 확보되고 MIPS 소비가 줄어듭니다.
Mainframe Connector 버전 5.13.0 이상에서는 Google Cloud에서 Mainframe Connector를 독립형 작업으로 실행할 수 있습니다. 이 기능을 사용하면 Mainframe Connector를 컨테이너화된 일괄 작업(예: Cloud Run 작업, Google Kubernetes Engine 작업 또는 Docker 컨테이너 내)으로 실행할 수 있습니다. 이 옵션을 사용하면 메인프레임에 Mainframe Connector를 로컬로 설치하지 않아도 되며, 메인프레임 큐에 추가된 순차 액세스 메서드(QSAM) 파일 파싱을 기존 추출, 변환, 로드(ETL) 워크플로에 더 쉽게 통합할 수 있습니다.
Mainframe Connector의 독립형 버전을 사용하는 경우 QSAM 파일을 Google Cloud에 로드하는 ETL 워크플로를 직접 설정해야 합니다. 자세한 내용은 독립형 모드에서 Mainframe Connector 실행을 참조하세요.
가상 테이프 라이브러리를 사용하여 Google Cloud로 이동된 메인프레임 데이터 트랜스코딩
Google Cloud로 대량의 데이터(매일 약 500GB 이상)를 전송하고 이러한 작업에 메인프레임을 사용하지 않으려면 데이터 센터에 하드웨어 기기를 배포하면 됩니다. VTL 및 10G 이더넷을 사용하여 메인프레임 스토리지 시스템에서 Cloud Storage로 직접 데이터를 전송합니다. 하드웨어 기기는 VTL을 사용하여 메인프레임 스토리지 시스템에서 직접 데이터를 수신하므로 메인프레임과 Cloud Storage 간의 데이터 전송 프로세스에서는 메인프레임을 전혀 사용하지 않으므로 비즈니스에 중요한 작업에 사용할 수 있습니다. 다음 그림과 같이 데이터 트랜스코딩은 Google Cloud의 Cloud Run 서비스에서 수행됩니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2024-12-21(UTC)"],[],[],null,["# Choose your data migration journey\n\nThis page gives you an overview of the ways in which Mainframe Connector\nsupports your data migration, and the advantages of each approach.\n\nYou can run Mainframe Connector in the following configurations based\non your requirements:\n\n- [Transcode mainframe data locally on the mainframe, and then migrate it to Google Cloud](#local-transcoding).\n- [Transcode mainframe data on Google Cloud using Cloud Run](#remote-transcoding).\n- [Transcode mainframe data on Google Cloud in standalone mode using Cloud Run](#standalone-transcoding).\n- [Transfer mainframe data to Cloud Storage using a virtual tape library (VTL), and then transcode the data on Google Cloud](#use-vtl).\n\nThe following sections discuss these configurations in detail.\n\nMove locally transcoded mainframe data to Google Cloud\n------------------------------------------------------\n\nYou can transcode mainframe data locally on the mainframe to the\n[Optimized Row Columnar (ORC)](https://orc.apache.org/) format, which is\nsupported by BigQuery. In this configuration, Mainframe Connector\nhelps you manage a complete [extract, transform, and load (ETL)](https://en.wikipedia.org/wiki/Extract,_transform,_load) pipeline entirely from [IBM z/OS](https://www.ibm.com/products/zos),\nas shown in the following figure.\nLocal transcoding\n\nFor more information, see [Move data transcoded locally on the mainframe to Google Cloud](/mainframe-connector/docs/local-transcoding).\n\nTranscode mainframe data remotely on Google Cloud using Cloud Run\n-----------------------------------------------------------------\n\nTranscoding data locally on a mainframe is a CPU-intensive process that results\nin high million instructions per second (MIPS) consumption. To avoid this, you\ncan delegate the transcoding of mainframe data to a Cloud Run service\non Google Cloud, as shown in the following figure. This frees up your mainframe\nfor business critical tasks and also reduces MIPS consumption.\nRemote transcoding\n\n\u003cbr /\u003e\n\nFor more information, see [Transcode mainframe data remotely on Google Cloud](/mainframe-connector/docs/remote-transcoding).\n\nRun Mainframe Connector in standalone mode\n------------------------------------------\n\nMainframe Connector version 5.13.0 and later supports running\nMainframe Connector as a standalone job on Google Cloud. This feature\nlets you run Mainframe Connector as a containerized batch job,\nfor example, as a Cloud Run job, Google Kubernetes Engine job, or within a\nDocker container. This option helps you avoid installing\nMainframe Connector locally on your mainframe, and makes it easier for\nyou to integrate your Mainframe queued sequential access method (QSAM) file\nparsing to existing extract, transform, and load (ETL) workflows.\n\nWhen you use the standalone version of the Mainframe Connector, you\nmust set up the ETL workflow that loads the QSAM file to Google Cloud by\nyourself. For more information, see [Run Mainframe Connector in standalone mode](/mainframe-connector/docs/standalone-mode).\n\nTranscode mainframe data moved to Google Cloud using a virtual tape library\n---------------------------------------------------------------------------\n\nIf you want to transfer very large volumes of data (around 500+ GB daily) to\nGoogle Cloud, and don't want to use your mainframe for this effort, you can\ndeploy a hardware device in your data center to transfer data directly from the\nmainframe storage system to Cloud Storage using a VTL and 10G ethernet. As\nthe hardware device receives the data directly from the mainframe storage system\nusing a VTL, the data transfer process between the mainframe and Cloud Storage\ndoesn't use the mainframe at all, thereby freeing it up for business critical\ntasks. Data transcoding is performed by a Cloud Run service on\nGoogle Cloud, as shown in the following figure.\nUsing VTL connection to move mainframe data to Google Cloud\n\nFor more information, see [Transcode mainframe data moved to Google Cloud using virtual tape library](/mainframe-connector/docs/vtl-transcoding).\n\nWhat's Next\n-----------\n\n- [Mainframe Connector architecture](/mainframe-connector/docs/architecture)\n- [Get started with Mainframe Connector](/mainframe-connector/docs/get-started)"]]
