데이터 웨어하우스 이전 개요

개요

BigQuery Data Transfer Service와 특수한 이전 에이전트를 함께 사용하면 온프레미스 데이터 웨어하우스 시스템에서 BigQuery로 데이터를 복사할 수 있습니다. 이 문서에서는 이러한 이전 과정을 간략하게 설명합니다.

데이터 웨어하우스 이전에 BigQuery Data Transfer Service를 사용하려면 로컬 데이터 웨어하우스에 연결하는 온프레미스 에이전트를 먼저 다운로드합니다. 그런 다음 BigQuery Data Transfer Service에서 전송을 구성합니다. 온프레미스 에이전트는 BigQuery Data Transfer Service와 통신하여 데이터 웨어하우스의 테이블을 BigQuery에 복사합니다. 데이터 웨어하우스에서 BigQuery로 반복적으로 이전되는 데이터 로드를 BigQuery Data Transfer Service의 웹 UI를 통해 모니터링할 수 있습니다.

다음 다이어그램은 데이터 웨어하우스와 BigQuery 사이의 전체적인 데이터 흐름을 표현한 것입니다.

위치 고려 사항

  • 데이터를 로드하기 위한 Cloud Storage 버킷을 같은 위치에 배치합니다.
    • BigQuery 데이터세트가 다중 지역 위치에 있는 경우, 로드하는 데이터가 포함된 Cloud Storage 버킷은 같은 위치의 지역이나 다중 지역 버킷에 있어야 합니다. 예를 들어, BigQuery 데이터세트가 EU에 있으면 Cloud Storage 버킷은 EU 내 지역 또는 다중 지역 버킷에 있어야 합니다.
    • 데이터세트가 지역 위치에 있는 경우, Cloud Storage 버킷은 같은 위치의 지역 버킷에 있어야 합니다. 예를 들어, 데이터세트가 도쿄 지역에 있으면 Cloud Storage 버킷은 도쿄 내 지역 버킷에 있어야 합니다.
    • 예외: 데이터세트가 US 다중 리전 위치에 있는 경우 모든 리전 내 또는 다중 리전 위치의 Cloud Storage 버킷에서 데이터를 로드할 수 있습니다.

    제한 및 한도

    • 테이블만 이전할 수 있습니다. 저장된 쿼리, 뷰, 맞춤 설정 함수, 저장된 절차 등 다른 데이터베이스 리소스는 지원되지 않습니다.
    • 데이터는 로컬 파일 시스템(온프레미스)의 폴더로 추출되므로 데이터를 저장할 여유 공간이 충분한지 확인해야 합니다.
    • 데이터 웨어하우스에서 추출된 데이터는 암호화되지 않습니다. 적절한 조치를 수행하여 로컬 폴더의 추출된 파일에 대한 액세스를 제한하고 Cloud Storage 버킷을 안전하게 보호하세요.
    • 추출 속도는 JDBC 연결에 따라 제한됩니다.

    할당량 및 한도

    데이터 웨어하우스 이전용 BigQuery Data Transfer Service는 로드 작업을 사용하여 데이터 웨어하우스 데이터를 BigQuery로 로드합니다. 데이터 웨어하우스에서 추출된 각 테이블은 로드 작업을 통해 독립적으로 BigQuery에 로드됩니다. 로드 작업에 대한 모든 BigQuery 할당량 및 한도가 적용됩니다.

    다음 단계

    이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

    다음에 대한 의견 보내기...

    도움이 필요하시나요? 지원 페이지를 방문하세요.