BigQuery Omni란 무엇인가요?

BigQuery Omni를 사용하면 Amazon S3 또는 Azure blob storage에 저장된 데이터에 대해 BigQuery 분석을 실행할 수 있습니다.

많은 조직들이 데이터를 퍼블릭 클라우드에 저장하고 있습니다. 하지만 모든 데이터에서 유용한 정보를 얻는 것이 어렵기 때문에 이러한 데이터가 결국 고립되는 경우가 많습니다. 저렴하고, 빠르고, 분산된 데이터 거버넌스에 따른 추가 오버헤드를 일으키지 않는 멀티 클라우드 데이터 도구를 사용해서 데이터를 분석할 수 있어야 합니다. BigQuery Omni를 사용하면 통합된 인터페이스를 통해 이러한 문제를 줄일 수 있습니다.

BigQuery Omni는 데이터가 있는 위치에서 BigQuery 분석 엔진을 지원합니다. 이를 통해 데이터를 이동하거나 복사할 필요 없이 데이터에 액세스하고 데이터를 분석할 수 있습니다. 또한 교차 클라우드 전송을 사용하여 클라우드 간 데이터 이동으로 클라우드 간 데이터를 조합할 수 있습니다.

BigQuery Omni는 데이터가 있는 위치에서 데이터를 분석하는 기능과 필요에 따라 데이터를 복제할 수 있는 유연성이 포함된 클라우드 간 분석 솔루션을 제공합니다.

작동 방식

BigQuery 아키텍처는 스토리지에서 컴퓨팅을 분리하고 필요에 따라 대용량 워크로드를 처리하기 위해 BigQuery 수평 확장을 허용합니다. BigQuery Omni는 다른 클라우드에서 BigQuery 쿼리 엔진을 실행하여 이 아키텍처를 확장합니다. 그 결과 데이터를 BigQuery 스토리지로 물리적으로 이동할 필요가 없습니다. 처리 작업은 데이터가 이미 있는 위치에서 수행됩니다.

BigQuery Omni 아키텍처

Google Cloud Console에 표시하는 것과 같이 보안 연결을 통해 쿼리 결과를 Google Cloud로 반환할 수 있습니다. 또는 결과를 Amazon S3 스토리지 또는 Azure blob 스토리지에 직접 기록할 수 있습니다. 이 경우 쿼리 결과에 대한 클라우드 간 이동이 발생하지 않습니다.

BigQuery Omni는 표준 AWS IAM 역할 또는 Azure Active Directory 원칙을 사용하여 구독 데이터에 액세스합니다. BigQuery Omni에 읽기 또는 쓰기 액세스를 위임하고 언제든지 액세스 권한을 취소할 수 있습니다.

Google과 AWS 또는 Azure 사이의 데이터 흐름

다음 이미지는 SELECT 문에서 쿼리의 데이터 흐름을 보여줍니다. 이는 DDL 문 CREATE EXTERNAL TABLE에도 적용됩니다.

Google과 AWS 또는 Azure 사이의 쿼리 데이터 흐름

단계 Google Cloud AWS 또는 Azure
1 BigQuery 제어 영역이 Cloud Console 또는 BigQuery CLI/API를 통해 고객의 쿼리 작업을 수신합니다.
2 BigQuery 제어 영역이 처리를 위해 쿼리 작업을 BigQuery 데이터 영역(AWS/Azure)으로 전송합니다.
3 BigQuery 데이터 영역이 VPN 연결을 통해 제어 영역의 쿼리를 수신합니다.
4 BigQuery 데이터 영역은 고객 소유 스토리지 버킷(AWS S3 또는 Azure Blob storage)에서 테이블 데이터를 읽습니다.
5 BigQuery 데이터 영역이 테이블 데이터에서 쿼리 작업을 실행합니다. 일부 AWS 또는 Azure 리전에서 테이블 데이터 처리가 수행됩니다.
6 VPN 연결을 통해 쿼리 결과(최대 2MB)가 데이터 영역에서 제어 영역으로 전송됩니다.
7 BigQuery 제어 영역이 쿼리 작업에 대한 응답으로 고객에게 표시할 쿼리 작업 결과를 수신합니다. 이 데이터는 일시적으로 저장됩니다(최대 24시간).
8 쿼리 결과가 사용자에게 반환됩니다.

다음은 내보내기 쿼리용 데이터 흐름을 설명하는 이미지입니다. EXPORT DATA

Google과 AWS 또는 Azure 사이의 내보내기 쿼리 데이터 흐름

단계 Google Cloud AWS 또는 Azure
1 BigQuery 제어 영역이 Cloud Console 또는 BigQuery CLI/API를 통해 고객의 내보내기 쿼리 작업을 수신합니다. 쿼리에는 고객 소유 스토리지 버킷(AWS S3 또는 Azure Blob 스토리지)의 쿼리 결과에 대한 대상 경로가 포함됩니다.
2 BigQuery 제어 영역이 처리를 위해 내보내기 쿼리 작업을 BigQuery 데이터 영역(AWS/Azure)으로 전송합니다.
3 BigQuery 데이터 영역이 VPN 연결을 통해 제어 영역의 내보내기 쿼리를 수신합니다.
4 BigQuery 데이터 영역은 고객 소유 스토리지 버킷(AWS S3 또는 Azure Blob storage)에서 테이블 데이터를 읽습니다.
5 BigQuery 데이터 영역이 테이블 데이터에서 쿼리 작업을 실행합니다. 일부 AWS 또는 Azure 리전에서 테이블 데이터 처리가 수행됩니다.
6 BigQuery가 쿼리 결과를 고객 소유 스토리지 버킷(AWS S3 또는 Azure Blob Storage)의 지정된 대상 경로에 기록합니다.

BigQuery Omni의 이점

성능. 데이터를 클라우드 간에 복사하지 않고 데이터가 있는 리전과 동일한 리전에서 쿼리가 실행되어 더욱 빠르게 유용한 정보를 얻을 수 있습니다.

비용. 데이터가 이동되지 않으므로 네트워크 이그레스 비용을 절약할 수 있습니다. Google에서 관리되는 클러스터에서 쿼리가 실행되기 때문에 BigQuery Omni 분석과 관련된 AWS 또는 Azure 계정에 추가 비용이 발생하지 않습니다. BigQuery 가격 책정 모델에 따라 쿼리 실행에 대해서만 비용이 청구됩니다.

보안 및 데이터 거버넌스. 자체 AWS 또는 Azure 구독으로 데이터를 관리합니다. 퍼블릭 클라우드 바깥으로 원시 데이터를 이동하거나 복사할 필요가 없습니다. 모든 계산은 데이터와 동일한 리전 내에서 실행되는 BigQuery 멀티 테넌트 서비스에서 발생합니다.

서버리스 아키텍처. 나머지 BigQuery와 마찬가지로 BigQuery Omni는 서버리스 제품입니다. Google은 BigQuery Omni를 실행하는 클러스터를 배포하고 관리합니다. 리소스를 프로비저닝하거나 클러스터를 관리할 필요가 없습니다.

관리 용이성. BigQuery Omni는 Google Cloud를 통해 통합된 관리 인터페이스를 제공합니다. BigQuery Omni는 기존 Google Cloud 계정 및 BigQuery 프로젝트를 사용할 수 있습니다. Cloud Console에서 표준 SQL 쿼리를 작성하여 AWS 또는 Azure에서 데이터를 쿼리하고 Cloud Console에 표시된 결과를 확인할 수 있습니다.

교차 클라우드 전송. S3 버킷 및 Azure blob 스토리지에서 기본 BigQuery 테이블로 데이터를 로드할 수 있습니다. 자세한 내용은 교차 클라우드 전송(AWS)교차 클라우드 전송(Azure)을 참조하세요.

제한사항

BigQuery Omni의 제한사항은 다음과 같습니다.

  • 주문형 가격 책정이 지원되지 않습니다. 자세한 내용은 이 문서에서 가격 책정을 참조하세요.
  • BigQuery Omni에서는 표준 테이블을 만들 수 없습니다. BigQuery Omni는 외부 테이블만 지원합니다.
  • 외부 테이블의 모든 제한사항이 BigQuery Omni 외부 테이블에 적용됩니다.
  • 대화형 쿼리의 최대 결과 크기는 2MB입니다.
  • OBJECT_PRIVILEGES, STREAMING_TIMELINE_BY_*, TABLE_SNAPSHOTS BigQuery INFORMATION_SCHEMA 보기는 BigQuery Omni 테이블에 제공되지 않습니다.
  • 다른 INFORMATION_SCHEMA 테이블 및 aws-us-east-1 또는 azure-eastus2의 다른 외부 테이블과의 조인이 지원되지 않습니다.
  • BigQuery Omni 외부 테이블에 대한 구체화된 뷰가 지원되지 않습니다.
  • 다음 SQL 문이 지원되지 않습니다.

    • BigQuery ML 문
    • BigQuery에서 관리되는 데이터를 필요로 하는 데이터 정의 언어(DDL) 문. 예를 들어 CREATE EXTERNAL TABLE, CREATE SCHEMA, CREATE RESERVATION이 지원되지만 CREATE MATERIALIZED VIEW가 지원되지 않습니다.
    • 데이터 조작 언어(DML) 문
  • 예약된 쿼리는 API 또는 CLI를 통해서만 지원됩니다.

  • BigQuery Omni의 쿼리에는 대상 테이블 옵션이 사용 중지되어 있습니다. EXPORT개의 쿼리만 허용됩니다.

  • BigQuery Storage APIBigQuery Omni 리전에서 사용할 수 없습니다.

가격 책정

BigQuery Omni는 쿼리에 대한 비용을 예측할 수 있는 정액제를 제공합니다. 정액제를 사용 설정하려면 BigQuery 예약을 사용하여 BigQuery Omni 리전 중 하나에서 슬롯을 구매하세요.

가격 책정 정보는 BigQuery Omni 가격 책정을 참조하세요.

위치

BigQuery Omni는 쿼리 중인 테이블이 포함된 데이터 세트와 동일한 위치에 있는 쿼리를 처리합니다. 데이터 세트를 만든 후에는 이 위치를 변경할 수 없습니다. 데이터는 자체 AWS 또는 Azure 계정 내에 있습니다.

지원되는 리전

리전 설명 리전 이름
AWS
AWS - 미국 동부(북 버지니아) aws-us-east-1
Azure
Azure - 미국 동부 2 azure-eastus2

다음 단계