BI Engine 용량 예약

예약을 생성하여 BigQuery BI Engine 용량을 구매합니다. 예약이 생성될 때 확인한 프로젝트 및 리전에 예약이 연결됩니다. BI Engine은 이 용량을 사용하여 데이터를 캐시합니다. BI Engine의 최대 예약 크기에 대한 자세한 내용은 할당량 및 한도를 참고하세요.

BigQuery BI Engine 사용 요금은 프로젝트용으로 구매한 BI Engine 용량에 따라 부과됩니다. 예약 요금은 주문형 가격 책정에 따라 리전별로 GiB/시간 단위로 청구됩니다. 용량 기반 약정이 있으면 활성 약정을 기준으로 최대 100%까지 할인을 받을 수 있습니다. 자세한 내용은 용량 기반 가격 책정을 참고하세요.

예약 프로젝트: BI Engine 예약은 결제 프로젝트의 ID로 관리됩니다. 예약을 구매할 때 데이터를 쿼리하는 데 사용할 결제 프로젝트 ID와 리전을 지정해야 합니다. 이는 데이터 세트가 포함된 프로젝트와 반드시 동일하지는 않습니다.

필요한 역할

예약을 만들고 삭제하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 리소스 관리자(roles/bigquery.resourceAdmin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

예약 만들기

주문형 BI Engine 용량을 예약하려면 다음 단계를 수행합니다.

콘솔

1. BigQuery 페이지의 관리에서 BI Engine 페이지로 이동합니다.

   BI Engine으로 이동

   참고: BigQuery Reservation API를 사용 설정하라는 메시지가 표시되면 사용 설정을 클릭합니다.

2. 예약 만들기를 클릭합니다.

3. 1단계의 예약 생성 페이지에서 다음을 수행합니다.

   • 프로젝트 이름을 확인합니다.
   • 위치를 선택합니다. 위치는 쿼리 중인 데이터 세트 위치와 일치해야 합니다.

   • 예약하려는 메모리 용량에 맞게 슬라이더를 조정합니다. 다음 예시에서는 용량을 2GB로 설정합니다. 현재 최댓값은 250GB입니다. 프로젝트의 최대 예약 용량 상향 조정을 요청할 수 있습니다. 대부분의 리전에서 예약을 상향 조정할 수 있으며 처리하는 데 3일에서 일주일까지 걸릴 수 있습니다.

     

4. 다음을 클릭합니다.

5. 선호 테이블(선택사항) 선호 테이블을 사용하면 BI Engine 가속을 지정된 테이블 집합으로 제한할 수 있습니다. 다른 모든 테이블은 일반 BigQuery 슬롯을 사용합니다.

   테이블 ID 필드에서 PROJECT.DATASET.TABLE 패턴을 사용하여 가속화하려는 테이블을 지정합니다.

   다음을 바꿉니다.

   • PROJECT: Google Cloud 프로젝트 ID
   • DATASET: 데이터 세트
   • TABLE: 가속화하려는 테이블

6. 다음을 클릭합니다.

7. 3단계에서는 예약 세부정보를 검토한 후 만들기를 클릭합니다.

예약을 확인하면 세부정보가 예약 페이지에 표시됩니다.

SQL

BI Engine 예약을 만들거나 수정하려면 ALTER BI_CAPACITY SET OPTIONS DDL 문을 사용합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 문을 입력합니다.

   ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
   SET OPTIONS (
     size_gb = VALUE,
     preferred_tables =
       ['TABLE_PROJECT_ID.DATASET.TABLE1',
       'TABLE_PROJECT_ID.DATASET.TABLE2']);

   다음을 바꿉니다.

   • PROJECT_ID: BI Engine 가속의 이점을 활용할 프로젝트의 선택적 ID입니다. 생략하면 기본 프로젝트가 사용됩니다.
   • LOCATION_ID: 데이터를 캐시해야 하는 위치로, region- 프리픽스가 붙습니다. 예시: region-us, region-us-central1.
   • VALUE: BI Engine에 대한 INT64 예약 크기(GB)입니다(1~250GB). 프로젝트의 최대 예약 용량 상향 조정을 요청할 수 있습니다. 대부분의 리전에서 예약을 상향 조정할 수 있으며 처리하는 데 3일에서 일주일까지 걸릴 수 있습니다. VALUE를 설정하면 기존 값을 대체합니다(있는 경우). NULL로 설정하면 해당 옵션의 값이 삭제됩니다.
   • TABLE_PROJECT_ID.DATASET.TABLE: 가속화를 적용할 참조 테이블의 선택적 목록입니다. 형식은 TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE입니다. 프로젝트를 생략하면 기본 프로젝트가 사용됩니다.

3. 실행을 클릭합니다.

쿼리를 실행하는 방법에 대한 자세한 내용은 대화형 쿼리 실행을 참조하세요.

bq

bq update 명령어를 사용하고 쿼리 매개변수로 데이터 정의 언어(DDL) 문을 입력합니다.

bq --project_id=PROJECT_ID update \
    --bi_reservation_size=SIZE \
    --location=LOCATION \
    --reservation

다음을 바꿉니다.

• PROJECT_ID: 프로젝트의 ID입니다.
• SIZE: 예약 메모리 용량(GB)입니다.(1~250GB) 프로젝트의 최대 예약 용량 상향 조정을 요청할 수 있습니다. 대부분의 리전에서 예약을 상향 조정할 수 있으며 처리하는 데 3일에서 일주일까지 걸릴 수 있습니다.
• LOCATION: 쿼리하려는 데이터 세트의 위치

용량 예측 및 측정

BI Engine 예약의 용량 요구사항을 예측하려면 다음 단계를 따르세요.

1. TOTAL_LOGICAL_BYTES 뷰를 보고 테이블의 논리적 크기를 확인하고 초기 BI Engine 예약에 사용합니다. 예를 들면 다음과 같습니다.

   SELECT
     SUM(TOTAL_LOGICAL_BYTES) / 1024.0 / 1024.0 / 1024.0 AS logical_size_gb
   FROM
     `region-us.INFORMATION_SCHEMA.TABLE_STORAGE`
   WHERE
     TABLE_NAME IN UNNEST(["Table1", "Table2"]);

   예를 들어 총 200GiB 데이터가 포함된 테이블 집합에 대한 쿼리의 경우 200GiB BI Engine 예약으로 시작하는 것이 좋습니다. 사용 가능한 필드나 파티션의 하위 집합만 사용하는 보다 선택적인 쿼리는 더 작은 예약 크기로 시작할 수 있습니다.

2. 최적화가 필요하고 BI Engine 예약과 동일한 프로젝트 및 리전에서 생성된 모든 쿼리를 실행합니다. 목표는 최적화해야 하는 워크로드를 근사화하는 것입니다. 부하가 증가하면 쿼리를 처리하기 위해 더 많은 메모리가 필요합니다. 쿼리가 수신되면 데이터가 BI Engine에 로드됩니다.

3. 사용된 바이트 수(Cloud Monitoring bigquerybiengine 측정항목의 reservation/used_bytes)와 BI Engine RAM 예약을 비교합니다.

4. 결과에 따라 예약 용량을 조정합니다. 많은 사용 사례에서 더 작은 예약을 사용하면 대부분의 쿼리를 가속화하여 비용과 리소스를 절약할 수 있습니다. BI Engine 모니터링에 대한 자세한 내용은 BI Engine 모니터링을 참조하세요.

BI Engine 예약 크기에 영향을 미치는 요소는 다음과 같습니다.

• BI Engine은 자주 액세스되는 열과 쿼리를 처리하는 데 필요한 행만 캐시합니다.
• 예약이 소진되면 BI Engine은 새 쿼리에 사용할 용량을 확보하기 위해 가장 오래 전에 사용된 데이터를 오프로드합니다.
• 여러 계산 집약적인 쿼리가 동일한 데이터 세트를 사용하는 경우 BI Engine은 데이터의 추가 사본을 로드하여 응답 시간을 재분산하고 최적화합니다.

예약 수정

기존 예약을 수정하려면 다음 단계를 완료합니다.

콘솔

기존 예약에서 가속화를 위한 테이블 집합을 지정하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. BigQuery 탐색 메뉴에서 BI Engine을 클릭합니다.

   프로젝트가 선호 테이블에 대해 구성된 경우 선호 테이블 열에 테이블 집합이 표시됩니다.

   

3. 수정하려는 예약 행에서 작업 열의 아이콘을 클릭한 다음 수정을 선택합니다.

4. 용량(GiB) 슬라이더를 예약할 메모리 용량으로 조정합니다. 다음을 클릭합니다.

5. 선호 테이블: 기존 예약에서 가속화를 위한 테이블 집합을 지정하려면 테이블 ID 필드에서 PROJECT.DATASET.TABLE 패턴을 사용하여 가속화하려는 테이블을 지정합니다.

   다음을 바꿉니다.

   • PROJECT: Google Cloud 프로젝트 ID
   • DATASET: 데이터 세트
   • TABLE: 가속화하려는 테이블

   변경사항이 적용되는 데는 최대 10초가 소요될 수 있습니다. 선호 테이블 목록의 테이블만 BI Engine 가속을 사용할 수 있습니다.

   다음을 클릭합니다.

6. 수정된 예약을 확인합니다. 동의하면 업데이트를 클릭합니다.

SQL

ALTER BI_CAPACITY SET OPTIONS DDL 문을 사용하여 BI Engine 예약을 만들거나 수정할 수 있습니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 문을 입력합니다.

   ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
   SET OPTIONS (
     size_gb = VALUE,
     preferred_tables =
       [`TABLE_PROJECT_ID.DATASET.TABLE1`,
       `TABLE_PROJECT_ID.DATASET.TABLE2`]);

   다음을 바꿉니다.

   • PROJECT_ID: BI Engine 가속의 이점을 활용할 프로젝트의 선택적 ID입니다. 생략하면 기본 프로젝트가 사용됩니다.
   • LOCATION_ID: 데이터를 캐시해야 하는 위치로, region- 프리픽스가 붙습니다. 예시: region-us, region-us-central1.
   • VALUE: BI Engine에 대한 INT64 예약 크기(GB)입니다(1~250GB). 프로젝트의 최대 예약 용량 상향 조정을 요청할 수 있습니다. 대부분의 리전에서 예약을 상향 조정할 수 있으며 처리하는 데 3일에서 일주일까지 걸릴 수 있습니다. VALUE를 설정하면 기존 값을 대체합니다(있는 경우). NULL로 설정하면 해당 옵션의 값이 삭제됩니다.
   • TABLE_PROJECT_ID.DATASET.TABLE: 가속화를 적용할 선호 테이블의 선택적 목록입니다. 형식은 TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE입니다. 프로젝트를 생략하면 기본 프로젝트가 사용됩니다.

3. 실행을 클릭합니다.

쿼리를 실행하는 방법에 대한 자세한 내용은 대화형 쿼리 실행을 참조하세요.

예약 삭제

용량 예약을 삭제하려면 다음 단계를 수행합니다.

콘솔

1. BigQuery 페이지의 관리에서 BI Engine 페이지로 이동합니다.

   BI Engine으로 이동

2. 예약 섹션에서 예약을 찾습니다.

3. 작업 열에서 예약 오른쪽의 아이콘을 클릭하고 삭제를 선택합니다.

4. 예약 삭제? 대화상자에서 삭제를 입력하고 DELETE를 클릭합니다.

SQL

BI Engine 용량의 옵션을 설정합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 문을 입력합니다.

   ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
   SET OPTIONS (
     size_gb = 0);

   다음을 바꿉니다.

   • PROJECT_ID: BI Engine 가속의 이점을 활용할 프로젝트의 선택적 ID입니다. 생략하면 기본 프로젝트가 사용됩니다.
   • LOCATION_ID: 데이터를 캐시해야 하는 위치로, region- 프리픽스가 붙습니다. 예시: region-us, region-us-central1.

   프로젝트에서 모든 용량 예약을 삭제하면 해당 프로젝트에 대해 BI Engine이 비활성화됩니다.

3. 실행을 클릭합니다.

쿼리를 실행하는 방법에 대한 자세한 내용은 대화형 쿼리 실행을 참조하세요.

bq

bq update 명령어를 사용하고 쿼리 매개변수로 DDL 문을 입력합니다.

bq --project_id="PROJECT_ID" \
update --reservation
    --bi_reservation_size=0 \
    --location=LOCATION

다음을 바꿉니다.

• PROJECT_ID: 프로젝트의 ID
• LOCATION: 쿼리하려는 데이터 세트의 위치

BI Engine 정보 확인

INFORMATION_SCHEMA 테이블을 쿼리하여 BI Engine 용량에 대한 정보를 가져올 수 있습니다.

예약 상태 확인

선호 테이블 집합을 포함하여 예약 상태를 확인하려면 SQL 쿼리를 사용하여 INFORMATION_SCHEMA.BI_CAPACITIES 뷰를 확인합니다. 예를 들면 다음과 같습니다.

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITIES`;

Google Cloud 콘솔에서 이 SQL 쿼리 결과는 다음과 유사합니다.

예약 변경사항 보기

특정 예약의 변경 기록을 보려면 SQL 쿼리를 사용하여 INFORMATION_SCHEMA.BI_CAPACITY_CHANGES 뷰를 사용합니다. 예를 들면 다음과 같습니다.

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITY_CHANGES`
ORDER BY
  change_timestamp DESC
LIMIT 3;

Google Cloud 콘솔에서 이 SQL 쿼리 결과는 다음과 유사합니다.

다음 단계

• BI Engine에 대해 자세히 알아보기
• BI Engine 가격 책정에 대해 알아보기
• Looker Studio로 데이터 분석하기
• BI Engine 모니터링