BI Engine 모니터링

BigQuery BI Engine은 Google Cloud 서비스와 호환되어 BI Engine 사용을 모니터링하고 문제를 해결하는 데 도움이 됩니다.

Cloud Monitoring

BigQuery BI Engine은 Cloud Monitoring과 통합되므로 집계된 BI Engine 사용을 모니터링하고 알림을 구성할 수 있습니다. Monitoring을 사용하여 BI Engine 측정항목에 대한 대시보드를 만드는 자세한 방법은 Monitoring 문서의 차트 만들기를 참조하세요.

BigQuery BI Engine에는 다음과 같은 측정항목이 제공됩니다.

리소스 항목 세부정보
BigQuery 프로젝트 예약 총 바이트 하나의 Google Cloud 프로젝트에 할당된 총 용량
BigQuery 프로젝트 예약 사용된 바이트 하나의 Google Cloud 프로젝트에 사용된 총 용량
BigQuery 프로젝트 BI Engine 상위 테이블 캐시 바이트 테이블당 캐시 사용량: 이 측정항목은 리전 보고서 사용량당 상위 N개 테이블을 표시합니다.

Looker Studio를 사용할 경우 BI Engine은 다음 측정항목도 제공합니다.

리소스 항목 세부정보
BigQuery BI Engine 모델 진행 중인 요청 모델에 대한 동시 요청 수(샘플 기간 내 최댓값)
BigQuery BI Engine 모델 요청 수 모델에 실행한 총 요청 수
BigQuery BI Engine 모델 요청 실행 시간 쿼리 실행 지연 시간 중앙값

Cloud Monitoring을 사용하여 BI Engine에서 캐시된 Looker Studio 데이터 소스의 트래픽을 볼 수 있습니다. Cloud Monitoring 위젯에서 BI Engine의 측정항목을 볼 때 모델 ID가 측정항목의 측정기준으로 표시됩니다. BigQuery BI Engine 모델의 모델 ID를 찾으려면 웹브라우저에서 Looker Studio 모델을 엽니다. 모델 ID는 URL에서 datasources/ 다음에 오는 부분입니다. 예를 들면 https://lookerstudio.google.com/c/u/0/datasources/<model_id>입니다.

사용 가능한 Google Cloud 측정항목의 전체 목록은 Google Cloud 측정항목을 참조하세요.

Looker Studio BigQuery 기반 통합은 모델별 측정항목을 제공하지 않습니다. 대신 BigQuery API 모니터링을 사용하여 INFORMATION_SCHEMA 테이블에 데이터 소스와 보고서 ID를 노출합니다.

BI Engine의 쿼리 통계

이 섹션에서는 BI Engine 사용을 모니터링, 진단, 문제 해결하는 데 도움이 되는 쿼리 통계를 찾는 방법을 설명합니다.

BI Engine 가속 모드

BI Engine 가속을 사용 설정하면 다음 네 가지 모드 중 하나에서 쿼리를 실행할 수 있습니다.


BI_ENGINE_DISABLED
 BI Engine이 가속을 사용 중지했습니다. biEngineReasons는 좀 더 자세한 이유를 지정합니다. 쿼리는 BigQuery 실행 엔진을 사용하여 실행되었습니다. 

PARTIAL_INPUT
 BI Engine을 사용하여 쿼리 입력의 일부를 가속화했습니다. 쿼리 최적화 및 가속에 설명된 대로 쿼리 계획은 일반적으로 여러 입력 단계로 나뉩니다. BI Engine은 일반적으로 대시보드에 사용되는 일반적인 유형의 서브 쿼리 패턴을 지원합니다. 쿼리가 여러 입력 단계로 구성된 경우 그중 일부만 지원되는 사용 사례에 포함되고, BI Engine이 가속 없이 일반 BigQuery 엔진을 사용해서 지원되지 않는 단계를 실행합니다. 이 경우 BI Engine은 PARTIAL 가속 코드를 반환하고 biEngineReasons를 사용하여 다른 서브 쿼리를 가속화하지 않는 이유를 입력합니다. 

 FULL_INPUT
BI Engine을 사용하여 쿼리의 모든 입력 단계를 가속화했습니다. 

 FULL_QUERY
BI Engine을 사용하여 전체 쿼리를 가속화했습니다.

BigQuery API 작업 통계

BI Engine에 대한 자세한 통계는 BigQuery API를 통해 확인할 수 있습니다.

BI Engine 가속 쿼리와 관련된 통계를 가져오려면 다음 bq 명령줄 도구 명령어를 실행합니다.

bq show --format=prettyjson -j job_id

프로젝트가 BI Engine 가속에 사용 설정된 경우 출력에 새 필드 biEngineStatistics가 생성됩니다. 다음은 샘플 작업 보고서입니다.

 "statistics": {
    "creationTime": "1602175128902",
    "endTime": "1602175130700",
    "query": {
      "biEngineStatistics": {
        "biEngineMode": "DISABLED",
        "biEngineReasons": [
          {
            "code": "UNSUPPORTED_SQL_TEXT",
            "message": "Detected unsupported join type"
          }
        ]
      },

BiEngineStatistics 필드에 대한 자세한 내용은 작업 참조를 확인하세요.

BigQuery INFORMATION_SCHEMA 통계

BI Engine 가속 통계는 BigQuery INFORMATION_SCHEMA 뷰에 bi_engine_statistics 열 INFORMATION_SCHEMA.JOBS_BY_* 뷰의 일부로 포함됩니다. 예를 들어 이 쿼리는 지난 24시간 동안의 모든 현재 프로젝트 작업에 대한 bi_engine_statistics를 반환합니다.

SELECT
  creation_time,
  job_id,
  bi_engine_statistics
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
  AND CURRENT_TIMESTAMP()
  AND job_type = "QUERY"

INFORMATION_SCHEMA 뷰에서 project-id, region, views의 리전성을 지정하려면 다음 형식을 사용하세요. 

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW

Cloud Logging

Google Cloud 콘솔의 Cloud Logging 페이지에서 BI Engine에 대한 로그 정보를 볼 수 있습니다. BI Engine에 대한 로그 정보를 보는 방법은 데이터를 쿼리하는 도구에 따라 다릅니다.

  • Looker Studio 기반 통합이 사용 설정되지 않은 Looker Studio 쿼리의 경우: protoPayload.serviceName="bigquerybiengine.googleapis.com" 페이로드로 Cloud Logging 페이지에서 로그 정보를 볼 수 있습니다.
  • 다른 모든 트래픽의 경우: protoPayload.serviceName="bigquery.googleapis.com"의 페이로드로 Cloud Logging 페이지에서 로그 정보를 볼 수 있습니다

다음 단계