BI Engine 모니터링
BigQuery BI Engine은 Google Cloud 서비스와 호환되어 BI Engine 사용을 모니터링하고 문제를 해결하는 데 도움이 됩니다.
Cloud Monitoring
BigQuery BI Engine은 Cloud Monitoring과 통합되므로 집계된 BI Engine 사용을 모니터링하고 알림을 구성할 수 있습니다. Monitoring을 사용하여 BI Engine 측정항목에 대한 대시보드를 만드는 자세한 방법은 Monitoring 문서의 차트 만들기를 참조하세요.
BigQuery BI Engine에는 다음과 같은 측정항목이 제공됩니다.
리소스 | 항목 | 세부정보 |
---|---|---|
BigQuery 프로젝트 | 예약 총 바이트 | 하나의 Google Cloud 프로젝트에 할당된 총 용량 |
BigQuery 프로젝트 | 예약 사용된 바이트 | 하나의 Google Cloud 프로젝트에 사용된 총 용량 |
BigQuery 프로젝트 | BI Engine 상위 테이블 캐시 바이트 | 테이블당 캐시 사용량: 이 측정항목은 리전 보고서 사용량당 상위 N개 테이블을 표시합니다. |
Looker Studio 인터페이스를 사용할 때 BI Engine은 다음 측정항목도 제공합니다.
리소스 | 항목 | 세부정보 |
---|---|---|
BigQuery BI Engine 모델 | 진행 중인 요청 | 모델에 대한 동시 요청 수(샘플 기간 내 최댓값) |
BigQuery BI Engine 모델 | 요청 수 | 모델에 실행한 총 요청 수 |
BigQuery BI Engine 모델 | 요청 실행 시간 | 쿼리 실행 지연 시간 중앙값 |
Cloud Monitoring을 사용하여 BI Engine에서 캐시된 Looker Studio 데이터 소스의 트래픽을 볼 수 있습니다. Cloud Monitoring 위젯에서 BI Engine의 측정항목을 볼 때 모델 ID가 측정항목의 측정기준으로 표시됩니다. BigQuery BI Engine 모델의 모델 ID를 찾으려면 웹브라우저에서 Looker Studio 모델을 엽니다. 모델 ID는 URL에서 datasources/
다음에 오는 부분입니다. 예를 들면 https://lookerstudio.google.com/c/u/0/datasources/<model_id>
입니다.
사용 가능한 Google Cloud 측정항목의 전체 목록은 Google Cloud 측정항목을 참조하세요.
BI Engine 쿼리 통계
이 섹션에서는 BI Engine 사용을 모니터링, 진단, 해결하는 데 도움이 되는 쿼리 통계를 찾는 방법을 설명합니다.
BI Engine 모드
BI Engine 가속을 사용 설정하면 다음 세 가지 모드 중 하나에서 쿼리를 실행할 수 있습니다.
DISABLED |
BI Engine이 가속을 사용 중지했습니다.
biEngineReasons 는 좀 더 자세한 이유를 지정합니다. 쿼리는 BigQuery 실행 엔진을 사용하여 실행되었습니다. |
PARTIAL |
BI Engine을 사용하여 쿼리의 일부를 가속화했습니다.
쿼리 최적화 및 가속에 설명된 대로 쿼리 계획은 일반적으로 여러 입력 단계로 나뉩니다. BI Engine은 일반적으로 대시보드에 사용되는 일반적인 유형의 서브 쿼리 패턴을 지원합니다. 쿼리가 여러 사용 스테이지로 구성되며, 이러한 스테이지 중 몇 개만 지원되는 사용 사례에 포함되는 경우 BI Engine은 가속 없이 일반 BigQuery 엔진을 사용하여 지원되지 않는 스테이지를 실행합니다. 이 경우 BI Engine은 PARTIAL 가속 코드를 반환하고 biEngineReasons 를 사용하여 다른 서브 쿼리를 가속화하지 않는 이유를 입력합니다. |
FULL |
BI Engine을 사용해 쿼리의 모든 입력 단계를 가속화했습니다. |
BigQuery API 작업 통계
BI Engine에 대한 자세한 통계는 BigQuery API를 통해 확인할 수 있습니다.
BI Engine 가속 쿼리와 관련된 통계를 가져오려면 다음 bq
명령줄 도구 명령어를 실행합니다.
bq show --format=prettyjson -j job_id
프로젝트가 BI Engine 가속에 사용 설정된 경우 출력에 새 필드 biEngineStatistics
가 생성됩니다. 다음은 샘플 작업 보고서입니다.
"statistics": {
"creationTime": "1602175128902",
"endTime": "1602175130700",
"query": {
"biEngineStatistics": {
"biEngineMode": "DISABLED",
"biEngineReasons": [
{
"code": "UNSUPPORTED_SQL_TEXT",
"message": "Detected unsupported join type"
}
]
},
BiEngineStatistics
필드에 대한 자세한 내용은 작업 참조를 확인하세요.
BigQuery INFORMATION_SCHEMA 통계
BI Engine 가속 통계는 BigQuery INFORMATION_SCHEMA
뷰에 bi_engine_statistics
열 INFORMATION_SCHEMA.JOBS_BY_*
뷰의 일부로 포함됩니다.
예를 들어 이 쿼리는 지난 24시간 동안의 모든 현재 프로젝트 작업에 대한 bi_engine_statistics
를 반환합니다.
SELECT
creation_time,
job_id,
bi_engine_statistics
FROM
`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
AND CURRENT_TIMESTAMP()
AND job_type = "QUERY"
INFORMATION_SCHEMA
뷰에서 project-id
, region
, views
의 리전성을 지정하려면 다음 형식을 사용하세요.
`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW
Cloud Logging
Google Cloud Console의 Cloud Logging 페이지에서 BI Engine에 대한 로그 정보를 볼 수 있습니다. BI Engine에 대한 로그 정보를 보는 방법은 데이터를 쿼리하는 도구에 따라 다릅니다.
- SQL 인터페이스 쿼리의 경우:
protoPayload.serviceName="bigquery.googleapis.com"
의 페이로드로 Cloud Logging 페이지에서 로그 정보를 조회합니다. - Looker Studio 쿼리:
protoPayload.serviceName="bigquerybiengine.googleapis.com"
의 페이로드로 Cloud Logging 페이지에서 로그 정보를 조회합니다.
다음 단계
- Cloud Monitoring 자세히 알아보기
- Monitoring 차트 자세히 알아보기
- Monioring 알림 자세히 알아보기
- Cloud Logging에 대해 자세히 알아보기