Stackdriver를 사용한 BigQuery 모니터링

이 문서에서는 Stackdriver Monitoring을 사용하여 BigQuery 측정항목에 대한 차트와 알림을 만드는 등 BigQuery 리소스를 모니터링하는 방법을 설명합니다.

시작하기 전에

  • Stackdriver Monitoring을 사용하기 전에 다음이 있는지 확인합니다.

    • Google Cloud Platform 계정
    • 결제가 사용 설정된 BigQuery 프로젝트

    이 2가지가 모두 있는지 확인하는 방법 중 하나는 웹 UI를 사용한 빠른 시작을 완료하는 것입니다.

  • Stackdriver 계정이 없다면 Stackdriver 계정 설정 문서의 Stackdriver 계정 만들기 섹션에 나와 있는 단계를 따릅니다.

대시보드, 차트, 알림 보기 및 만들기

Stackdriver 대시보드 보기

Stackdriver를 사용하여 BigQuery 프로젝트를 모니터링하려면 다음과 같이 하세요.

  1. Google Cloud Platform 콘솔에서 Stackdriver > 모니터링을 선택하거나, 다음 버튼을 사용합니다.

    Stackdriver Monitoring으로 이동

  2. 페이지 상단에서 프로젝트 이름을 선택합니다(아직 선택되지 않은 경우).

  3. BigQuery 리소스를 보려면 리소스 > BigQuery를 선택합니다.

    Stackdriver BigQuery 대시보드

  4. BigQuery를 선택하면 기본 BigQuery 페이지가 표시됩니다. 이 페이지에는 사용자가 구성할 수 있는 테이블, 이벤트, 이슈 보고 목록과 함께 프로젝트 측정항목 또는 데이터세트 측정항목의 차트가 표시됩니다.

사용 가능한 슬롯 및 할당된 슬롯 시각화

프로젝트에 사용 가능한 슬롯과 할당된 슬롯을 시각화하려면 다음과 같이 하세요.

  1. Stackdriver 대시보드 보기에 설명된 대로 BigQuery용 Stackdriver 대시보드로 이동합니다.

    BigQuery용 Stackdriver Monitoring으로 이동

  2. BigQuery용 Stackdriver 대시보드에서 아래쪽의 Slot Utilization 차트로 스크롤합니다.

Stackdriver 기본 대시보드와 BigQuery용 Stackdriver 대시보드 모두에 Slot Utilization 차트가 나타납니다.

대시보드 및 차트 생성

Stackdriver Monitoring에서 수집된 측정항목을 사용자별 차트와 대시보드에 표시할 수 있습니다.

  1. Stackdriver Monitoring 콘솔의 상단 메뉴에서 대시보드 > 만들기...를 선택합니다.

    대시보드 만들기 페이지로 이동

  2. 차트 추가를 클릭합니다. 차트 추가 페이지가 표시됩니다.

    차트 추가

  3. 리소스 유형 메뉴에서 'BigQuery'를 선택합니다.

  4. 측정항목 유형 메뉴에서 '쿼리 시간 - 50번째 백분위수'를 선택합니다. 미리보기 섹션에 차트 데이터가 표시됩니다.

  5. 저장을 클릭합니다.

알림 생성

조건을 정의하고 알림 설정을 구성하여 알림을 생성할 수 있습니다.

  1. Stackdriver Monitoring 콘솔의 상단 메뉴에서 알림 > 정책 만들기를 선택합니다. 그러면 새 알림 정책 만들기 페이지가 열립니다.

    새 알림 정책 만들기 페이지로 이동

  2. 조건 섹션에서 조건 추가를 클릭합니다.

  3. 조건 유형 선택 페이지에 몇 가지 조건 유형이 제공됩니다. 이 예에서는 측정항목 기준에 연결된 선택 버튼을 클릭하여 해당 조건 유형을 선택합니다.

  4. 측정항목 기준 조건 추가 페이지에서 다음 안내를 따릅니다.

    1. 리소스 유형을 'BigQuery'로 설정합니다.
    2. 적용 대상을 '모두'로 설정합니다.
    3. 기준 측정항목을 '쿼리 시간(50번째 백분위수)'으로 설정합니다.
    4. 기준을 숫자(예: 8)로 설정합니다.
    5. 다른 모든 기본값은 그대로 두고 조건 저장을 클릭합니다.

    기준 조건 추가

  5. 새 알림 정책 만들기 페이지에서 알림 추가를 클릭하여 알림 설정을 구성합니다. 이메일, SMS, 기타 방법으로 알림을 받을 수 있습니다.

  6. 문서 섹션에서 문서 추가 버튼을 클릭하여 알림 메시지를 맞춤설정할 수 있습니다.

  7. 마지막으로 정책에 이름을 지정하고 정책 저장을 클릭합니다.

시각화에 사용할 수 있는 측정항목

다음과 같은 측정항목을 사용할 수 있으며 최대 몇 시간까지 지연 시간이 발생할 수 있습니다.

리소스 유형 이름 단위 설명
BigQuery 검색된 바이트 분당 바이트 수 검색된 바이트의 수입니다.
BigQuery 검색된 청구 대상 바이트 분당 바이트 수 청구 대상인 전송 바이트의 수입니다.

검색된 바이트와 검색된 청구 대상 바이트는 다음과 같은 몇 가지 이유로 서로 다를 수 있습니다.

  • 최소 청구 금액이 있는 경우 이 금액 미만으로 검색하면 요금이 청구되지 않습니다.
  • 계정에 크레딧이 연결되어 있으면 이러한 측정항목이 다를 수 있습니다.
BigQuery 쿼리 시간
- 5번째 백분위수
- 50번째 백분위수
- 95번째 백분위수
- 99번째 백분위수
캐시되지 않은 쿼리 실행 시간(초)입니다.
BigQuery 할당된 슬롯 슬롯 수 특정 시점에 프로젝트에 할당된 슬롯의 수입니다. 이 수는 해당 프로젝트에서 사용 중인 슬롯의 수라고 볼 수 있습니다.

슬롯은 결제 계정별로 할당되며 여러 프로젝트가 동일한 슬롯 예약을 공유할 수 있습니다.

BigQuery 작업 유형별 할당 슬롯 슬롯 수 특정 시점에 프로젝트에 할당된 슬롯의 작업 유형별 수입니다. 이 수는 해당 프로젝트에서 사용 중인 슬롯의 수로 간주할 수 있습니다. 현재 로드 및 내보내기 작업은 무료 작업이므로 공개 리소스 풀에서 실행됩니다.

슬롯은 결제 계정별로 할당되며 여러 프로젝트가 동일한 슬롯 예약을 공유할 수 있습니다.

BigQuery 사용 가능한 슬롯 슬롯 수 프로젝트에서 사용할 수 있는 슬롯의 총 수입니다.

프로젝트가 슬롯 예약을 다른 프로젝트와 공유하는 경우 다른 프로젝트에서 사용 중인 슬롯은 반영되지 않습니다.

BigQuery 데이터세트 저장된 바이트 바이트 데이터세트에 저장된 바이트 수입니다. 데이터세트에서 가장 큰 100개의 테이블에 대해 각 테이블의 저장된 바이트 수가 테이블 이름별로 표시됩니다. 데이터세트의 가장 큰 테이블 100개를 제외한 모든 추가 테이블은 하나의 합계로 보고되며 요약의 테이블 이름은 빈 문자열입니다.
BigQuery 데이터세트 테이블 테이블 수 데이터세트에 포함된 테이블의 수입니다.
BigQuery 데이터세트 업로드된 청구 대상 바이트 분당 바이트 수 데이터세트의 모든 테이블로 업로드된 바이트 중 청구 대상인 바이트의 수입니다.
BigQuery 데이터세트 업로드된 바이트 분당 바이트 수 데이터세트의 모든 테이블로 업로드된 바이트의 수입니다.

업로드된 청구 대상 바이트와 업로드된 바이트는 다음과 같은 몇 가지 이유로 서로 다를 수 있습니다.

  • 최소 청구 금액이 있는 경우 이 금액 미만으로 검색하면 요금이 청구되지 않습니다.
  • 계정에 크레딧이 연결되어 있으면 이러한 측정항목이 다를 수 있습니다.
BigQuery 데이터세트 업로드된 행 분당 행 수 데이터세트의 모든 테이블로 업로드된 레코드의 수입니다.

알려진 문제

  • 실행 중인 쿼리가 없으면 할당된 슬롯, 사용 가능한 슬롯, 기타 쿼리 관련 변수에 대한 데이터가 반환되지 않습니다. 데이터를 보려면 표시 영역을 축소해야 합니다.

  • 쿼리가 US와 EU 모두에서 실행되는 경우 할당된 슬롯과 사용 가능한 슬롯이 정확하지 않을 수 있습니다.

  • 할당된 슬롯은 특정 기간의 평균값으로 보고됩니다(기간 길이는 차트의 확대/축소 수준에 따라 다름). 따라서 확대/축소 수준에 따라 할당된 슬롯 값이 바뀔 수 있습니다. 1시간 이하의 기간으로 확대하면 실제 할당된 슬롯) 값이 표시됩니다. 차트에 표시된 어느 시점에서든 이 시간 범위 동안 할당된 평균 슬롯 수는 할당된 슬롯 수와 같기 때문입니다.

  • Stackdriver 차트의 데이터는 선택된 프로젝트만 반영합니다. 다중 프로젝트 모니터링 기능은 아직 구현되지 않았습니다.

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.