상태, 리소스 사용률, 작업 모니터링

BigQuery 관리자는 관리 리소스 차트를 사용하여 시간 경과에 따른 조직 상태, 슬롯 사용, BigQuery 작업 성능을 모니터링할 수 있습니다.

운영 상태 대시보드를 보려면 관리 프로젝트에서 액세스할 수 있는 예약이 하나 이상 있어야 합니다. 리소스 차트 및 작업 탐색기는 적절한 권한이 있는 모든 사용자가 사용할 수 있습니다.

필요한 역할

관리 리소스 차트의 모든 데이터를 보는 데 필요한 권한을 얻으려면 관리자에게 조직에 대한 다음의 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 관리 리소스 차트의 모든 데이터를 보는 데 필요한 권한이 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

관리 리소스 차트의 모든 데이터를 보려면 다음 권한이 필요합니다.

  • 조직에 대한 bigquery.jobs.listExecutionMetadata 권한
  • 조직에 대한 bigquery.jobs.listAll 권한
  • 예약 관리 프로젝트에 대한 bigquery.reservationAssignments.list
  • 예약 관리 프로젝트에 대한 bigquery.capacityCommitments.list
  • 운영 상태 요약 데이터 보기: 조직에 대한 bigquery.tables.get or bigquery.tables.list
  • 예약 수준의 일부 데이터를 보려면 다음 권한이 필요합니다.
    • 예약 관리 프로젝트에 대한 bigquery.reservations.list
    • 예약 관리 프로젝트에 대한 bigquery.reservationAssignments.list
  • 관리 리소스 차트의 예약 용량 데이터를 보려면 예약 관리 프로젝트에 대한 bigquery.capacityCommitments.list 권한이 필요합니다.
  • 프로젝트 수준의 데이터를 보려면 프로젝트에 대한 bigquery.jobs.listAll 권한이 필요합니다.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

조직 전반의 운영 상태 모니터링

이 기능에 대한 의견이나 지원을 요청하려면 bq-operational-health+feedback@google.com으로 이메일을 보내세요.

운영 상태 대시보드에는 예약이 있는 모든 위치에서 조직의 주요 측정항목과 예약이 표시됩니다. 이 대시보드를 사용하여 다음을 포함한 측정항목을 모니터링할 수 있습니다.

  • 슬롯 사용량
  • 셔플 사용량
  • 작업 동시 실행
  • 오류
  • 작업 기간
  • 처리한 바이트
  • 총 저장용량

BigQuery는 다음 INFORMATION_SCHEMA를 쿼리하여 이 정보를 제공합니다.

운영 상태를 모니터링하려면 다음 단계를 따르세요.

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 프로젝트 메뉴에서 슬롯을 구매하고 예약을 만드는 데 사용한 관리 프로젝트를 선택합니다.

  3. 탐색 패널에서 관리 > 모니터링을 선택합니다. 기본적으로 운영 상태 차트에는 모든 위치 및 모든 예약에 대한 요약 측정항목이 표시됩니다.

  4. 더 자주 업데이트되는 데이터를 보려면 실시간 데이터를 전환하면 됩니다. 실시간 데이터가 사용 설정된 경우 5분마다 데이터가 자동으로 새로고침됩니다. 실시간 데이터가 사용 중지된 경우 최대 데이터 비활성은 약 1시간입니다. 데이터의 최종 업데이트 시간이 표시됩니다.

세부정보 보기를 보려면 자세한 타임라인 차트를 보려는 값을 선택합니다.

  1. 위치 선택 목록에서 특정 리전을 선택합니다.
  2. 예약 선택 목록에서 예약을 선택합니다.
  3. 시간 범위 목록에서 시간 범위를 선택합니다.
  4. 주요 측정항목 차트 중 하나에서 자세한 내용을 보려면 더보기를 클릭합니다. 작업 탐색기 차트에서 자세한 내용을 보려면 상단 활성 쿼리 차트에서 더보기를 클릭합니다.

작업 상태 탭에는 다음 뷰가 표시됩니다.

요약 뷰

요약 뷰에는 조직에 대한 최근 30분 동안의 예약 및 리전을 포함하여 하위 시스템의 상태 보기가 제공됩니다.

BigQuery 관리 요약 뷰

요약 뷰를 보려면 다음을 수행합니다.

  • 운영 상태 차트의 위치 선택 목록에서 모든 위치를 선택합니다.

세부정보 뷰

세부정보 뷰에는 위치 또는 예약 수준에서 여러 측정항목의 세부 타임라인 차트가 표시됩니다.

BigQuery 관리 세부정보 뷰 개요

세부정보 뷰를 보려면 다음 안내를 따르세요.

  • 운영 상태 차트 위치 선택 목록에서 리전 또는 버전을 선택하거나 예약 선택 목록에서 예약 이름을 선택합니다.

차트

작업 상태 탭에는 다음과 같은 차트 구성 옵션이 표시됩니다.

요약 표

요약 표에는 다음 측정항목이 표시됩니다.

  • 슬롯 사용량. 평균 슬롯 사용량. 총 슬롯 용량은 기준 용량 및 자동 확장된 최대 용량과 같습니다.
  • 셔플 사용량. 모든 평균 예약 셔플 사용량 최댓값입니다.
  • 동시 실행. 동시에 실행된 최대 작업 수입니다.
  • 처리된 바이트. 완료된 작업에서 처리한 총 바이트
  • 작업 기간. 작업이 완료된 시간부터 작업이 종료된 시간까지 계산된 평균 작업 실행 시간입니다.
  • 총 저장용량. 마지막으로 업데이트된 시간의 총 활성 논리 바이트입니다.

뷰에는 위치 또는 예약별로 두 개의 요약 테이블이 표시됩니다. 각 테이블 행은 하나의 위치 또는 하나의 예약 사용량을 나타냅니다.

표에는 마지막 업데이트 전 30분 동안의 측정항목이 표시됩니다. 실시간 데이터가 사용 설정된 경우 5분마다 데이터가 자동으로 새로고침됩니다. 실시간 데이터가 사용 중지된 경우 최대 데이터 비활성은 약 1시간입니다.

측정항목이 기준점보다 높으면 테이블 셀이 색상으로 구분됩니다. 모든 기준점은 사전 정의되어 있으며 맞춤설정할 수 없습니다. 지난 30분 동안의 측정항목 값이 전날의 사용량 P99 값보다 크면 테이블 셀이 진한 파란색 배경으로 표시됩니다. 마지막 업데이트 이전 30분 동안의 측정항목 값이 전날 사용량의 P95~P99 값 사이이면 테이블 셀이 밝은 파란색 배경으로 표시됩니다.

BigQuery 관리 요약 표

데이터 필터링

다음 값을 기준으로 차트의 데이터를 필터링할 수 있습니다.

BigQuery 관리 필터 데이터

  • 위치. 지난 30일 이내에 조직에서 활동을 수행한 리전이 제공됩니다. 요약 뷰에는 모든 활성 리전의 사용량을 추적하기 위한 리전별 요약 테이블이 표시됩니다.
  • 예약. 리전을 선택하면 이 필드를 선택할 수 있습니다. 관리 프로젝트 보기에서 소유한 모든 예약을 사용할 수 있습니다. 예약은 하나만 선택할 수 있습니다.
  • 기간. 이 필드는 세부정보 뷰에서만 사용할 수 있습니다. 이 값은 세부정보 뷰의 측정항목 타임라인 차트오류 도트 차트에 영향을 미칩니다. 측정항목 타임라인 차트의 데이터 규모는 선택한 기간에 따라 자동으로 조정됩니다.

상위 활성 쿼리 차트

이 차트에는 활성 리소스가 내림차순으로 정렬된 상위 10개의 작업이 표시됩니다. 드롭다운 메뉴를 사용하여 슬롯 사용량 또는 작업 기간을 기준으로 정렬 옵션을 선택할 수 있습니다. 작업 ID와 관련 리소스 사용량 번호는 막대 그래프에 표시됩니다. 상단 활성 쿼리 차트에서 더보기를 선택하여 작업 탐색기를 확인합니다. 실행 세부정보에 대한 자세한 내용과 BigQuery 작업의 성능 문제를 진단하려면 쿼리 실행 그래프를 참조하세요.

BigQuery 관리 상단 작업 목록 표시줄

오류 도넛 차트

이 차트는 선택한 기간 동안 가장 큰 실패 원인 비율을 보여줍니다. 요약 뷰에서 기본값은 지난 30분입니다. 세부정보 뷰에서 기간 선택기는 범위를 제어합니다. 유형, 소유자 프로젝트, 예약별로 오류를 그룹화할 수 있습니다. 실패한 작업 수가 도넛 차트에 표시됩니다.

BigQuery 오류 도트 차트

측정항목 타임라인 차트

이러한 차트는 최대 30일 동안 지원되는 측정항목을 간략하게 보여줍니다. 기본 기간은 1시간입니다. 선택한 기간이 변경되면 차트의 각 데이터 포인트 세부사항이 자동으로 확장됩니다.

이러한 차트는 리전 또는 예약에서 집계된 값을 표시합니다. 여러 리전 또는 여러 예약의 데이터 표시는 지원되지 않습니다.

BigQuery 측정항목 타임라인 차트

측정항목 타임라인 차트는 다음 측정항목을 지원합니다.

  • 슬롯 사용량. 선택한 기간의 평균 슬롯 사용량입니다. 모든 작업과 실패한 작업의 전체 슬롯 사용량을 분리해서 표시합니다.
  • 작업 동시 실행. 선택한 기간 동안 동시에 실행된 최대 작업 수입니다. 실행 중인 작업과 대기 중인 작업의 수가 별도로 표시되며 누적 막대 그래프로 표시됩니다.
  • 스캔한 바이트. 선택한 기간에 완료된 작업에서 처리한 총 바이트입니다.
  • 셔플. 선택한 기간 동안 모든 예약 평균 셔플 사용량 비율의 최댓값입니다.
  • 작업 기간. 선택한 기간 내에 완료된 작업의 평균 실행 시간이며 작업 생성 시간부터 작업 종료 시간까지 계산됩니다.
  • 유형별 오류. 오류 도넛 차트는 선택한 기간 동안 여러 오류 원인의 비율을 보여줍니다.

이러한 차트에는 측정항목 추세 외에도 전날 사용량의 P95 및 P99 측정항목 값에 대한 참조선이 표시됩니다. 작업 동시 실행 차트의 경우 대기 중이거나 실행 중인 작업의 합계에 대한 기준점을 보여줍니다. 이러한 참조 값은 요약 표에서 색상 코딩 기준점으로 사용됩니다.

차트에 관해 자세히 알아보려면 더보기를 클릭합니다. 리소스 사용률 탭으로 리디렉션됩니다.

리소스 사용률 보기

관리 리소스 차트의 데이터는 INFORMATION_SCHEMA.JOBS 및 실시간 업데이트를 기반으로 하며 최대 30일까지 다시 돌아갑니다.

관리 리소스 차트를 사용하여 BigQuery 리소스 사용률을 볼 수 있습니다. 이러한 리소스 차트에는 다음과 같은 세 가지 기본 대화형 구성요소가 있습니다.

  • 이벤트 타임라인 차트는 최대 30일 동안의 데이터 개요를 보여줍니다. 기본값은 1일입니다.

  • 기본 차트에는 조직이나 예약 관리 프로젝트에서 선택한 측정항목(슬롯 사용량, 작업 동시 실행, 작업 성능, 오류 또는 처리된 바이트)이 시간 경과에 따라 표시됩니다. 차트에는 차트의 데이터와 상관 관계가 있는 테이블 범례가 포함되어 해당 기간 동안 집계된 자세한 통계가 표시됩니다.

  • 다양한 차트, 분석, 필터 옵션을 선택할 수 있는 측면 패널입니다.

다음 다이어그램은 BigQuery의 다양한 관리 차트 옵션을 간략하게 설명합니다.

BigQuery 관리 리소스 차트 개요

시작하기 전에

  1. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기로 이동

    별도의 Google Cloud 프로젝트 예약 관리 프로젝트를 만들어 bq-COMPANY_NAME-admin과 같은 설명이 포함된 이름을 지정하여 예약을 관리할 수 있습니다.
  2. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  3. BigQuery Reservation API 사용 설정

    API 사용 설정

    자세한 내용은 BigQuery Reservation API 사용 설정을 참조하세요.

  4. Google Cloud 콘솔에서 슬롯 할당량을 확인합니다.

    슬롯 할당량 보기

    슬롯을 구입하려면 슬롯을 구입하려는 리전에 대해 슬롯 할당량이 충분해야 합니다.

    리전의 슬롯 할당량이 구입하려는 슬롯 개수보다 적으면 할당량 증가 요청을 참조하세요.

관리 리소스 차트 보기

기본적으로 예약 관리 프로젝트에서 탐색 중일 때 버전 관리 리소스 차트에 액세스할 수 있습니다. 예약 관리 프로젝트(미리보기)에서는 주문형 관리 리소스 차트 또는 버전 관리 리소스 차트로 전환할 수 있습니다.

관리 리소스 차트를 보려면 다음 단계를 수행합니다.

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 프로젝트 메뉴에서 슬롯을 구매하고 예약을 만드는 데 사용한 관리 프로젝트를 선택합니다.

  3. 탐색 패널에서 관리 > 모니터링을 선택합니다.

  4. 차트 옵션 > 범위 섹션에서 세 가지 버전 및 주문형 유형이 포함된 목록에서 결제 모델을 선택할 수 있습니다. 기본적으로 결제 모델은 Enterprise 버전으로 설정됩니다.

  5. 차트 옵션 > 차트 구성 섹션에서 다음을 수행합니다.

    1. 차트 목록에서 차트 유형을 선택합니다. 다양한 차트 옵션에 대한 자세한 내용은 차트 옵션을 참조하세요.
    2. 측정항목 목록에서 사용 가능한 측정항목 유형을 선택합니다.
    3. 그룹화 기준 목록에서 차트의 데이터를 그룹화할 측정기준을 선택합니다. 다양한 측정기준에 대한 자세한 내용은 그룹화 기준 옵션을 참조하세요.
    4. 필터 목록에서 사용 가능한 필터 옵션을 선택합니다. 다양한 필터에 대한 자세한 내용은 필터 및 검색을 참조하세요.
    5. 차트의 데이터를 보려는 기간을 설정합니다.

차트 구성

다음 차트 구성 옵션을 변경하여 관리 리소스 차트의 뷰를 조정할 수 있습니다.

차트 옵션

BigQuery는 차트에 표시할 다음 측정항목 유형을 제공합니다.

  • 슬롯 사용량. 선택한 기간의 평균 슬롯 사용량입니다. 용량 및 유휴 슬롯 사용량은 다음 조건에서 적용됩니다.

    • 그룹화 기준 옵션이 '전체'입니다.
    • 필터가 없거나 단일 예약으로 필터링됩니다.
  • 작업 동시 실행: 선택한 기간 동안 동시에 실행된 최대 작업 수입니다.

  • 작업 성능: 작업 생성 시간부터 작업 종료 시간까지 계산된 완료된 작업의 평균 작업 실행 시간입니다.

  • 실패한 작업: 선택한 기간 동안 실패한 작업의 평균 슬롯 사용량입니다.

  • 처리된 바이트: 선택한 기간에 완료된 작업에서 처리한 총 바이트입니다.

  • 셔플 사용량: 선택한 기간의 평균 셔플 사용량 비율입니다(미리보기).

테이블 구성요소

테이블에는 관리 리소스 차트에서 선택한 기간 및 측정기준과 관련된 측정항목이 표시됩니다.

슬롯 사용량 차트에는 선택한 기간 동안 실행된 모든 작업의 평균 슬롯 사용량이 표시됩니다. 선택한 기간 내에 완료되지 않은 작업에는 해당 기간 내에 사용된 슬롯만 포함됩니다.

작업 성능 차트의 경우 테이블 구성요소는 다음 측정항목을 표시합니다.

  • 작업 수: 선택한 기간에 실행되었거나 부분적으로 실행된 완료 작업의 수입니다.

  • 평균 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 평균 작업 기간입니다.

  • 중앙 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 작업 기간 중앙값입니다.

  • 최소 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 최소 작업 기간입니다. 이 열은 기본적으로 숨겨져 있지만 열 표시 옵션에서 사용 설정할 수 있습니다.

  • 최대 작업 기간: 선택한 기간에 적어도 부분적으로 실행된 완료 작업의 최대 작업 기간입니다. 이 열은 기본적으로 숨겨져 있지만 열 표시 옵션에서 사용 설정할 수 있습니다.

실패한 작업 차트에서는 테이블 구성요소에 다음 데이터가 표시됩니다.

  • 평균 슬롯 사용량: 슬롯 사용량 차트와 동일하지만 실패한 작업에만 해당합니다.

  • 총 실패한 작업 수: 선택한 기간에 실패한 작업의 수입니다.

옵션별 그룹화

차트 유형에 따라 차트 뷰의 데이터를 여러 측정기준으로 그룹화할 수 있습니다.

  • 전체. 전체 뷰는 조직 전체에서 시간 경과에 따라 선택한 측정항목을 개략적으로 보여줍니다. 슬롯 사용량의 경우 용량 및 사용량이 동일한 차트에 표시되어 시간 경과에 따른 전체 슬롯 사용률을 알 수 있습니다.

  • 프로젝트. 프로젝트 뷰는 선택한 측정항목을 프로젝트별로 그룹화하여 표시합니다. 조직에 프로젝트가 10개를 넘는 경우 선택한 기간의 슬롯 사용량, 작업 동시 실행, 작업 기간 또는 실패한 작업에서 상위 10개 프로젝트만 표시됩니다. 슬롯 사용량의 경우 전체 용량과 쉽게 비교할 수 있도록 다른 모든 프로젝트는 차트 하단의 기타 카테고리로 그룹화됩니다.

  • 다른 모든 그룹화 기준 뷰는 프로젝트 뷰와 유사하며 데이터가 각 측정기준별로 그룹화됩니다.

기간 옵션

다음과 같은 방법으로 기간을 수정할 수 있습니다.

  • 기간을 선택하여 이벤트 타임라인 차트로 드래그합니다.

  • 기간을 선택하여 기본 차트로 드래그합니다.

선택한 기간이 변경되면 정렬 기간이 자동으로 업데이트됩니다. 정렬 기간이 짧을수록 뷰가 더 자세하게 표시됩니다. 슬롯 사용량 옵션과 같이 자주 변경되는 리소스를 더 잘 보려면 정렬 기간을 줄입니다.

차트 데이터의 범위를 좁히려면 필터 패널에서 필터를 적용하세요. 일부 필터는 특정 차트에서만 사용될 수 있습니다. 예약, 폴더, 프로젝트, 사용자 필터는 선택된 기간에 사용된 슬롯이 있는 각각의 리소스로 채워집니다. 예를 들어 지난 30일 동안 사용되지 않은 프로젝트가 있다면 프로젝트 필터 목록에 표시되지 않습니다.

필터를 적용하면 차트가 새로고침되어 선택한 매개변수에 데이터가 표시됩니다.

프로젝트 수준 관리 차트 데이터 보기

차트 옵션에서 범위를 조정하여 프로젝트 수준에서 관리 차트의 개요를 생성할 수 있습니다. 이 보기는 조직 수준의 관리 차트와 비슷하게 프로젝트 분석가가 소유 프로젝트의 리소스 활용률을 모니터링하는 데 도움이 됩니다. 일부 차트 옵션과 그룹화 옵션은 적용되지 않습니다. 이 보기에는 상황에 따른 프로젝트 내의 결제 모드에 관계없이 전체 리소스 활용률이 표시됩니다.

BigQuery 프로젝트 수준 관리 리소스 차트 개요입니다.

조직 수준의 권한을 사용해서 비관리 프로젝트에서 관리 차트로 이동하면 관리 차트가 기본적으로 프로젝트 수준으로 전환됩니다. 차트 옵션에서 범위 드롭다운을 사용하여 올바른 보기로 다시 전환할 수 있습니다.

관리 작업 탐색기 보기

BigQuery는 다음 INFORMATION_SCHEMA 뷰를 쿼리하여 쿼리 세부정보와 통계를 제공합니다.

INFORMATION_SCHEMA 뷰가 리전화되므로 선택한 리전을 기반으로 해당 작업을 볼 수 있습니다.

작업 필터링

INFORMATION_SCHEMA.JOBS* views에 포함된 쿼리의 작업을 필터링하려면 다음 단계를 따르세요.

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 프로젝트 메뉴에서 슬롯을 구매하고 예약을 만드는 데 사용한 관리 프로젝트를 선택합니다.

  3. 탐색 패널에서 관리 > 모니터링을 선택합니다.

  4. 작업 탐색기 탭을 클릭합니다.

  5. 위치 목록에서 작업을 보려는 위치를 선택합니다. 해당 위치의 INFORMATION_SCHEMA.JOBS 뷰에 포함된 모든 쿼리 작업 목록을 확인할 수 있습니다.

    또한 지난 1분 동안의 총 슬롯 사용량과 함께 활성 및 큐에 추가된 쿼리를 볼 수도 있습니다.

  6. 옵션을 사용하여 작업을 필터링합니다. 옵션을 사용하여 작업을 필터링합니다.

    그림 1. 작업 필터링

    그림 1에서 작업을 필터링하는 옵션은 다음과 같습니다.

    • 작업이 실행된 시간 범위
    • 작업 범위(예: 프로젝트 및 조직)
    • 작업 상태(예: 실행 중, 대기 중, 완료, 오류)
    • 작업 ID
    • 관리자 작업 소유자의 이메일 ID
    • 지정된 슬롯 시간보다 시간이 오래 걸린 작업
    • 작업 기간
    • 지정된 처리된 바이트보다 많은 바이트를 처리한 작업
    • 슬롯 경합, 메모리 셔플 용량 초과, 데이터 입력 확장 변경과 같은 쿼리 통계 유형
    • 쿼리 해시에는 쿼리의 해시가 포함됩니다. 주석, 매개변수 값, UDF, 리터럴을 무시하는 16진수 문자열 해시입니다. 이 필드는 캐시 적중이 아닌 성공한 GoogleSQL 쿼리에 표시됩니다.

쿼리 실행 세부정보 보기

작업의 쿼리 실행 세부정보를 보려면 다음 단계를 따르세요.

  1. Monitoring 페이지로 이동합니다.

    Monitoring으로 이동

  2. 작업을 보려면 작업 탐색기를 클릭합니다.

  3. 작업을 필터링하여 제한된 작업을 볼 수 있습니다.

  4. 쿼리 실행 세부정보를 보려는 작업을 클릭합니다.

  5. 쿼리 결과 창에서 실행 그래프 탭을 클릭하여 관리자 작업의 실행 세부정보를 확인합니다.

    작업의 실행 그래프

    그림 2. 작업의 실행 그래프

통계를 해석하는 방법에 대한 자세한 내용은 쿼리 성능 통계 해석을 참조하세요.

청구

관리 리소스 차트 및 작업 탐색기는 추가 비용 없이 사용할 수 있습니다. 이러한 차트를 채우는 데 사용되는 쿼리는 요금이 청구되지 않으며 사용자가 소유한 예약에서 슬롯을 사용하지 않습니다. 너무 많은 데이터를 처리하는 쿼리는 시간이 초과됩니다.

다음 단계