슬롯 용량 요구사항 예상

BigQuery에서 예약된 슬롯을 구매할 때는 특정 워크로드에 적합한 슬롯 수를 예상해야 합니다. BigQuery 슬롯 에스티메이터를 사용하면 이전 성능의 측정항목을 기반으로 슬롯 용량을 관리할 수 있습니다.

버전, 예약, 주문형 워크로드에 슬롯 에스티메이터를 사용하여 다음 태스크를 실행할 수 있습니다.

선택한 버전 워크로드:

• 지난 30일 동안의 슬롯 용량 및 사용률 데이터를 확인하고 가장 많은 슬롯이 사용되는 최고 사용률 기간을 식별합니다.
• 성능이 비슷한 약정 및 자동 확장 슬롯에 대한 비용 최적화 추천을 확인합니다.
• 특정 버전의 현재 예약 설정을 확인합니다.

특정 예약 워크로드의 경우:

• 지난 30일 동안의 슬롯 용량 및 사용률 데이터를 확인하고 가장 많은 슬롯이 사용되는 최고 사용률 기간을 식별합니다.
• 작업 지연 시간 백분위수(P90, P95 등)를 확인하여 쿼리 성능을 파악합니다.
• 최대 예약 슬롯 확대 또는 축소 시에 성능에 어떤 영향을 미치는지 모델링합니다.

주문형 결제 워크로드의 경우:

• 지난 30일 동안 전체 조직 또는 개별 프로젝트의 주문형 슬롯 사용량 데이터를 확인합니다.
• Enterprise 버전으로 전환할 경우 성능이 비슷한 약정 및 자동 확장 슬롯에 대한 비용 최적화 추천을 확인합니다.

Enterprise 버전, Enterprise Plus 버전, 주문형 결제를 사용하는 고객은 BigQuery 슬롯 추천자를 사용하여 슬롯 사용량을 확인하고 약정을 최적화하고 성능을 개선할 수 있습니다. 자세한 내용은 버전 슬롯 추천 보기를 참조하세요.

제한사항

• 데이터는 지난 30일로 제한됩니다.
• 모델에는 ML_EXTERNAL 할당이 포함되지 않습니다. ML_EXTERNAL 할당에 슬롯이 많이 사용되면 모델링된 결과의 정확성이 떨어질 수 있습니다.

시작하기 전에

사용자에게 이 문서의 각 작업을 수행하는 데 필요한 권한을 부여하는 Identity and Access Management(IAM) 역할을 부여합니다.

필수 권한

예약 데이터에 슬롯 에스티메이터를 사용하려면 관리 프로젝트에 대한 다음 IAM 권한이 필요합니다.

• bigquery.reservations.list
• bigquery.reservationAssignments.list
• bigquery.capacityCommitments.list

사전 정의된 다음 각 IAM 역할에는 슬롯 예측 도구를 사용하는 데 필요한 권한이 포함되어 있습니다.

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer
• roles/bigquery.user

주문형 사용량 데이터에 슬롯 에스티메이터를 사용하려면 관리 프로젝트로 사용할 프로젝트에서 Reservations API를 사용 설정하여 예약을 관리해야 합니다. 위의 권한 이외에도 조직 수준의 데이터를 보거나 프로젝트에 프로젝트 수준 데이터를 보려면 조직에 다음 IAM 권한 중 하나가 필요합니다.

• bigquery.jobs.listExecutionMetadata(조직 수준에서만 적용 가능)
• bigquery.jobs.listAll(조직 또는 프로젝트 수준에서 모두 적용 가능)

사전 정의된 다음 각 IAM 역할에는 슬롯 예측 도구를 사용하는 데 필요한 권한이 포함되어 있습니다.

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

약정 슬롯 추천을 보려면 버전 슬롯 추천 보기에 설명된 권한도 필요합니다.

BigQuery에서 IAM 역할에 대한 상세 설명은 사전 정의된 역할 및 권한을 참조하세요.

슬롯 용량 및 사용률 보기

슬롯 용량 및 시간 경과에 따른 사용률을 보려면 슬롯 예측 도구로 이동하세요.

1. Google Cloud 콘솔에서 BigQuery 페이지를 엽니다.

   BigQuery로 이동

2. 관리 프로젝트를 선택합니다.

   1. 페이지 상단에서 선택 드롭다운 목록을 클릭합니다.
   2. 창에서 선택이 나타나면 프로젝트를 선택합니다.

3. 탐색 패널에서 용량 관리 섹션으로 이동합니다.

4. 슬롯 예측 도구 탭을 클릭합니다.

사용률 차트는 시간 단위로 상세하게 표시되어 계산된 지난 30일 동안의 슬롯 용량 및 사용률이 표시됩니다.

백분율별 사용량 및 사용률 탭에는 슬롯 사용률이 최대 슬롯별 슬롯 사용량의 비율로 표시됩니다.

용량별 사용량 및 사용률 탭에는 최대 슬롯 및 사용량이 절대값으로 표시됩니다.

소스 드롭다운에서 버전 또는 주문형 옵션을 선택하여 다양한 범위의 통계를 볼 수 있습니다. 버전을 선택하면 예약 드롭다운에 관련 예약이 채워집니다.

주문형 옵션의 경우 조직 수준의 권한이 있으면 추천 드롭다운에서 개별 프로젝트 또는 전체 조직을 선택할 수 있습니다. 슬롯 에스티메이터 페이지에는 프로젝트 수준 권한만 있는 경우 프로젝트 수준 정보만 표시됩니다.

용량별 사용량 및 사용률 탭의 통계는 범위에 따라 약간 다를 수 있습니다.

• 버전 소스의 경우 전체 버전에 사용 가능한 최대 슬롯, 약정 슬롯, 기준 슬롯 합계, 평균 슬롯 사용량, P99 슬롯 사용량, P50 슬롯 사용량이 표시됩니다.
• 특정 예약의 경우 최대 예약 슬롯, 기준 슬롯, 평균 슬롯 사용량, P99 슬롯 사용량, P50 슬롯 사용량이 표시됩니다.
• 주문형 소스의 경우 평균 슬롯 사용량, P99 슬롯 사용량, P50 슬롯 사용량이 표시됩니다.

슬롯 성능 모델링

예약이 선택되면 슬롯 에스티메이터를 사용하여 작업 성능 데이터를 보고 최대 슬롯 수 변경 효과를 모델링할 수 있습니다. 슬롯 에스티메이터를 사용하면 관찰 기간의 최대 슬롯 크기 최솟값의 80%에서 현재 최대 슬롯의 150%에 이르는 다양한 용량 수준에서 성능이 어떻게 변경될지 모델링할 수 있습니다. 즉, 옵션 감소는 30일 기간의 최소 용량의 20%를 초과할 수 없으며 옵션 증가는 현재 용량의 50%를 초과할 수 없습니다.

모델은 슬롯 변경을 제외하고 이전 30일의 사용량 패턴을 그대로 재실행한다고 가정합니다.

예상 성능 개선은 여러 가지 요소를 기반으로 합니다. 가장 중요한 요소는 모델의 슬롯 수와 피크 기간과 일반 기간 동안 실행된 각 백분위수 버킷의 작업 비율입니다. 피크 기간은 거의 모든 슬롯이 사용된 기간으로 정의됩니다. 이 시간 동안 실행되는 작업은 슬롯 경합에 가장 큰 영향을 받으며 추가 슬롯에서 가장 많은 성능 향상을 얻을 수 있습니다. 따라서 실행 시점에 따라 동일한 용량 증가로 인해 작업 버킷마다 다른 효과가 발생할 수 있습니다.

주의: 작업 성능에 미치는 실제 영향은 향후 사용량에 따라 달라질 수 있습니다. 예상 성능 정보는 참고용일 뿐입니다.

슬롯 성능을 모델링하려면 다음 단계를 수행하세요.

1. Google Cloud 콘솔에서 BigQuery 페이지를 엽니다.

   BigQuery로 이동

2. 관리 프로젝트를 선택합니다.

   1. 페이지 상단에서 선택 드롭다운 목록을 클릭합니다.
   2. 창에서 선택이 나타나면 프로젝트를 선택합니다.

3. 탐색 패널에서 용량 관리 섹션으로 이동합니다.

4. 슬롯 예측 도구 탭을 클릭합니다.

5. 예약 드롭다운에서 특정 예약을 선택합니다. 이 모델에는 예약이 언제든지 빌려올 수 있는 유휴 슬롯 수가 포함됩니다.

6. 최대 슬롯에 추가 슬롯이 있는 모델 드롭다운에서 모델링할 슬롯 값을 하나 이상 선택하고 확인을 클릭합니다.

추가 슬롯이 포함된 작업 성능 변경사항 아래의 테이블에는 지난 30일간의 작업 성능 데이터와 최대 슬롯 증가 또는 감소로 인한 예상 성능 변동이 표시됩니다. 데이터는 선택한 기간 동안 실행된 모든 작업에 대해 작업 기간별 백분율로 그룹화됩니다. 전구 아이콘으로 표시된 열은 선택한 예약의 성능 향상 추천에 해당합니다.

성능 데이터는 백분위수로 분류됩니다. 테이블은 데이터를 최대 12개의 버킷으로 분할합니다(P10~P90, P95, P99, P100). P100 버킷은 실행 시간이 가장 오래 걸린 작업의 상위 1%를 나타냅니다. P99에는 상위 96~99%가 포함되고, P95에는 상위 91~95%가 포함되고, P90에는 81~90%가 포함됩니다. 데이터에 따라 테이블에서 데이터를 더 적은 버킷으로 그룹화할 수 있습니다. 이 경우 테이블에는 더 적은 행이 포함됩니다.

각 백분위수 버킷에 대해 테이블은 다음 정보를 표시합니다.

• 작업 기간 백분위수: 이 행의 백분위수 버킷
• 평균 작업 기간: 해당 백분위수 버킷의 작업을 실행하는 데 걸린 평균 시간
• 작업 수: 해당 백분위수 버킷의 작업 수
• 각 모델에서 해당 백분위수의 작업 예상 평균 지속 시간

테이블에는 각 모델의 '30일 변동' 예상 통계도 표시됩니다. 이 값은 다른 슬롯 용량의 30일 내역에서 작업을 처리하는 데 소요된 총 시간의 예상 변동입니다.

슬롯 사용량을 사용한 모델링 결과 이해

고정된 용량 예약의 경우 유휴 슬롯 공유가 사용 설정된 경우 해당 예약의 작업은 다른 예약에서 유휴 슬롯을 빌릴 수 있습니다. 그 결과 사용률이 할당된 슬롯의 100%를 초과할 수 있습니다. 예약이 다른 예약에서 유휴 슬롯을 일관되게 빌리는 경우 예약 크기를 늘리는 것이 좋을 수 있습니다. 반면 예약이 전체 용량을 거의 사용하지 않는 경우 예약이 너무 큰 것일 수 있습니다.

자동 확장을 사용하는 예약은 다음 우선순위로 슬롯을 사용하고 추가합니다.

1. 기준 슬롯
2. 유휴 슬롯 공유(사용 설정된 경우).
3. 자동 확장 슬롯

자동 확장 예약에 따라 지속적으로 최대 슬롯 용량에 도달하는 경우 최대 예약 슬롯을 늘려야 할 수 있습니다. 슬롯 사용량 보기에 대한 자세한 내용은 관리 리소스 차트 보기를 참조하세요.

가격 책정

슬롯 예측 도구는 무료로 사용할 수 있습니다.