리소스 차트와 슬롯 예측 도구를 이용한 쉬운 BigQuery 관리
Alice Zhu
Software Engineer
Manish Dalwadi
Director of Product Management, BigQuery
* 본 아티클의 원문은 2021년 12월 2일 Google Cloud 블로그(영문)에 게재되었습니다.
BigQuery에서 분석 워크로드와 사용 공간을 늘리면 모니터링 및 관리 요구사항도 달라집니다. 고객은 규모에 맞게 환경을 관리하고 상황에 따라 조치를 취하기를 원합니다. 또한 BigQuery 환경을 최적화하기 위한 용량 관리 기능도 원합니다. BigQuery Administrator Hub 기능을 사용하면 BigQuery를 규모에 맞게 효과적으로 관리할 수 있습니다. BigQuery Administrator Hub의 2가지 주요 기능인 리소스 차트 및 슬롯 예측 도구는 관리자가 지금까지 볼 수 없던 새로운 방식으로 BQ 환경을 이해하도록 도와줍니다.
리소스 차트가 관리자에게 제공하는 즉시 사용 가능한 네이티브 환경에서는 슬롯 사용량을 모니터링하고 이전 사용량을 기준으로 용량을 관리하고 작업 성능 문제를 해결하고 쿼리를 자가 진단하고 필요에 따라 시정 조치를 취할 수 있습니다. 슬롯 소비, 작업 성능, 동시 실행, 처리한 바이트, 실패한 작업 등의 주요 측정항목에 대한 가시성을 제공합니다. 리소스 차트는 INFORMATION_SCHEMA 테이블을 사용해 빌드 및 렌더링되어 고객이 전용 대시보드에서 데이터를 이해하거나 데이터를 직접 쿼리하여 자체 대시보드 및 모니터링 프로세스를 빌드할 수 있습니다.
BigQuery 고객인 Snap은 리소스 차트를 초기에 도입한 기업입니다. "관리자 리소스 차트는 슬롯 소비 방식과 사용량이 발생하는 워크로드/쿼리를 이해하는 데 유용한 도구입니다. 이 도구는 BigQuery 환경에 대한 가시성을 높여줬습니다." - 무뚜 하리하라서브라마니안, Snap, Inc. 빅데이터 인프라 부문 엔지니어링 관리자
슬롯 예측 도구는 대화형 용량 관리 도구로서 관리자가 성능을 기준으로 BigQuery 용량을 예측하고 최적화하도록 도와줍니다. 이 도구를 사용하면 고객이 이전 사용량에 대한 정보를 바탕으로 용량 계획을 결정할 수 있습니다. 또한 워크로드와 성능을 기준으로 용량을 예측하고 최적화하도록 도와줍니다.
PayPal은 슬롯 예측 도구의 미리보기 버전 고객입니다. “슬롯 예측 도구는 BigQuery를 차별화해 주는 정말 놀라운 도구입니다. 이 기능이 포함된 무료 체험판은 중요한 분석 워크로드의 슬롯 요구사항을 예측함에 있어 매우 우수한 결과를 보여줬습니다.” - 발라 나타라잔, PayPal 데이터 인프라 및 클라우드 엔지니어링 부문 전무이사
BigQuery 관리자의 하루를 살펴보며 여러 기능이 어떤 도움이 되는지 알아보겠습니다. 아침에 출근해 BigQuery UI에 로그인하면 쿼리, 용량, BQ 환경을 이해, 관리, 모니터링할 수 있는 중앙 홈으로 Administrator Hub가 표시됩니다.
리소스 차트에서 환경을 실시간으로 모니터링하는데 몇 시간 후 슬롯 사용량의 감소가 확인되어 추가 조사를 하기로 결정합니다.
새 오류 차트를 보면 권한 거부 및 잘못된 오류가 급증하는 것을 알 수 있습니다. 프로젝트, 예약, 사용자, 작업 우선순위 등의 필터를 사용해 오류를 추가로 조사하면 아침부터 적용된 변경사항을 파악하여 슬롯을 효율적으로 활용하도록 수정할 수 있습니다.
오후가 되자 일주일 동안 작업 실행 속도가 점차 느려지고 있음을 발견한 데이터 분석가가 찾아옵니다. 리소스 차트를 사용해 슬롯 사용률이 최대 용량에 도달했음을 확인합니다. 더 자세히 살펴본 결과, 새 워크플로 확장으로 인해 슬롯이 꾸준히 증가하여 모든 슬롯이 계속해서 전부 활용되고 있었습니다.
이제 슬롯 예측 도구 탭으로 전환하여 100%의 유사한 전체 슬롯 사용률 뷰를 보고 일주일 동안 슬롯 사용량이 어떻게 증가했는지 확인합니다. 예약 데이터를 보고 다양한 양의 슬롯을 추가해 성능을 얼마나 개선할 수 있을지 분석할 수 있습니다. 슬롯을 추가하기로 결정했으면 컨텍스트에 맞게 특정 예약에 사용할 슬롯을 직접 구매할 수 있습니다.
리소스 차트는 정식 버전으로 제공되며 슬롯 예측 도구는 BigQuery 예약을 사용하는 고객에게 미리보기 버전으로 제공됩니다. 관리 기능이 BigQuery 워크로드를 규모에 맞게 모니터링하고 관리하는 데 도움이 되기를 바랍니다.
