リアルタイム モニタリングに BigQuery 管理リソースグラフを使用する
Google Cloud Japan Team
※この投稿は米国時間 2021 年 3 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。
BigQuery を使用して大規模な分析を行う際には、状況を把握してリアルタイムで対応できることが不可欠です。そこで、BigQuery 管理リソースグラフをご紹介いたします。リソースグラフは、BigQuery 環境のリアルタイムのモニタリングとトラブルシューティングのために、ネイティブですぐにご利用いただける機能です。リソースグラフを使用すると、スロットの使用量、ジョブの同時実行数、ジョブのパフォーマンスの過去の傾向を簡単に把握できるため、BigQuery 環境がスムーズに継続実行されるよう対応することが可能になります。
具体的には、次のようなメリットがあります。
プロジェクト、予約、ユーザーなど、さまざまな項目でリソースの使用状況を判断して、問題のあるクエリの一時停止などの修正対応を行うことができます。
リソースの使用状況の推移を把握し、BigQuery 環境のスロット容量を最適化できるため、容量の管理が可能になります。
リソースグラフの使用例
朝、熱いコーヒーを片手に仕事を始めるや否や、クエリの実行が予想よりも遅いと数名の同僚から苦情が寄せられたとします。リソースグラフを開くと、スロットの使用量が急増していることがすぐにわかりました。急増の原因は何でしょうか。急増が発生した期間にズームインし、さまざまな項目でグループ化しました。
ジョブ項目を見ると、スケジュール設定されていた新しいクエリジョブが 10 分前からスロット リソースのかなりの部分を消費していることがわかりました。
リソースグラフは、こうした図をレンダリングするために、BigQuery の INFORMATION_SCHEMA テーブルを活用します。つまり、すべてのデータを直接クエリして、独自のダッシュボードとモニタリングのプロセスを作成することもできるのです。リソースグラフを使い始めやすくするために、GitHub に INFORMATION_SCHEMA クエリの例が用意されています。この例では、組織のスロットと予約状況、ジョブの実行、ジョブのエラーなどのレポートをご覧いただけます。これらのクエリから作成された Google データポータルのダッシュボード テンプレートを表示することも可能です。
BigQuery 管理者向けのリソースグラフは現在、BigQuery Reservations を使用しているお客様に一般公開プレビュー版でご利用いただけます。BigQuery 環境の管理にぜひお役立てください。リソースグラフの使用方法について詳しくは、こちらをご参照ください。
プロダクト マネージャー Manish Dalwadi
ソフトウェア エンジニア Alice Zhu
