BigQuery の管理を容易化するリソースグラフとスロット見積もりツール

※この投稿は米国時間 2021 年 12 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。

BigQueryでのお客様の分析ワークロードやフットプリントが増加するにつれて、モニタリングと管理の要件も変化していきます。こうした中でお客様が望むのは、大規模環境の管理に対応でき、状況に応じた対処が可能な機能です。また、BigQuery 環境を最適化できる容量管理の機能も求められています。Google の BigQuery Administrator Hub の機能を使用することで、BigQuery の大規模な管理を実現できます。BigQuery Administrator Hub には、リソースグラフとスロット見積もりツールという 2 つの重要な機能が備わっており、管理者が BigQuery 環境を今まで以上に的確に把握できるようサポートします。

リソースグラフは管理者がネイティブですぐに利用できる機能です。スロット使用量のモニタリング、過去の傾向に基づいた容量の管理、ジョブのパフォーマンスに対するトラブルシューティング、クエリの自己診断、必要に応じた対応などを行うことが可能です。主要な指標（スロット使用量、ジョブのパフォーマンス、同時実行ジョブ、処理されたバイト数、失敗したジョブ）が可視化された状態で提供されます。リソースグラフは、INFORMATION_SCHEMA テーブルを使用して作成およびレンダリングされ、お客様は目的に特化したダッシュボードでデータを把握したり、そのデータを直接クエリして独自のダッシュボードやモニタリング プロセスを構築したりできます。

BigQuery のお客様である Snap は、リソースグラフの先行ユーザーです。「管理リソースグラフは、スロットの使用状況や、スロット使用率を押し上げているワークロードやクエリを把握できる素晴らしいツールです。このツールのおかげで BigQuery 環境の可視性が向上しました」と、Snap, Inc. の BigData インフラストラクチャ担当エンジニアリング マネージャーである Muthu Hariharasubramanian 氏は述べます。

スロット見積もりツールは、管理者がパフォーマンスに基づいて BigQuery の容量の見積りや最適化を実行できる、インタラクティブな容量管理ツールです。このツールにより、お客様は過去の使用状況に基づいてキャパシティ プランニングを決定することができます。また、ワークロードやパフォーマンスに基づいた容量を見積って最適化するのにも役立ちます。

PayPal はスロット見積もりツールのプレビュー カスタマーです。「スロット見積もりツールはまさに驚くべきもので、BigQuery の差別化要因です。このツールを試用したことで、重要な分析ワークロードのスロット要件予測に関して非常に良い結果が得られました。」と、PayPal 社のデータ インフラストラクチャおよびクラウド エンジニアリング担当シニア ディレクターの Bala Natarajan 氏は語ります。

BigQuery 管理者の一日を参考にして、上記のさまざまな機能がどのように役に立つのか見ていきましょう。朝、管理者が BigQuery UI にログインすると、ホーム画面の Administrator Hub が表示されます。この画面で一元的にクエリ、容量、BQ 環境の把握、管理、モニタリングを行います。

リソースグラフで環境をリアルタイムでモニタリングしていたところ、数時間後にスロット使用量が減少したことがわかったので、詳しく調査することにしました。

新しいエラーグラフを確認してみると、アクセスの拒否と無効なエラーが急増していることがわかりました。プロジェクト、予約、ユーザー、ジョブの優先度などのフィルターを使用して、エラーをさらに詳しく調査し、朝の時点から何が変化したのかを把握して修正することで、スロットを効率的に利用できます。

その日のうちに、今度はデータ アナリストから「ジョブの実行速度が 1 週間にわたって徐々に低下している」と連絡が入りました。リソースグラフを確認すると、スロット使用率が最大容量に達していることが判明しました。さらに詳しく調べたところ、新しいワークフローを 1 つ増やしたことが原因で、スロット数が徐々に増加し、すべてのスロットが完全に使用されている状態が続いているとわかりました。

[スロット見積もりツール] タブに切り替えると、同じようにスロット完全使用率が 100% であることが表示され、1 週間にわたってスロット使用率が上昇しているのが確認できました。予約データを調べ、スロットを追加することでどの程度パフォーマンスを改善できるか分析できます。スロットの追加を決めた場合、状況に応じて特定の予約用のスロットを直接購入することができます。

リソースグラフは一般提供されており、スロット見積もりツールは Reservations を使用しているお客様にプレビュー版で提供されています。これらの管理機能により、お客様の BigQuery ワークロードの大規模なモニタリングおよび管理がさらに快適になることを願っています。

-プロダクト マネージャー Vidya Shanmugam

-ソフトウェア エンジニア Alice Zhu