BigQuery ジョブ エクスプローラ: BigQuery ジョブを一元的にモニタリング、トラブルシューティング

※この投稿は米国時間 2024 年 9 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。

組織内で実行されている SQL クエリのあまりの多さに手に負えなくなったことはありませんか。コストの高いクエリを特定し、その実行ユーザーを追跡し、エラーの急増を確認するのは日常茶飯事です。そのため、クエリ アクティビティの効率的なモニタリングと管理は、パフォーマンスに優れた正常なシステムの維持に欠かせません。

本日は、クエリ関連全般のコマンド センターである BigQuery ジョブ エクスプローラについてお知らせいたします。現在一般提供されている BigQuery ジョブ エクスプローラを使用すると、組織のクエリ アクティビティを詳細に把握し、トラブルシューティングを効率化して、リソース使用率を最適化できます。

「BigQuery ジョブ エクスプローラのおかげで、組織全体の SQL アクティビティを一括表示で包括的に把握できるため、異常を特定して事前に対処することが可能です。ジョブ エクスプローラはリリース以来、PayPal でプラットフォームを効率化し、最適なシステム パフォーマンスを維持する上で不可欠なアセットとなっています。」- PayPal シニア MTS データベース エンジニア、Abhijit Vyas 氏

1 つのツールでさまざまな課題を解決

BigQuery ジョブ エクスプローラは汎用性に優れたツールであり、1 つのプラットフォームから幅広いユースケースに取り組むことができます。

モニタリング: クエリ アクティビティを俯瞰

ジョブ エクスプローラにより、組織全体のあらゆる SQL アクティビティを包括的かつリアルタイムに把握できます。さまざまなソースから情報をつなぎ合わせなくても済むようになり、いつどこで何が起こっているかを一括表示で把握できます。

• リアルタイム モニタリング: ジョブのステータス、進捗状況、リソースの使用量をリアルタイムで追跡できます。

• 主な指標を一目で確認: totalSlotMs や処理されたバイト数などの指標に基づいてトラフィックを分類、分析できます。

• クエリ実行を可視化: 直感的なグラフにより、クエリ パフォーマンス パターンを簡単に把握できます。

このレベルの可視性により、潜在的な問題を事前に特定し、傾向をつかみ、リソース割り当てについて情報に基づいた意思決定を行うことができます。

トラブルシューティング: 問題を迅速に特定して解決

何か問題が発生した場合、ジョブ エクスプローラを使用して問題の根本原因を迅速に突き止めることができます。

• 複雑なクエリは不要: INFORMATION_SCHEMA クエリを記述しなくても重要なジョブ情報にアクセスできます。

• 強力なフィルタリングと並べ替え: ステータス、優先度、オーナー、プロジェクトなどでジョブをすばやく絞り込むことができます。

• 対応: ジョブ エクスプローラから直接、暴走したクエリを強制終了して、費用を節約し、リソースを回収することができます。

• クエリの詳細を確認: 任意のジョブをクリックすると、その実行グラフなどの主な実行の詳細が表示されます。

ジョブ エクスプローラにより、トラブルシューティングのプロセスが簡素化され、BigQuery 環境のスムーズな継続実行に集中できます。

最適化: パフォーマンスを改善し、費用を管理

ジョブ エクスプローラは問題に対処するだけでなく、BigQuery の使用状況を事前に最適化します。

• パフォーマンスのボトルネックを特定: リソースを過剰に消費しているクエリや、完了までに時間がかかりすぎているクエリを特定できます。

• クエリのパフォーマンス分析情報: BigQuery によってタグ付けされたクエリを見つけて対処し、実用的なパフォーマンス分析情報を得られます。

• 費用を管理: 非効率的なクエリを特定して対処することで、過剰な支出を避けられます。ごく一部のクエリに対処するだけで、大部分の最適化が済むことは少なくありません。

ジョブ エクスプローラにより、クエリ アクティビティについて詳細に把握して、BigQuery への投資を最大限に活用することができます。

次のステップ

BigQuery ジョブ エクスプローラはまだ始まりにすぎません。Google は、お客様の進化するニーズに応えるために、BigQuery の機能を継続的に改善、拡張することに尽力しています。今後の最新情報にもご注目ください。また、bq-query-inspector-feedback@google.com までお気軽にフィードバックをお寄せください。この機能の詳細については、公開ドキュメントをご覧ください。

ー BigQuery プロダクト マネージャー Vinay Yerramilli