BigQuery への課金データのエクスポートで GCP 利用コストを管理
Google Cloud Japan Team
柔軟でスケーラブルなクラウドの場合、その日々の使用量は需要次第で驚くほど大きく変動します。課金の対象は使用した分だけですが、それでもお客様からは、請求額の根拠をもっと理解できるようにしてほしいという要望をよくいただきます。
課金への理解を深めていただくには、利用状況と請求額の詳細データに容易にアクセスできることが前提条件となります。そこで Google はこのたび、データ ウェアハウス サービスである Google BigQuery への課金データのエクスポート機能を正式リリース(GA)し、Google Cloud Platform(GCP)サービスの利用コストをこれまで以上に正確かつタイムリーに把握できるようにしました。
BigQuery への課金データのエクスポートは、従来の CSV / JSON ファイルへの課金データのエクスポート機能を進化させたものです。名前が示すとおり、クラウドの利用状況のデータを BigQuery データセットに直接エクスポートします。BigQuery に送られた課金データは、単純な SQL クエリで分析したり、Google Data Studio で可視化したり、他のツールにエクスポートして分析したりすることが可能です。
新たに発生した課金データは、利用できる状態になるたびに自動的に BigQuery データセットにエクスポートされます(通常、エクスポートは毎日複数回発生します)。エクスポートされた課金データには、データの分類や集計に役立つ次のようなデータ要素が新たに追加されています。
- コストの分類、追跡に有用なユーザー ラベル
- GCP サービスによる分類や集計時に役立つ新たなプロダクト メタデータ
- サービスの説明
- サービスのカテゴリー
- 個々のリソース タイプを一意に識別する SKU ID
- 請求書によるコスト集計に有用なエクスポート時刻
課金データセットの生成
課金データを BigQuery にエクスポートし、分析を始めるのは簡単です。まず、こちらのガイドに従ってエクスポートを有効にし、課金データセットが生成されるようにします。エクスポートを有効にするには GCP の Billing Action 権限が必要なので、自分に適切な権限を設定するか、この権限を有する管理者の協力を得るようにしてください。課金データのエクスポートをセットアップすると、数時間のうちにデータが自動的に送られるようになります。新しい課金データが利用できる状態になるたびに、BigQuery データセットは自動的に更新されます。
注釈 : BigQuery データセットに反映されるのは、課金データのエクスポートをセットアップした日からのコストだけです。従来の CSV / JSON ファイルへのエクスポート機能は現在の形式のまま利用できるので、できるかぎり早く BigQuery への課金データのエクスポートを有効にして、課金データセットを生成し、従来よりも粒度の細かいコスト分析を行えるようにすることをお勧めします。
エクスポートされた課金データへのクエリ
課金データセットが生成されるようになったらデータ分析を開始できます。完全なデータセットをエクスポートしたり、ユーザー ラベルなどの新要素を加えたり、具体的な疑問の答えを知るためにデータに対するクエリを記述したりすることができます。以下では、エクスポートされた課金データへの BigQuery クエリによって何かできるのかを示す例を 2 つお見せしましょう。例 1 : グループ化せず、すべての行を対象にクエリを実行
課金データを最も詳細に確認できるようにするには、グループによる集計を行わずにすべての行に対してクエリを実行します。このクエリは、ラベルとリソース タイプを除くすべてのフィールド(プロジェクト、プロダクトなど)が同じであることが前提となっています。例 2 : JSON 文字列のラベルによる集計
ラベルを組み合わせることで、手っとり早く簡単にコストを割り出します。上記以外のクエリ例はこちらを参照してください。もちろん、独自クエリの作成も可能です。
Data Studio による時系列での使用量の可視化
ビジネス インテリジェンス ツールの多くは、バックエンド データストアである BigQuery とのネイティブな連携機能を提供しています。たとえば Data Studio を利用すると、BigQuery 上の課金データを簡単に可視化できます。数回のクリックだけでダッシュボードをセットアップでき、ラベルによって分類および集計された最新の課金データをいつでも見ることができます。Data Studio テンプレートのコピーおよびセットアップの方法についてはこちらを参照してください。
私たち Google Cloud は、クラウドのコストをできるかぎり透明化し、予測可能なものにすることに力を注いでいます。BigQuery への課金データのエクスポートの詳細はこちらのドキュメントをご覧ください。また、課金情報をよりわかりやすくするために Google がやるべきことを、こちらのアンケートを使ってお知らせください。
* この投稿は米国時間 11 月 15 日、Product Manager である Emma Zhang と Matt Leonard によって投稿されたもの(投稿はこちら)の抄訳です。
- By Emma Zhang and Matt Leonard, Product Managers