クラスタ リソースの使用方法について

Standard

---

このページでは、GKE 使用状況測定を使用して、Google Kubernetes Engine（GKE）クラスタの使用プロファイルを把握し、使用量を組織内の個々のチームやビジネス ユニットと結び付ける方法について説明します。GKE 使用状況測定を使用しても、プロジェクトには課金されません。リソースの使用状況を細かく把握できます。

注: GKE 使用状況測定ではなく、GKE の費用の割り当てを使用することをおすすめします。GKE の費用の割り当てを使用すると、クラスタの費用をユーザーに分配できます。

概要

GKE 使用状況測定では、クラスタのワークロードのリソース リクエストと実際のリソース使用量に関する情報がトラッキングされます。現在、測定対象となっているのは、CPU、GPU、TPU、メモリ、ストレージ、下り（外向き）ネットワーク（オプション）に関する情報です。Kubernetes の名前、ラベル、またはその組み合わせを使用して、リソースの使用量を識別できます。

データは BigQuery に保存され、Looker Studio などの外部ツールを使用して直接クエリまたはエクスポートして分析を行うことが可能です。

GKE 使用状況測定は、次のようなシナリオで役立ちます。

• テナントごとにクラスタの名前空間が異なるマルチテナント クラスタで、テナントごとのリソース リクエストと実際のリソース使用量をトラッキングする。
• ワークロードに関連する Kubernetes オブジェクトに一意のラベルを割り当て、特定のクラスタで実行されているワークロードのリソース使用量を確認する。
• リソース リクエストと実際のリソース使用量が大きく異なるワークロードを特定する。その結果、各ワークロードにリソースを効率的に割り当てることができます。

始める前に

始める前に、次の作業が完了していることを確認してください。

• Google Kubernetes Engine API を有効にする。
Google Kubernetes Engine API の有効化
• このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化する。すでに gcloud CLI をインストールしている場合は、gcloud components update を実行して最新のバージョンを取得する。
  注: gcloud CLI がすでにインストールされている場合には、必ず compute/region と compute/zone のプロパティを設定してください。デフォルトのロケーションを設定することで、gcloud CLI のエラー（One of [--zone, --region] must be supplied: Please specify location など）を防止できます。

制限事項

サンプルの BigQuery クエリと Looker Studio のテンプレートを使用すると、BigQuery でエクスポートした Google Cloud Billing のデータと GKE 使用状況測定データを結合し、クラスタ、名前空間、ラベル別のコスト内訳を見積もることができます。

GKE 使用状況測定データは、あくまでも参照目的のものであり、Google Cloud の請求に対する影響はありません。課金データに関しては、Google Cloud Billing が唯一の情報源となります。

次の制限が適用されます。

• 特別契約割引やクレジットは考慮されません。
• GKE の範囲外で作成されたリソースは、名前空間やラベルで追跡されません。
• Pod と PersistentVolumeClaim オブジェクトのラベルのみが使用状況レポートで追跡されます。
• 動的にプロビジョニングされた PersistentVolumes のみがサポートされています。
• pd-standard と pd-ssd のディスクタイプのみがサポートされています。GKE 使用状況測定には、同じ SKU で両方のディスクタイプのリージョン バージョンの費用が含まれる場合があります。
• Looker Studio では、バーストが可能なマシンタイプの可視化がサポートされていません。
• データは、使用中のクラスタと同じプロジェクト内の BigQuery データセットにのみエクスポートできます。
• ポート 27304、47082、47083 は、下り（外向き）ネットワークのトラッキングで予約されているため、使用しないでください。
• カスタム StorageClass オブジェクトはサポートされていません。
• 下り（外向き）ネットワーク測定は、Windows Server ノードではサポートされていません。
• 下り（外向き）ネットワーク測定は、共有 VPC または VPC ネットワーク ピアリングではサポートされていません。
• 150 個を超えるノードを持つクラスタでは、下り（外向き）ネットワーク測定はサポートされていません。

前提条件

GKE 使用状況測定を使用するには、次の前提条件を満たす必要があります。

• 実際のリソース使用量をトラッキングするには、クラスタで GKE 1.14.2-gke.3 以降を使用する必要があります。
• E2 または N2 マシンタイプを使用している場合、クラスタのバージョンは GKE 1.15.11-gke.9 以降である必要があります。
• BigQuery 課金データのエクスポートが有効になっています。料金は BigQuery の使用量に関連付けられます。
• gcloud コマンドのバージョン 250.0.0 以降が必要です。gcloud --version で確認します。
• Google Cloud プロジェクトで BigQuery API を有効にする必要があります。2018 年 7 月以降に GKE を初めて有効にした場合、API はすでに有効になっています。

GKE 使用状況測定を有効にする

GKE 使用状況測定を有効にするには、まず、クラスタ、プロジェクト内の複数のクラスタまたはプロジェクト全体に対して BigQuery データセットを作成する必要があります。データセットとクラスタのマッピングの選択方法については、1 つ以上の BigQuery データセットの選択をご覧ください。

次に、新しいクラスタの作成時や既存のクラスタの変更時に、GKE 使用状況測定を有効にします。

必要に応じて、Looker Studio ポータル ダッシュボードを作成して、クラスタのリソース使用量を可視化できます。

BigQuery データセットを作成する

Google Cloud プロジェクトのクラスタで GKE 使用状況測定を使用するには、BigQuery データセットを作成してから、使用するクラスタを構成します。同じプロジェクト内のクラスタであれば、複数のクラスタのリソース使用量に関する情報を、単一の BigQuery データセットを使って格納できます。

詳細については、データセットの作成をご覧ください。データセットの Default table expiration を Never に設定すると、テーブルの有効期限が無期限になります。テーブルの有効期限が切れると、空のテーブルが自動的に再作成されます。

注: この機能は、Google サービス アカウント（[e-mail]）と Kubernetes Engine サービス エージェントのロールを使用して、指定された BigQuery データセットに書き込みます。

警告: クラスタが GKE 使用状況測定データのロギングに使用している BigQuery データセットまたはテーブルを削除すると、Cloud Logging で、Failed to upload a record to BigQuery などの一時的な警告が表示されます。警告を解決するには、データセットを再作成するか、別のデータセットでクラスタを構成する必要があります。履歴データも失われます。

クラスタを対象に GKE 使用状況測定を有効にする

gcloud コマンドまたは Google Cloud コンソールを使用して、新規または既存のクラスタで GKE 使用状況測定を有効にできます。

GKE 使用状況測定を有効にすると、デフォルトでリソースの使用量測定も有効になります。リソース リクエストのトラッキングを継続しつつ、リソースの使用量測定だけを無効にするには、gcloud コマンドを使用して GKE 使用状況測定を有効にする方法をご覧ください。

下り（外向き）ネットワークの測定は、デフォルトでは無効になっています。有効にするには、オプション: 下り（外向き）ネットワーク測定を有効にするの注意事項と手順をご覧ください。

新しいクラスタを作成する

クラスタを作成するには、gcloud CLI や Google Cloud コンソールを使用します。

gcloud

クラスタを作成し、GKE 使用状況測定を有効にするには、次のコマンドを実行します。

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

次のように置き換えます。

• CLUSTER_NAME: GKE クラスタの名前。
• RESOURCE_USAGE_DATASET: BigQuery データセットの名前。

リソース使用量測定はデフォルトで有効になっています。リソース使用量測定を無効にして、リソース リクエストのみをトラッキングするには、上記のコマンドに --no-enable-resource-consumption- metering フラグを追加します。なお、このトピックの残りのサンプルクエリについても、リソース使用量のクエリを実行しないように変更する必要があります。

注: 下り（外向き）ネットワーク測定はデフォルトで無効になっています。有効にするには、このトピックのオプション: 下り（外向き）ネットワーク測定を有効にするに記載されている注意事項と手順をご覧ください。

BigQuery データセット内に必要なテーブルがある場合は、クラスタの起動時に作成されます。

Console

クラスタを作成し、GKE 使用状況測定を有効にするには:

注: Google Cloud コンソールを使用する場合、リソース使用量測定だけを無効にしながら GKE 使用状況測定を有効にすることはできません。必要な場合は、代わりに gcloud の手順を行います。

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. [ 作成] をクリックします。

3. ナビゲーション パネルの [クラスタ] の下の [機能] をクリックします。

4. [GKE 使用状況測定を有効にする] を選択します。

5. BigQuery データセットの名前を入力します。

6. オプション: 下り（外向き）ネットワーク測定を有効にするの注意事項と手順を確認して、[下りネットワーク測定を有効にする] を選択します。

7. クラスタの構成を続行して、[作成] をクリックします。

既存のクラスタを構成する

gcloud

既存のクラスタで GKE 使用状況測定を有効にするには、次のコマンドを実行します。

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

リソース使用量測定はデフォルトで有効になっています。リソース使用量測定を無効にして、リソース リクエストのみをトラッキングするには、上記のコマンドに --no-enable-resource-consumption- metering フラグを追加します。なお、このトピックの残りのサンプルクエリについても、リソース使用量のクエリを実行しないように変更する必要があります。

注: 下り（外向き）ネットワーク測定はデフォルトで無効になっています。有効にするには、このトピックのオプション: 下り（外向き）ネットワーク測定を有効にするに記載されている注意事項と手順をご覧ください。

--resource-usage-bigquery-dataset フラグの値を変更して、既存のクラスタが使用状況測定データの保存に使用するデータセットを変更することもできます。

クラスタが更新されると、必要に応じて BigQuery データセット内にテーブルが作成されます。

コンソール

注: Google Cloud コンソールを使用する場合、リソース使用量測定だけを無効にしながら GKE 使用状況測定を有効にすることはできません。必要な場合は、代わりに gcloud の手順を行います。

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. 変更するクラスタの横にある [アクション] をクリックし、 [編集] をクリックします。

3. [機能] で、[GKE 使用状況測定] の横の [編集] をクリックします。

4. [GKE 使用状況測定を有効にする] を選択します。

5. BigQuery データセットの名前を入力します。

6. オプション: 下り（外向き）ネットワーク測定を有効にするの注意事項と手順を確認して、[下りネットワーク測定を有効にする] を選択します。

7. [変更を保存] をクリックします。

オプション: 下り（外向き）ネットワーク測定を有効にする

デフォルトでは、下り（外向き）ネットワークのデータは収集またはエクスポートされません。下り（外向き）ネットワークを測定するには、各ノードでネットワーク測定エージェント（NMA）を実行する必要があります。NMA は特権 Pod として実行されます。ノード上でリソース（CPU、メモリ、ディスク容量）を使用し、カーネルで nf_conntrack_acct sysctl フラグを有効にします（接続トラッキング フローのアカウンティング用）。

これらの注意事項をよく理解している場合は、GKE の使用状況測定で使用するように下り（外向き）ネットワークの追跡を有効にできます。下り（外向き）ネットワークのトラッキングを有効にするには、クラスタの作成時または更新時に --enable-network-egress-metering オプションを指定するか、Google Cloud コンソールで GKE 使用状況測定を有効にする際に、[下りネットワーク測定を有効にする] を選択します。

下り（外向き）ネットワーク測定を無効にするには、コマンドラインでクラスタを更新するときに、フラグ --no-enable-network-egress-metering を追加します。または、Google Cloud コンソールのクラスタの [GKE 使用状況測定] セクションで [下りネットワーク測定を有効にする] をオフにします。

GKE 使用状況測定が有効かどうか確認する

GKE 使用状況測定がクラスタで有効になっているかどうか、どの BigQuery データセットにクラスタのリソース使用量データが格納されているかを確認するには、次のコマンドを使用します。

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

GKE 使用状況測定が有効でない場合は、出力が空になります。有効な場合は、クラスタで使用される BigQuery データセットが次のように出力されます。

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

1 つ以上の BigQuery データセットを選択する

データセットでは、プロジェクト内に複数のクラスタの GKE 使用状況測定データを保持できます。使用するデータセットの数はセキュリティ要件によって異なります。

• プロジェクト全体で 1 つのデータセットを使用すると、管理が容易になります。
• クラスタごとにデータセットを使用すると、データセットに対するアクセス権をきめ細かく委任できます。
• クラスタの関連グループごとにデータセットを使用すると、必要に応じて簡単さときめ細かさを適切に組み合わせることができます。

Looker Studio ダッシュボードで GKE 使用状況測定データを可視化する

GKE 使用状況測定データは、Looker Studio ダッシュボードを使用して可視化できます。これにより、クラスタ名、名前空間、ラベルでデータをフィルタリングできます。レポート期間を動的に調整することもできます。Looker Studio と BigQuery の使用経験がある方は、カスタマイズされたダッシュボードを作成できます。また、GKE 使用状況測定専用のダッシュボードのクローンを作成することもできます。

注: アップロードのレイテンシのため、GKE 使用状況測定データと Cloud Billing データとの間に矛盾がある場合があります。Cloud Billing のデータは BigQuery に表示されるまでに最大 5 時間かかりますが、GKE 使用状況測定データは約 1 時間ごとに BigQuery に表示されます。

ダッシュボードを使用すると、クラスタに対するリソース リクエストと使用量を可視化できます。

注: Looker Studio は、Cloud カスタマーケアではサポートされていません。詳しくは、Looker Studio ヘルプセンターをご覧ください。

前提条件

1. Google Cloud Billing のデータを BigQuery にエクスポートできるようにします（まだ有効になっていない場合）。

   このプロセスでデータセットを作成しますが、データセット内にテーブルが表示され、更新されるまでに最大 5 時間かかります。テーブルが表示されると、gcp_billing_export_v1_BILLING_ACCOUNT_ID のような名前になります。

2. プロジェクト内の少なくとも 1 つのクラスタで GKE 使用状況測定を有効にします。BigQuery データセットに選択した名前をメモしておきます。

3. Looker Studio が有効になっていない場合は有効にします。

4. 次の情報を収集します。ダッシュボードの構成時に必要になります。

   • Cloud Billing エクスポート データセット ID とデータテーブル
   • GKE 使用状況測定データセット ID

5. BigQuery CLI のバージョン 2.0.58 以降を使用していることを確認します。バージョンを確認するには、bq version と gcloud components update を実行して BigQuery CLI を更新します。

6. このセクションのコマンドは、Linux ターミナルまたは Cloud Shell で実行する必要があります。

BigQuery の費用内訳表を作成する

1. 次のいずれかのクエリ テンプレートをダウンロードします。

   • 使用量測定を有効にした場合は、this template をダウンロードしてください。
   • 使用量測定を有効にしていない場合は、this template をダウンロードしてください。

   Cloud Shell を使用している場合は、次のコマンドを実行するディレクトリにこのファイルをコピーします。

2. 次のコマンドを実行して、環境変数を設定します。

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
   export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
   export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
   export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
   export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
   export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
   export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
   

   次のように置き換えます。

   • YOUR_BILLING_EXPORT_TABLE_PATH: 生成された課金データのエクスポート テーブルへのパス。このテーブルの名前は PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx のようになります。
   • YOUR_USAGE_METERING_PROJECT_ID: Google Cloud プロジェクトの名前。
   • YOUR_USAGE_METERING_DATASET_ID: BigQuery で作成したデータセットの名前（all_billing_data など）。
   • YOUR_USAGE_METERING_START_DATE: クエリの開始日（YYYY-MM-DD 形式）。
   • YOUR_COST_BREAKDOWN_TABLE_ID: 選択した新しいテーブルの名前（usage_metering_cost_breakdown など）。このテーブルは Looker Studio への入力として使用されます。
   • YOUR_TEMPLATE_PATH: ダウンロードしたクエリ テンプレートの名前（usage_metering_query_template_request_and_consumption.sql または usage_metering_query_template_request_only.sql）。
   • YOUR_RENDERED_QUERY_PATH: 選択したレンダリングされたクエリのパスの名前（cost_breakdown_query.sql など）。

   たとえば、環境変数は次のようになります。

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
   export USAGE_METERING_PROJECT_ID=my-billing-project
   export USAGE_METERING_DATASET_ID=all_billing_data
   export USAGE_METERING_START_DATE=2022-05-01
   export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
   export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
   export USAGE_METERING_QUERY=cost_breakdown_query.sql
   

3. テンプレートからクエリをレンダリングします。

   sed \
   -e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
   -e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
   -e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
   -e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
   "$USAGE_METERING_QUERY_TEMPLATE" \
   > "$USAGE_METERING_QUERY"
   

4. 24 時間ごとに更新される新しい費用内訳テーブルを作成します。

   bq query \
   --project_id=$USAGE_METERING_PROJECT_ID \
   --use_legacy_sql=false \
   --destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
   --schedule='every 24 hours' \
   --display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
   --replace=true \
   "$(cat $USAGE_METERING_QUERY)"
   

   クエリのスケジューリングの詳細については、スケジュールされたクエリを設定するをご覧ください。

BigQuery データソースを作成する

1. Looker Studio で、[データソース] に移動します。
2. [作成]、[データソース] の順にクリックします。
3. [BigQuery] を選択します。
4. データソースに名前を付けます。ツールバーで無題のデータソースをクリックして、テキストをわかりやすい名前に置き換えます。
5. [カスタムクエリ] を選択して、プロジェクト ID を選択します。

6. 次のクエリをクエリエディタに貼り付けます。

   SELECT
     *
   FROM
     `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`
   

7. [接続] をクリックします。

Looker Studio ダッシュボードを作成する

1. GKE 使用状況測定ダッシュボードをプロジェクトにコピーします。
2. [その他のオプション] をクリックし、 [コピーを作成] をクリックします。
3. [Copy this report] ダイアログの [New data source] リストで、作成したデータソースを選択します。
4. [Copy report] をクリックします。

ダッシュボードが作成され、プロジェクトのLooker Studio レポートのリストにいつでもアクセスできるようになります。

Looker Studio ダッシュボードを使用する

ダッシュボードには複数のレポートが含まれています。

使用状況の内訳

このレポートには、同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、全体的なクラスタ使用率が表示されます。また、CPU、メモリ、名前空間による下り（外向き）ネットワークなど、リソースタイプに関する詳細情報も格納されます。レポートデータを 1 つ以上のクラスタまたは名前空間に制限できます。

未割り当てリソースの使用状況の内訳

このレポートは、使用状況の内訳レポートに似ていますが、未割り当てリソースがすべての名前空間に均等に配分されています。未割り当てリソースには、アイドル リソースや、その時点で GKE 使用状況測定によって特定のテナントに割り当てられていないリソースが含まれます。

費用の傾向 - 名前空間別の詳細

同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、名前空間別の使用量の傾向が表示されます。1 つまたは複数のクラスタ、名前空間、リソース、SKU を選択できます。

費用の傾向 * ラベル別の詳細

同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、費用の傾向が表示されます。1 つまたは複数のクラス、リソース、ラベル名、ラベル値を選択できます。

使用量をベースとした測定

同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、使用量の傾向が表示されます。1 つまたは複数の名前空間、ラベルキー、ラベル値を選択できます。このレポートは、少なくとも 1 つのクラスタでリソース使用量測定が有効になっている場合にのみ生成されます。

注: 使用状況測定と Cloud Billing ではデータの取得頻度が異なるため、ダッシュボードに表示されるデータは暫定的なものです。これは、あくまで情報提供を目的としたものです。

ナビゲーション メニューを使用して、ページを変更できます。ページに表示する期間を日付ピッカーで変更できます。組織のメンバーとレポートの共有やアクセスの取り消しを行うには、[Share Report] をクリックします。

レポートをプロジェクトにコピーした後、Looker Studio のレポート エディタでレポートをカスタマイズできます。Google が提供するレポート テンプレートが変更されても、コピーに影響はありません。

BigQuery を使用して GKE 使用状況測定データを探索する

BigQuery を使用するリソース リクエストに関するデータを表示するには、関連する BigQuery データセット内の gke_cluster_resource_usage テーブルに対してクエリを実行します。

実際のリソースの使用量に関するデータを表示するには、gke_cluster_resource_consumption テーブルに対してクエリを実行します。下り（外向き）ネットワークの使用量のデータについては、リソース リクエストに下り（外向き）の概念がないことから、gke_cluster_resource_usage に保持されます。

BigQuery でのクエリの使用の詳細については、クエリの実行をご覧ください。スキーマのフィールドは固定ですが、今後さらに多くのフィールドが追加される可能性があります。

これらのクエリは簡単な例です。クエリをカスタマイズして必要なデータを見つけてください。

リソース リクエストに対するクエリ

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

リソース使用量に対するクエリ

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

次のように置き換えます。

• CLUSTER_GCP_PROJECT: クエリを実行するクラスタを含む Google Cloud プロジェクトの名前。
• USAGE_METERING_DATASET: 使用状況測定テーブルの名前。
• NAMESPACE: 名前空間の名前。

その他の例

より高度な例を見るには、以下のセクションを開いてください。

名前空間別のコストをクエリで取得する方法

以下のクエリでは、関連するクラウド リソースの請求情報が Google Cloud Billing のデータのエクスポート データセットにエクスポートされていない場合、クラスタ リソース使用状況データを無視します。この遅延は、エクスポートされた Google Cloud 課金データの最新レコードよりもクラウド リソースの使用時間枠が新しい場合に発生します。課金データのエクスポートのレイテンシは最大 5 時間です。

リソース リクエスト

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

リソースの使用量

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

名前空間とラベルで分類された特定の期間のコストをクエリで取得する方法

これらのクエリは、名前空間のラベルごとに、特定の期間のコストを表示します。

名前空間とラベルで分類した期間別のリソース リクエスト

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

名前空間とラベルで分類した期間別のリソース使用量

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

実際のリソース使用量を時系列のリソース リクエストの割合で示す方法

このクエリでは、CPU リクエストに対する実際の CPU 使用量の比率が表示され、実際の要件に比べて CPU が過小もしくは過多になっていないかが確認できます。

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC
  

BigQuery における GKE 使用量測定のスキーマ

次の表では、BigQuery データセットにおける GKE 使用状況測定テーブルのスキーマについて説明しています。リソース使用量測定とリソース リクエストをサポートする GKE バージョンをクラスタで実行している場合には、同じスキーマを持つテーブルが追加で作成されます。

フィールド	タイプ	説明
cluster_location	STRING	GKE クラスタが存在する Compute Engine のゾーンまたはリージョンの名前。
cluster_name	STRING	GKE クラスタの名前。
namespace	STRING	使用状況データの生成元の Kubernetes 名前空間。
resource_name	STRING	cpu、memory、storage などのリソース名。
sku_id	STRING	基盤となる Google Cloud クラウド リソースの SKU ID。
start_time	TIMESTAMP	使用開始時刻の UNIX タイムスタンプ。
end_time	TIMESTAMP	使用終了時刻の UNIX タイムスタンプ。
fraction	FLOAT	クラウド リソースの使用量の割合（使用状況別）。1 つの名前空間が専用のクラウド リソースを使用する場合、その割合は常に 1.0 になります。複数の名前空間で共有されるリソースの場合は、リクエストされた量を基になるクラウド リソースの合計量で割って計算されます。
cloud_resource_size	INTEGER	基盤となる Google Cloud リソースのサイズ。たとえば、n1-standard-2 インスタンスの vCPU のサイズは 2 になります。
labels.key	STRING	使用状況に関連する Kubernetes ラベルのキー。
labels.value	STRING	使用状況に関連する Kubernetes ラベルの値。
project.id	STRING	GKE クラスタが存在するプロジェクトの ID。
usage.amount	FLOAT	使用された usage.unit の量。
usage.unit	STRING	リソースの使用状況を測定する基本単位。たとえば、標準ストレージの基本単位はバイト秒です。

GKE 使用状況測定の単位は、次のように解釈する必要があります。

1. CPU usage.unit は、Pod がリクエストまたは使用した合計 CPU 時間（秒単位）です。たとえば、2 個の Pod のそれぞれが 30 個の CPU をリクエストし、15 分間実行した場合、リクエスト テーブルの合計量は 54,000 秒になります（2 Pod × 30 CPU × 15 分 × 60 秒 / 分）。

2. メモリ usage.unit はバイト秒です。これは、Pod がリクエストまたは使用した時間の経過に伴うメモリの積分です。たとえば、2 個の Pod のそれぞれが 30 GiB をリクエストし、15 分間実行した場合、リクエスト テーブルの合計量は 5.798 + 13 バイト秒となります（2 Pod × 30 GiB × 15 分 × 60 秒 / 分 x 1,073,741,824 バイト / GiB）。

GKE 使用状況測定データが BigQuery に書き込まれるタイミングの把握

GKE 使用状況測定が BigQuery の指標に使用状況レコードを書き込む条件は 2 つあります。

1. Pod のフェーズが succeeded または failed に変更されたか、または Pod が削除されたとき。

2. Pod の実行中に、レコードを書き込む 1 時間ごとのスケジュールのタイムスタンプに到達したとき。

   GKE 使用状況測定では、現在実行中のすべての Pod の Pod 使用状況レコードを BigQuery に書き込む 1 時間ごとのスケジュールが生成されます。スケジュールのタイムスタンプは、すべてのクラスタで同じではありません。

   そのタイムスタンプで複数の Pod が実行中の場合、end_time が同じ複数の使用状況レコードが作成されます。これらの使用状況レコードの end_time は、1 時間ごとのスケジュールのタイムスタンプを表します。

   また、複数の Pod が数時間実行されている場合、使用状況レコードのセットの end_time が別の使用状況レコードのセットの start_time と一致します。

GKE 使用状況測定を無効にする

gcloud

クラスタで GKE 使用状況測定を無効にするには、次のコマンドを実行します。

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

注: BigQuery データセットは保持されます。データが不要になり、このデータを使用するクラスタがない場合、データを削除できます。

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. 変更するクラスタの横にある [アクション] をクリックし、 [編集] をクリックします。

3. [機能] で、[GKE 使用状況測定] の横の [編集] をクリックします。

4. [GKE 使用状況測定を有効にする] をクリアします。

5. [変更を保存] をクリックします。

次のステップ

• クラスタ マルチテナンシーについて学習する
• Cloud Billing について学習する
• Looker Studio について学習する