Comprendre l'utilisation des ressources de cluster

Standard

Cette page explique comment utiliser la fonction de mesure de l'utilisation de Google Kubernetes Engine pour comprendre les profils d'utilisation des clusters Google Kubernetes Engine (GKE) et associer l'utilisation à des équipes individuelles ou à des unités commerciales au sein de votre entreprise. La mesure de l'utilisation de GKE vous permet de comprendre l'utilisation des ressources à un niveau précis et n'a aucune incidence sur la facturation de votre projet.

Présentation

La mesure de l'utilisation de GKE permet de suivre les informations relatives aux demandes de ressources et à leur utilisation réelle par les charges de travail de votre cluster. Actuellement, la mesure de l'utilisation de GKE permet de suivre les informations relatives au processeur, au GPU, au TPU, à la mémoire, à l'espace de stockage et, éventuellement, à la sortie réseau. Vous pouvez différencier l'utilisation des ressources à l'aide d'espaces de noms Kubernetes, de libellés ou d'une combinaison des deux.

Les données sont stockées dans BigQuery. Vous pouvez ensuite les interroger directement ou les exporter pour analyse à l'aide d'outils externes tels que Looker Studio.

La mesure de l'utilisation de GKE est utile pour les scénarios suivants :

Effectuer le suivi des demandes de ressources par locataire et de la consommation réelle dans un cluster mutualisé où chaque locataire fonctionne dans un espace de noms donné.
Déterminer la consommation de ressources d'une charge de travail exécutée dans un cluster donné, en attribuant une étiquette unique aux objets Kubernetes associés à la charge de travail.
Identifier les charges de travail dont les demandes de ressources présentent un écart important par rapport à leur consommation réelle, afin d'allouer les ressources en fonction des différentes charges de travail.

Avant de commencer

Avant de commencer, effectuez les tâches suivantes :

Activez l'API Google Kubernetes Engine.

Activer l'API Google Kubernetes Engine

Si vous souhaitez utiliser Google Cloud CLI pour cette tâche, installez puis initialisez gcloud CLI. Si vous avez déjà installé gcloud CLI, assurez-vous de disposer de la dernière version en exécutant la commande gcloud components update.
Remarque : Pour les installations de gcloud CLI existantes, veillez à définir les propriétés compute/region et compute/zone. En définissant des emplacements par défaut, vous pouvez éviter les erreurs gcloud CLI telles que celle-ci : One of [--zone, --region] must be supplied: Please specify location.

Limites

Vous pouvez utiliser les exemples de requêtes BigQuery et le modèle Looker Studio pour joindre les données de mesure de l'utilisation de GKE aux données de facturation Google Cloud exportées dans BigQuery, afin d'estimer la répartition des coûts par cluster, espace de noms et libellés.

Les données de mesure de l'utilisation de GKE sont purement indicatives et n'ont aucune incidence sur votre facture Google Cloud. Pour les données de facturation, votre facture Google Cloud est la seule source fiable.

Les limites suivantes s'appliquent :

Les remises contractuelles spéciales et les crédits ne sont pas pris en compte.
Le suivi des ressources créées en dehors du champ d'application de GKE n'est pas effectué par espace de nommage ou étiquette.
Seuls les libellés des objets Pod et PersistentVolumeClaim sont suivis à l'aide de rapports d'utilisation.
Seules les ressources PersistentVolumes provisionnées dynamiquement sont compatibles.
Seuls les types de disques pd-standard et pd-ssd sont compatibles. La mesure de l'utilisation de GKE peut inclure des coûts pour les versions régionales des deux types de disques sous le même code SKU.
Looker Studio n'est pas compatible avec la visualisation des types de machines avec utilisation intensive.
Vous ne pouvez exporter des données vers un ensemble de données BigQuery que s'il se trouve dans le même projet que votre cluster.
Vous ne devez pas utiliser les ports 27304, 47082 et 47083, car ces ports sont réservés par le suivi de sortie réseau.
Les objets StorageClass personnalisés ne sont pas acceptés.
La mesure de la sortie réseau n'est pas disponible pour les nœuds Windows Server.
La mesure de la sortie réseau n'est pas compatible avec le VPC partagé ou l'appairage de réseaux VPC.
La mesure de la sortie réseau n'est pas disponible pour les clusters de plus de 150 nœuds.

Prérequis

Avant d'utiliser la mesure de l'utilisation de GKE, vous devez remplir les conditions préalables suivantes :

Pour effectuer le suivi de la consommation réelle des ressources, le cluster doit utiliser GKE 1.14.2-gke.3 ou une version ultérieure.
Si vous utilisez des types de machines E2 ou N2, la version du cluster doit être GKE 1.15.11-gke.9 ou une version ultérieure.
L'exportation de la facturation pour BigQuery est activée. Des frais sont associés à l'utilisation de BigQuery.
La version 250.0.0 ou ultérieure de la commande gcloud est obligatoire. Effectuez la vérification à l'aide de gcloud --version.
Vous devez activer l'API BigQuery dans votre projet Google Cloud. Si vous avez activé GKE pour la première fois après juillet 2018, l'API est déjà activée.

Activer la mesure de l'utilisation de GKE

Pour activer la mesure de l'utilisation de GKE, vous devez d'abord créer un ensemble de données BigQuery pour un seul cluster, pour plusieurs clusters dans le projet ou pour l'ensemble du projet. Pour en savoir plus sur le choix d'un mappage entre des ensembles de données et des clusters, consultez Choisir un ou plusieurs ensembles de données BigQuery.

Ensuite, vous activez la mesure de l'utilisation de GKE lors de la création d'un cluster ou en modifiant un cluster existant.

Si vous le souhaitez, vous pouvez créer un tableau de bord Looker Studio pour visualiser l'utilisation des ressources de vos clusters.

Créer l'ensemble de données BigQuery

Pour utiliser la mesure de l'utilisation de GKE pour les clusters de votre projet Google Cloud, vous devez d'abord créer l'ensemble de données BigQuery, puis configurer les clusters en conséquence. Vous pouvez utiliser un seul ensemble de données BigQuery pour stocker les informations sur l'utilisation des ressources pour plusieurs clusters dans le même projet.

Consultez la page Créer des ensembles de données pour en savoir plus. Définissez le paramètre Default table expiration pour l'ensemble de données sur Never afin que la table n'expire pas. Si une table expire, elle est recréée automatiquement en tant que table vide.

Activer la mesure de l'utilisation de GKE pour un cluster

Vous pouvez activer la mesure de l'utilisation de GKE sur un cluster nouveau ou existant à l'aide de la commande gcloud ou de Google Cloud Console.

L'activation de la mesure de l'utilisation de GKE active également la mesure de la consommation des ressources par défaut. Pour désactiver de manière sélective la mesure de la consommation des ressources tout en continuant de suivre les demandes de ressources, consultez dans cette section les instructions spécifiques relatives à l'utilisation de la commande gcloud pour activer la mesure de l'utilisation de GKE.

La mesure de sortie réseau est désactivée par défaut. Pour l'activer, consultez les mises en garde et les instructions de la section Facultatif : Activer la mesure de sortie réseau.

Créer un cluster

Vous pouvez créer un cluster à l'aide de gcloud CLI ou de la console Google Cloud.

gcloud

Pour créer un cluster avec la mesure de l'utilisation de GKE activée, exécutez la commande suivante.

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Remplacez les éléments suivants :

CLUSTER_NAME : nom de votre cluster GKE.
RESOURCE_USAGE_DATASET : nom de votre ensemble de données BigQuery.

La mesure de la consommation des ressources est activée par défaut. Pour désactiver la fonction et ne suivre que les demandes de ressources, ajoutez l'option --no-enable-resource-consumption- metering à la commande précédente. Vous devez également modifier les exemples de requête dans la suite de cette section afin que les données de consommation des ressources ne soient pas interrogées.

Au besoin, les tables requises sont créées dans l'ensemble de données BigQuery au démarrage du cluster.

Console

Pour créer un cluster avec la mesure de l'utilisation de GKE activée, procédez comme suit :

Accédez à la page Google Kubernetes Engine dans Google Cloud Console.

Accéder à Google Kubernetes Engine
Cliquez sur Créer.
Dans le volet de navigation, sous Cluster, cliquez sur Fonctionnalités.
Sélectionnez Activer la mesure de l'utilisation de GKE.
Saisissez le nom de votre ensemble de données BigQuery.
Facultatif : sélectionnez éventuellement l'option Activer la mesure de sortie réseau après avoir consulté les mises en garde et les instructions de la section Facultatif : Activer la mesure de sortie réseau.
Poursuivez la configuration de votre cluster, puis cliquez sur Créer.

Configurer un cluster existant

gcloud

Pour activer la mesure de l'utilisation de GKE sur un cluster existant, exécutez la commande suivante :

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Vous pouvez également modifier l'ensemble de données utilisé par un cluster existant pour stocker ses données de mesure de l'utilisation en modifiant la valeur de l'option --resource-usage-bigquery-dataset.

En cas de besoin, une table est créée dans l'ensemble de données BigQuery à la mise à jour du cluster.

Console

Accédez à la page Google Kubernetes Engine dans la console Google Cloud.

Accéder à Google Kubernetes Engine
À côté du cluster que vous souhaitez modifier, cliquez sur Actions, puis sur Modifier.
Sous Fonctionnalités, cliquez sur Modifier à côté de Mesure de l'utilisation de GKE.
Sélectionnez Activer la mesure de l'utilisation de GKE.
Saisissez le nom de l'ensemble de données BigQuery.
Facultatif : sélectionnez éventuellement l'option Activer la mesure de sortie réseau après avoir consulté les mises en garde et les instructions de la section Facultatif : Activer la mesure de sortie réseau.
Cliquez sur Enregistrer les modifications.

Facultatif : Activer la mesure de sortie réseau

Par défaut, les données de sortie réseau ne sont ni collectées, ni exportées. Pour mesurer la sortie réseau, un agent de mesure de réseau (NMA) doit être exécuté sur chaque nœud. Ce type d'agent s'exécute en tant que pod privilégié, utilise certaines ressources du nœud (processeur, mémoire et espace disque), puis active l'indicateur nf_conntrack_acct sysctl sur le noyau (pour la comptabilisation du flux de suivi de connexion).

Si ces désavantages sont tolérables pour vous, vous pouvez activer le suivi de la sortie réseau pour l'utiliser avec la mesure de l'utilisation de GKE. Pour activer le suivi de la sortie réseau, activez l'option --enable-network-egress-metering lors de la création ou de la mise à jour du cluster, ou sélectionnez Activer la mesure de sortie réseau lors de l'activation de la mesure de l'utilisation de GKE dans la console Google Cloud.

Pour désactiver la mesure de sortie réseau, ajoutez l'option --no-enable-network-egress-metering lors de la mise à jour de votre cluster avec la ligne de commande. Vous pouvez également désélectionner Activer la mesure de sortie réseau dans la section "Mesure de l'utilisation de GKE" du cluster dans la console Google Cloud.

Vérifier que la mesure de l'utilisation de GKE est activée

Pour vérifier que la mesure de l'utilisation de GKE est activée sur un cluster et confirmer quel ensemble de données BigQuery stocke les données d'utilisation des ressources du cluster, exécutez la commande suivante :

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

La sortie est vide si la mesure de l'utilisation de GKE n'est pas activée. Sinon, l'ensemble de données BigQuery utilisé par le cluster s'affiche, comme dans la sortie ci-dessous :

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Choisir un ou plusieurs ensembles de données BigQuery

Un ensemble de données peut contenir des données de mesure de l'utilisation de GKE pour un ou plusieurs clusters de votre projet. Vous pouvez choisir d'utiliser un ou plusieurs ensembles de données en fonction de vos besoins en matière de sécurité :

L'emploi d'un seul ensemble de données pour l'intégralité du projet simplifie la gestion.
L'emploi d'un ensemble de données par cluster vous permet de déléguer un accès précis aux ensembles de données.
L'emploi d'un ensemble de données par groupe de clusters associé vous permet de trouver l'équilibre parfait entre simplicité et précision selon vos besoins.

Visualiser les données de mesure de l'utilisation de GKE à l'aide d'un tableau de bord Looker Studio

Vous pouvez visualiser les données de mesure de l'utilisation de GKE à l'aide d'un tableau de bord Looker Studio. Cela vous permet de filtrer vos données par nom de cluster, espace de noms ou libellé. Vous pouvez également ajuster la période de référence de manière dynamique. Si vous savez utiliser Looker Studio et BigQuery, vous pouvez créer un tableau de bord personnalisé. Vous pouvez également cloner un tableau de bord que nous avons créé spécifiquement pour la mesure de l'utilisation de GKE.

Vous pouvez utiliser le tableau de bord pour visualiser les demandes de ressources et la consommation de vos clusters au fil du temps.

Prérequis

Activez l'exportation des données de facturation de Google Cloud vers BigQuery si ce n'est pas encore fait.

Au cours de ce processus, vous créez un ensemble de données, mais la table qu'il contient peut prendre jusqu'à 5 heures pour apparaître et commencer à être remplie. Le tableau apparaît sous le nom gcp_billing_export_v1_BILLING_ACCOUNT_ID.
Activez la mesure de l'utilisation de GKE sur au moins un cluster du projet. Notez le nom que vous avez choisi pour l'ensemble de données BigQuery.
Activez Looker Studio si ce n'est pas encore fait.
Rassemblez les informations suivantes, nécessaires à la configuration du tableau de bord :
- ID de l'ensemble de données d'exportation et table de données Cloud Billing
- ID de l'ensemble de données de la mesure de l'utilisation de GKE
Assurez-vous de disposer de la version 2.0.58 ou ultérieure de la CLI BigQuery. Pour vérifier la version, exécutez bq version et gcloud components update pour mettre à jour la CLI BigQuery.
Les commandes de cette section doivent être exécutées dans un terminal Linux ou dans Cloud Shell.

Créer le tableau de répartition des coûts BigQuery

Téléchargez l'un des modèles de requête suivants :
- Si vous avez activé la mesure de la consommation, téléchargez this template.
- Si vous n'avez pas activé la mesure de la consommation, téléchargez this template.
Si vous utilisez Cloud Shell, copiez ce fichier dans le répertoire où vous exécutez les commandes suivantes.
Exécutez la commande suivante pour définir les variables d'environnement :
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
```
Remplacez les éléments suivants :
- YOUR_BILLING_EXPORT_TABLE_PATH : chemin d'accès à votre table d'exportation de facturation générée. Le nom de cette table est semblable à PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
- YOUR_USAGE_METERING_PROJECT_ID : nom de votre projet Google Cloud.
- YOUR_USAGE_METERING_DATASET_ID : nom de l'ensemble de données que vous avez créé dans BigQuery, par exemple all_billing_data.
- YOUR_USAGE_METERING_START_DATE : date de début de votre requête au format YYYY-MM-DD.
- YOUR_COST_BREAKDOWN_TABLE_ID : nom d'une nouvelle table, par exemple usage_metering_cost_breakdown. Cette table est utilisée comme entrée dans Looker Studio.
- YOUR_TEMPLATE_PATH : nom du modèle de requête que vous avez téléchargé, usage_metering_query_template_request_and_consumption.sql ou usage_metering_query_template_request_only.sql.
- YOUR_RENDERED_QUERY_PATH : nom du chemin d'accès pour la requête de rendu que vous choisissez, par exemple cost_breakdown_query.sql.
Par exemple, vos variables d'environnement peuvent se présenter comme suit :
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
export USAGE_METERING_PROJECT_ID=my-billing-project
export USAGE_METERING_DATASET_ID=all_billing_data
export USAGE_METERING_START_DATE=2022-05-01
export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
export USAGE_METERING_QUERY=cost_breakdown_query.sql
```

Affichez la requête à partir du modèle :

sed \
-e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
-e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
-e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
-e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
"$USAGE_METERING_QUERY_TEMPLATE" \
> "$USAGE_METERING_QUERY"

Créez un tableau de répartition des coûts qui s'actualise toutes les 24 heures :

bq query \
--project_id=$USAGE_METERING_PROJECT_ID \
--use_legacy_sql=false \
--destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
--schedule='every 24 hours' \
--display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
--replace=true \
"$(cat $USAGE_METERING_QUERY)"

Pour plus d'informations sur la planification des requêtes, consultez la page Configurer des requêtes programmées.

Créer la source de données BigQuery

Dans Looker Studio, accédez à Sources de données.
Cliquez sur Créer, puis sur Source de données.
Sélectionnez BigQuery.
Donnez un nom à votre source de données. Dans la barre d'outils, cliquez sur les mots Source de données sans titre afin de remplacer le texte par un nom descriptif.
Sélectionnez Requête personnalisée, puis l'ID de votre projet.

Collez la requête suivante dans l'éditeur de requête :

SELECT
  *
FROM
  `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`

Cliquez sur Se connecter.

Créer le tableau de bord Looker Studio

Copiez le tableau de bord de mesure de l'utilisation de GKE dans votre projet.
Cliquez sur Autres options, puis sur Créer une copie.
Dans la boîte de dialogue Copier ce rapport, dans la liste Nouvelle source de données, sélectionnez la source de données que vous avez créée.
Cliquez sur Copier le rapport.

Le tableau de bord est créé et vous pouvez y accéder à tout moment dans la liste des rapports Looker Studio de votre projet.

Utiliser le tableau de bord Looker Studio

Le tableau de bord contient plusieurs rapports :

Répartition de l'utilisation: Ce rapport contient le taux d'utilisation global des clusters pour tous les clusters qui envoient des données de mesure de l'utilisation à la même source de données BigQuery. Il contient également des informations détaillées sur le type de ressource, telles que le processeur, la mémoire ou la sortie réseau par espace de noms. Vous pouvez limiter les données du rapport à un ou plusieurs clusters ou espaces de noms individuels.
Répartition de l'utilisation incluant les ressources non allouées: Ce rapport est similaire au rapport de répartition de l'utilisation, mais répartit les ressources non allouées proportionnellement entre tous les espaces de noms. Les ressources non allouées incluent les ressources inactives et les ressources qui ne sont actuellement pas allouées par la mesure de l'utilisation de GKE à des locataires spécifiques.
Évolution des coûts : vue détaillée par espace de noms: Évolution de l'utilisation de tous les clusters qui envoient des données de mesure de l'utilisation à la même source de données BigQuery par espace de noms. Vous pouvez sélectionner un ou plusieurs clusters, espaces de nommage, ressources ou SKU individuels.
Évolution des coûts : vue détaillée par libellé: Évolution des coûts pour tous les clusters qui envoient des données de mesure de l'utilisation à la même source de données BigQuery. Vous pouvez sélectionner un ou plusieurs clusters, ressources, noms d'étiquette ou valeurs d'étiquette.
Mesure basée sur la consommation: Évolution de la consommation de tous les clusters qui envoient des données de mesure de l'utilisation à la même source de données BigQuery. Vous pouvez sélectionner un ou plusieurs espaces de noms, clés de libellé ou valeurs de libellé. Ce rapport n'est rempli que si la mesure de la consommation des ressources est activée sur au moins un cluster.

Vous pouvez changer de page à l'aide du menu de navigation. Vous pouvez modifier l'intervalle de temps d'une page à l'aide du sélecteur de date. Pour partager le rapport avec les membres de votre entreprise (ou pour révoquer l'accès), cliquez sur Partager le rapport.

Une fois le rapport copié dans votre projet, vous pouvez le personnaliser à l'aide de l'éditeur de rapports Looker Studio. Même si le modèle de rapport fourni par Google change, votre copie n'est pas affectée.

Explorer les données de mesure de l'utilisation de GKE à l'aide de BigQuery

Pour afficher les données sur les demandes de ressources à l'aide de BigQuery, interrogez la table gke_cluster_resource_usage dans l'ensemble de données BigQuery correspondant.

Pour afficher les données sur la consommation réelle des ressources, interrogez la table gke_cluster_resource_consumption. Les données de consommation de sortie réseau sont conservées dans le champ gke_cluster_resource_usage, car il n'existe aucun concept de demandes de ressources pour les sorties.

Pour plus d'informations sur l'utilisation des requêtes dans BigQuery, consultez la page Exécuter des requêtes. Les champs du schéma sont stables, mais d'autres champs pourront être ajoutés ultérieurement.

Ces requêtes sont des exemples simples. Personnalisez votre requête pour obtenir les données dont vous avez besoin.

Requête pour les demandes de ressources

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Requête pour la consommation de ressources

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Remplacez les éléments suivants :

CLUSTER_GCP_PROJECT : nom du projet Google Cloud contenant le cluster que vous souhaitez interroger.
USAGE_METERING_DATASET : nom de la table de mesure de l'utilisation.
NAMESPACE : nom de votre espace de noms

Autres exemples

Développez les sections suivantes pour voir des exemples plus élaborés.

Interroger les coûts, répartis par espace de nommage

Ces requêtes ignorent l'utilisation des ressources d'un cluster lorsque les informations de facturation de la ressource cloud associée n'ont pas encore été exportées vers l'ensemble de données d'exportation de la facturation Google Cloud. Ce délai survient lorsque la fenêtre temporelle d'utilisation d'une ressource cloud dépasse le dernier enregistrement dans les données de facturation Google Cloud exportées. La latence pour l'exportation de la facturation peut aller jusqu'à 5 heures.

Demandes de ressources

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Consommation des ressources

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Interroger les coûts sur une période spécifique, répartis par espace de nommage et étiquettes

Ces requêtes indiquent les coûts pour une période spécifique, par espace de noms et libellé.

Demandes de ressources par période, regroupées par espace de noms et libellé

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Consommation des ressources par période, regroupées par espace de noms et libellé

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Afficher la consommation réelle des ressources sous forme de pourcentage des demandes de ressources, au fil du temps

Cette requête affiche le ratio entre la consommation réelle du processeur et les requêtes du processeur. Vous pouvez ainsi identifier les pods qui demandent peu ou trop de ressources processeur par rapport aux exigences réelles.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC

Schéma de mesure de l'utilisation de GKE dans BigQuery

Le tableau suivant décrit le schéma des tables de mesure de l'utilisation de GKE dans l'ensemble de données BigQuery. Si votre cluster exécute une version de GKE compatible avec la mesure de la consommation des ressources et des demandes de ressources, une table supplémentaire est créée avec le même schéma.

Champ	Type	Description
`cluster_location`	`STRING`	Nom de la zone ou de la région Compute Engine dans laquelle réside le cluster GKE.
`cluster_name`	`STRING`	Nom du cluster GKE.
`namespace`	`STRING`	Espace de noms Kubernetes à partir duquel l'utilisation est générée.
`resource_name`	`STRING`	Nom de la ressource, tel que "cpu", "memory" et "storage".
`sku_id`	`STRING`	Identifiant SKU de la ressource cloud Google Cloud sous-jacente.
`start_time`	`TIMESTAMP`	Horodatage UNIX indiquant le début de l'utilisation.
`end_time`	`TIMESTAMP`	Horodatage UNIX indiquant la fin de l'utilisation.
`fraction`	`FLOAT`	Fraction d'une ressource cloud utilisée. Pour une ressource cloud spécifique utilisée uniquement par un seul espace de noms, la fraction est toujours 1.0. Pour les ressources partagées entre plusieurs espaces de noms, la fraction est calculée en divisant le volume demandé par la capacité totale de la ressource cloud sous-jacente.
`cloud_resource_size`	`INTEGER`	Taille de la ressource Google Cloud sous-jacente. Par exemple, la taille des processeurs virtuels sur une instance n1-standard-2 est 2.
`labels.key`	`STRING`	Clé d'un libellé Kubernetes associé à l'utilisation.
`labels.value`	`STRING`	Valeur d'un libellé Kubernetes associé à l'utilisation.
`project.id`	`STRING`	ID du projet dans lequel réside le cluster GKE.
`usage.amount`	`FLOAT`	Quantité d'`usage.unit` utilisée.
`usage.unit`	`STRING`	Unité de base dans laquelle l'utilisation des ressources est mesurée. Par exemple, l'unité de base pour le stockage standard est l'octet par seconde.

Les unités de mesure de l'utilisation de GKE doivent être interprétées comme suit :

L'unité d'utilisation du processeur (usage.unit) est exprimée en secondes, ce qui correspond au temps CPU total demandé ou utilisé par un pod. Par exemple, si nous avons deux pods qui demandent chacun 30 processeurs et s'exécutent pendant 15 minutes, la quantité totale de la table de requête est de 54 000 secondes (2 pods * 30 processeurs * 15 minutes * 60 secondes/minute).
L'unité d'utilisation de la mémoire (usage.unit) est exprimée en octets-seconde, qui correspond à l'ensemble de la mémoire demandée ou utilisée par un pod au fil du temps. Par exemple, si nous avons deux pods qui demandent chacun 30 Gio et s'exécutent pendant 15 minutes, la quantité totale de la table de requête est de 5,798+13 octets-seconde (2 pods * 30 Gio * 15 minutes * 60 secondes / minute * 1 073 741 824 octets/Gio).

Comprendre les cas dans lesquels les données de mesure de l'utilisation de GKE sont écrites dans BigQuery

Il existe deux conditions dans lesquelles la mesure de l'utilisation de GKE écrit des enregistrements d'utilisation dans les métriques BigQuery :

La phase du pod passe à l'état succeeded ou failed, ou lorsque le pod est supprimé.
L'horodatage de la programmation horaire d'écriture des enregistrements est atteint tant que le pod est toujours en cours d'exécution.

La mesure de l'utilisation de GKE génère une programmation à fréquence horaire pour laquelle elle écrit les enregistrements d'utilisation des pods dans BigQuery pour tous les pods en cours d'exécution. L'horodatage de la programmation n'est pas le même pour tous les clusters.

Si plusieurs pods s'exécutent à cet horodatage, vous trouverez plusieurs enregistrements d'utilisation avec le même end_time. La valeur end_time de ces enregistrements d'utilisation correspond à l'horodatage de la programmation à fréquence horaire.

De plus, si plusieurs pods sont en cours d'exécution pendant plusieurs heures, vous disposez également d'un ensemble d'enregistrements d'utilisation avec un end_time correspondant au start_time d'un autre ensemble d'enregistrements d'utilisation.

Désactiver la mesure de l'utilisation de GKE

gcloud

Pour désactiver la mesure de l'utilisation de GKE sur un cluster, exécutez la commande suivante.

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Console

Accédez à la page Google Kubernetes Engine dans Google Cloud Console.

Accéder à Google Kubernetes Engine
À côté du cluster que vous souhaitez modifier, cliquez sur Actions, puis sur Modifier.
Sous Fonctionnalités, cliquez sur Modifier à côté de Mesure de l'utilisation de GKE.
Décochez la case Activer la mesure de l'utilisation de GKE.
Cliquez sur Enregistrer les modifications.

Comprendre l'utilisation des ressources de cluster

Présentation

Avant de commencer

Limites

Prérequis

Activer la mesure de l'utilisation de GKE

Créer l'ensemble de données BigQuery

Activer la mesure de l'utilisation de GKE pour un cluster

Créer un cluster

gcloud

Console

Configurer un cluster existant

gcloud

Console

Facultatif : Activer la mesure de sortie réseau

Vérifier que la mesure de l'utilisation de GKE est activée

Choisir un ou plusieurs ensembles de données BigQuery

Visualiser les données de mesure de l'utilisation de GKE à l'aide d'un tableau de bord Looker Studio

Prérequis

Créer le tableau de répartition des coûts BigQuery

Créer la source de données BigQuery

Créer le tableau de bord Looker Studio

Utiliser le tableau de bord Looker Studio

Explorer les données de mesure de l'utilisation de GKE à l'aide de BigQuery

Requête pour les demandes de ressources

Requête pour la consommation de ressources

Autres exemples

Interroger les coûts, répartis par espace de nommage

Demandes de ressources

Consommation des ressources

Interroger les coûts sur une période spécifique, répartis par espace de nommage et étiquettes

Demandes de ressources par période, regroupées par espace de noms et libellé

Consommation des ressources par période, regroupées par espace de noms et libellé

Afficher la consommation réelle des ressources sous forme de pourcentage des demandes de ressources, au fil du temps

Schéma de mesure de l'utilisation de GKE dans BigQuery

Comprendre les cas dans lesquels les données de mesure de l'utilisation de GKE sont écrites dans BigQuery

Désactiver la mesure de l'utilisation de GKE

gcloud

Console

Étape suivante