Questa pagina è stata tradotta dall'API Cloud Translation.

Informazioni sull'utilizzo delle risorse cluster

Standard

Questa pagina spiega come utilizzare la misurazione dell'utilizzo di GKE per comprendere i profili di utilizzo dei cluster Google Kubernetes Engine (GKE) Standard e collegare l'utilizzo a singoli team o unità aziendali all'interno dell'organizzazione. La misurazione dell'utilizzo di GKE non influisce sulla fatturazione del tuo progetto. Ti consente di comprendere l'utilizzo delle risorse a un livello granulare.

Panoramica

La misurazione dell'utilizzo GKE tiene traccia delle informazioni sulle richieste di risorse e sull'utilizzo effettivo delle risorse da parte dei carichi di lavoro del cluster. Al momento, la misurazione dell'utilizzo GKE monitora le informazioni su CPU, GPU, TPU, memoria, spazio di archiviazione e, facoltativamente, sull'uscita di rete. Puoi differenziare l'utilizzo delle risorse utilizzando spazi dei nomi, etichette o una combinazione di entrambi di Kubernetes.

I dati vengono archiviati in BigQuery, dove puoi eseguire query direttamente o esportarli per l'analisi con strumenti esterni come Looker Studio.

La misurazione dell'utilizzo di GKE è utile in scenari come i seguenti:

Monitoraggio delle richieste di risorse per tenant e del consumo effettivo di risorse in un cluster multi-tenant in cui ogni tenant opera all'interno di un determinato spazio dei nomi.
Determinare il consumo di risorse di un workload in esecuzione in un determinato cluster assegnando un'etichetta univoca agli oggetti Kubernetes associati al workload.
Identificare i carichi di lavoro le cui richieste di risorse differiscono in modo significativo dal loro consumo effettivo di risorse, in modo da poter allocare le risorse in modo più efficiente per ogni carico di lavoro.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

Attiva l'API Google Kubernetes Engine.

Attiva l'API Google Kubernetes Engine

Se vuoi utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo gcloud components update.
Nota:per le installazioni esistenti di gcloud CLI, assicurati di impostare la compute/region proprietà. Se utilizzi principalmente cluster zonali, imposta compute/zone. Se imposti una località predefinita, puoi evitare errori in gcloud CLI come il seguente: One of [--zone, --region] must be supplied: Please specify location. Potresti dover specificare la posizione in determinati comandi se la posizione del cluster è diversa da quella predefinita che hai impostato.

Limitazioni

Puoi utilizzare le query BigQuery di esempio e il modello di Looker Studio per unire i dati di misurazione dell'utilizzo di GKE con i dati di fatturazione esportati in BigQuery. Google Cloud In questo modo puoi stimare una ripartizione dei costi per cluster, spazio dei nomi ed etichette.

I dati di misurazione dell'utilizzo GKE sono puramente indicativi e non influiscono sulla tua Google Cloud fattura. Per i dati di fatturazione, la tua Google Cloud fattura è l'unica fonte attendibile.

Si applicano le seguenti limitazioni:

Non vengono presi in considerazione sconti o crediti contrattuali speciali.
Le risorse create al di fuori dell'ambito di GKE non vengono monitorate per spazio dei nomi o etichetta.
Solo le etichette degli oggetti Pod e PersistentVolumeClaim vengono monitorate dai report sull'utilizzo.
Sono supportati solo i PersistentVolume con provisioning dinamico.
Sono supportati solo i tipi di disco pd-standard e pd-ssd. La misurazione dell'utilizzo di GKE potrebbe includere i costi per le versioni regionali di entrambi i tipi di disco con lo stesso SKU.
Looker Studio non supporta la visualizzazione dei tipi di macchine in grado di eseguire burst.
Puoi esportare i dati solo in un set di dati BigQuery che si trova nello stesso progetto del cluster.
Non devi utilizzare le porte 27304, 47082 e 47083, perché sono riservate al monitoraggio dell'uscita di rete.
Gli oggetti StorageClass personalizzati non sono supportati.
La misurazione del traffico di rete in uscita non è supportata per i nodi Windows Server.
La misurazione del traffico in uscita dalla rete non è supportata per VPC condiviso o peering di rete VPC.
La misurazione dell'uscita di rete non è supportata per i cluster con più di 150 nodi.

Prerequisiti

Prima di utilizzare il monitoraggio dell'utilizzo di GKE, devi soddisfare i seguenti prerequisiti:

Per monitorare il consumo effettivo di risorse, il cluster deve utilizzare GKE 1.14.2-gke.3 o versioni successive.
Se utilizzi tipi di macchina E2 o N2, la versione del cluster deve essere GKE 1.15.11-gke.9 o successiva.
L'esportazione della fatturazione per BigQuery è abilitata. Gli addebiti sono associati all'utilizzo di BigQuery.
È richiesta la versione 250.0.0 o successive del comando gcloud. Usa gcloud --version per controllare.
Devi abilitare l'API BigQuery nel tuo progetto Google Cloud . Se hai abilitato GKE per la prima volta dopo luglio 2018, l'API è già abilitata.

Abilita misurazione utilizzo GKE

Per abilitare la misurazione dell'utilizzo di GKE, devi prima creare un set di dati BigQuery per un singolo cluster, più cluster nel progetto o l'intero progetto. Per ulteriori informazioni sulla scelta di una mappatura tra set di dati e cluster, consulta Scegliere uno o più set di dati BigQuery.

Successivamente, abilita la misurazione dell'utilizzo di GKE durante la creazione di un nuovo cluster o modificando un cluster esistente.

Se vuoi, puoi creare una dashboard di Looker Studio per visualizzare l'utilizzo delle risorse dei tuoi cluster.

Crea il set di dati BigQuery

Per utilizzare la misurazione dell'utilizzo GKE per i cluster nel tuo progetto Google Cloud , devi prima creare il set di dati BigQuery, quindi configurare i cluster per utilizzarlo. Puoi utilizzare un singolo set di dati BigQuery per archiviare informazioni sull'utilizzo delle risorse per più cluster nello stesso progetto.

Per maggiori dettagli, consulta l'articolo Creazione di set di dati. Imposta Default table expiration per il set di dati su Never in modo che la tabella non scada. Se una tabella scade, viene ricreata automaticamente come tabella vuota.

Abilita la misurazione dell'utilizzo di GKE per un cluster

Puoi abilitare la misurazione dell'utilizzo di GKE su un cluster nuovo o esistente utilizzando il comando gcloud o la console Google Cloud .

L'abilitazione della misurazione dell'utilizzo di GKE abilita anche la misurazione del consumo di risorse per impostazione predefinita. Per disattivare selettivamente la misurazione del consumo di risorse continuando a monitorare le richieste di risorse, consulta le istruzioni specifiche per l'attivazione della misurazione dell'utilizzo di GKE utilizzando il comando gcloud in questo argomento.

La misurazione del traffico in uscita dalla rete è disattivata per impostazione predefinita. Per abilitarla, consulta le avvertenze e le istruzioni in (Facoltativo) Abilitazione della misurazione del traffico in uscita dalla rete in questo argomento.

Crea un nuovo cluster

Puoi creare un cluster utilizzando gcloud CLI o la console Google Cloud .

gcloud

Per creare un cluster con la misurazione dell'utilizzo di GKE abilitata, esegui questo comando:

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Sostituisci quanto segue:

CLUSTER_NAME: il nome del tuo cluster GKE.
RESOURCE_USAGE_DATASET: il nome del tuo set di dati BigQuery.

La misurazione del consumo di risorse è abilitata per impostazione predefinita. Per disattivarlo e monitorare solo le richieste di risorse, aggiungi il flag --no-enable-resource-consumption- metering al comando precedente. Devi anche modificare le query di esempio nel resto di questo argomento in modo che non eseguano query per il consumo di risorse.

Se necessario, le tabelle richieste vengono create all'interno del set di dati BigQuery all'avvio del cluster.

Console

Per creare un cluster con la misurazione dell'utilizzo di GKE abilitata:

Nella console Google Cloud , vai alla pagina Crea un cluster Kubernetes.
Vai a Crea un cluster Kubernetes
Nel riquadro di navigazione, in Cluster, fai clic su Funzionalità.
Seleziona Abilita misurazione utilizzo GKE.
Inserisci il nome del tuo set di dati BigQuery.
(Facoltativo) Seleziona Abilita misurazione traffico in uscita dalla rete dopo aver esaminato le avvertenze e le istruzioni in (Facoltativo) Abilitazione della misurazione del traffico in uscita dalla rete.
Continua a configurare il cluster, quindi fai clic su Crea.

Configura un cluster esistente

gcloud

Per abilitare la misurazione dell'utilizzo di GKE in un cluster esistente, esegui il seguente comando:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Puoi anche modificare il set di dati utilizzato da un cluster esistente per archiviare i dati di misurazione dell'utilizzo modificando il valore del flag --resource-usage-bigquery-dataset.

Se necessario, viene creata una tabella all'interno del set di dati BigQuery quando viene aggiornato il cluster.

Console

Vai alla pagina Google Kubernetes Engine nella console Google Cloud .

Vai a Google Kubernetes Engine
Accanto al cluster che vuoi modificare, fai clic su Azioni e poi su Modifica.
In Funzionalità, fai clic su Modifica accanto a Misurazione dell'utilizzo di GKE.
Seleziona Abilita misurazione utilizzo GKE.
Inserisci il nome del set di dati BigQuery.
(Facoltativo) Seleziona Abilita misurazione traffico in uscita dalla rete dopo aver esaminato le avvertenze e le istruzioni in (Facoltativo) Abilitazione della misurazione del traffico in uscita dalla rete.
Fai clic su Salva modifiche.

(Facoltativo) Abilita misurazione traffico in uscita dalla rete

Per impostazione predefinita, i dati del traffico di rete in uscita non vengono raccolti o esportati. La misurazione del traffico in uscita dalla rete richiede un agente di misurazione di rete (NMA, network metering agent) in esecuzione su ogni nodo. L'NMA viene eseguito come un pod con privilegi, consuma alcune risorse sul nodo (CPU, memoria e spazio su disco) e abilita il flag nf_conntrack_acct sysctl sul kernel (per valutare il flusso di monitoraggio delle connessioni).

Se queste condizioni non ti causano problemi, puoi abilitare il monitoraggio del traffico di rete in uscita in abbinamento con la misurazione dell'utilizzo di GKE. Per abilitare il monitoraggio del traffico in uscita dalla rete, includi l'opzione --enable-network-egress-metering quando crei o aggiorni il cluster oppure seleziona Abilita misurazione traffico in uscita dalla rete quando abiliti la misurazione dell'utilizzo di GKE nella console Google Cloud .

Per disattivare la misurazione dell'uscita di rete, aggiungi il flag --no-enable-network-egress-metering quando aggiorni il cluster con la riga di comando. In alternativa, puoi deselezionare Abilita misurazione del traffico in uscita dalla rete nella sezione Misurazione dell'utilizzo di GKE del cluster nella console Google Cloud .

Verifica che la misurazione dell'utilizzo di GKE sia abilitata

Per verificare che la misurazione dell'utilizzo di GKE sia abilitata su un cluster e per confermare quale set di dati BigQuery archivia i dati sull'utilizzo delle risorse del cluster, esegui il comando seguente:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

L'output è vuoto se la misurazione dell'utilizzo di GKE non è abilitata. In caso contrario, mostra il set di dati BigQuery utilizzato dal cluster, come nell'output di esempio seguente:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Scegli uno o più set di dati BigQuery

Un set di dati può contenere i dati di misurazione dell'utilizzo di GKE per uno o più cluster nel tuo progetto. L'utilizzo di uno o più set di dati dipende dalle tue esigenze di sicurezza:

Un unico set di dati per l'intero progetto semplifica l'amministrazione.
Un set di dati per cluster ti consente di delegare l'accesso granulare ai set di dati.
Un set di dati per ogni gruppo correlato di cluster ti consente di trovare la giusta combinazione di semplicità e granularità per le tue esigenze.

Visualizzare i dati di misurazione dell'utilizzo di GKE utilizzando una dashboard di Looker Studio

Puoi visualizzare i dati di misurazione dell'utilizzo di GKE utilizzando una dashboard di Looker Studio. In questo modo puoi filtrare i dati in base al nome del cluster, allo spazio dei nomi o all'etichetta. Puoi anche modificare dinamicamente il periodo del report. Se hai esperienza con Looker Studio e BigQuery, puoi creare una dashboard personalizzata. Puoi anche clonare una dashboard che abbiamo creato appositamente per il monitoraggio dell'utilizzo di GKE.

Puoi utilizzare la dashboard per visualizzare le richieste di risorse e il consumo nei cluster nel tempo.

Prerequisiti

Abilita l'esportazione Google Cloud dei dati di fatturazione in BigQuery se non è già abilitata.

Durante questa procedura, crei un set di dati, ma la tabella all'interno del set di dati può richiedere fino a 5 ore per essere visualizzata e iniziare a essere compilata. Quando viene visualizzata la tabella, il suo nome è gcp_billing_export_v1_BILLING_ACCOUNT_ID.
Abilita Misurazione utilizzo GKE in almeno un cluster del progetto. Prendi nota del nome scelto per il set di dati BigQuery.
Attiva Looker Studio se non è già attivo.
Raccogli le seguenti informazioni, necessarie per configurare la dashboard:
- ID set di dati di esportazione della fatturazione Cloud e tabella dei dati
- ID set di dati di misurazione dell'utilizzo GKE
Assicurati di avere la versione 2.0.58 o successive della CLI BigQuery. Per controllare la versione, esegui bq version e gcloud components update per aggiornare la CLI BigQuery.
I comandi in questa sezione devono essere eseguiti in un terminale Linux o in Cloud Shell.

Crea la tabella di suddivisione dei costi BigQuery

Scarica uno dei seguenti modelli di query:
- Se hai attivato la misurazione del consumo, scarica this template.
- Se non hai attivato la misurazione del consumo, scarica this template.
Se utilizzi Cloud Shell, copia questo file nella directory in cui esegui i seguenti comandi.
Esegui questo comando per impostare le variabili di ambiente:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
```
Sostituisci quanto segue:
- YOUR_BILLING_EXPORT_TABLE_PATH: il percorso della tabella di esportazione della fatturazione generata. Questa tabella ha un nome simile a PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
- YOUR_USAGE_METERING_PROJECT_ID: il nome del tuo Google Cloud progetto.
- YOUR_USAGE_METERING_DATASET_ID: il nome del set di dati che hai creato in BigQuery, ad esempio all_billing_data.
- YOUR_USAGE_METERING_START_DATE: la data di inizio della query nel formato YYYY-MM-DD.
- YOUR_COST_BREAKDOWN_TABLE_ID: il nome di una nuova tabella che hai scelto, ad esempio usage_metering_cost_breakdown. Questa tabella viene utilizzata come input per Looker Studio.
- YOUR_TEMPLATE_PATH: il nome del modello di query che hai scaricato, usage_metering_query_template_request_and_consumption.sql o usage_metering_query_template_request_only.sql.
- YOUR_RENDERED_QUERY_PATH: il nome del percorso per la query sottoposta a rendering che scegli, ad esempio cost_breakdown_query.sql.
Ad esempio, le variabili di ambiente potrebbero essere simili alle seguenti:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
export USAGE_METERING_PROJECT_ID=my-billing-project
export USAGE_METERING_DATASET_ID=all_billing_data
export USAGE_METERING_START_DATE=2022-05-01
export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
export USAGE_METERING_QUERY=cost_breakdown_query.sql
```

Visualizza il rendering della query dal modello:

sed \
-e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
-e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
-e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
-e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
"$USAGE_METERING_QUERY_TEMPLATE" \
> "$USAGE_METERING_QUERY"

Crea una nuova tabella di suddivisione dei costi che si aggiorna ogni 24 ore:

bq query \
--project_id=$USAGE_METERING_PROJECT_ID \
--use_legacy_sql=false \
--destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
--schedule='every 24 hours' \
--display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
--replace=true \
"$(cat $USAGE_METERING_QUERY)"

Per ulteriori informazioni sulla pianificazione delle query, vedi Configurare le query pianificate.

Crea l'origine dati BigQuery

In Looker Studio, vai a Origini dati.
Fai clic su Crea e poi su Origine dati.
Seleziona BigQuery.
Assegna un nome all'origine dati. Nella barra degli strumenti, fai clic sulle parole Origine dati senza titolo per sostituire il testo con un nome descrittivo.
Seleziona Query personalizzata, quindi seleziona l'ID progetto.

Incolla la seguente query nell'Editor query:

SELECT
  *
FROM
  `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`

Fai clic su Connetti.

Crea la dashboard di Looker Studio

Copia la dashboard di misurazione dell'utilizzo di GKE nel tuo progetto.
Fai clic su Altre opzioni e poi su Crea una copia.
Nella finestra di dialogo Copia questo report, seleziona l'origine dati che hai creato dall'elenco Nuova origine dati.
Fai clic su Copia report.

Il dashboard viene creato e puoi accedervi in qualsiasi momento nell'elenco dei report di Looker Studio per il tuo progetto.

Utilizzare la dashboard di Looker Studio

La dashboard contiene più report:

Suddivisione dell'utilizzo: Questo report contiene il rapporto complessivo di utilizzo del cluster tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery. Include anche informazioni dettagliate sul tipo di risorsa, ad esempio CPU, memoria o uscita di rete per spazio dei nomi. Puoi limitare i dati del report a uno o più cluster o spazi dei nomi individuali.
Ripartizione dell'utilizzo con risorse non allocate: Questo report è simile al report sulla suddivisione dell'utilizzo, ma distribuisce le risorse non allocate in modo proporzionale in tutti gli spazi dei nomi. Le risorse non allocate includono le risorse inattive e tutte le risorse che non sono attualmente allocate dalla misurazione dell'utilizzo di GKE a tenant specifici.
Tendenze di costo * visualizzazione in dettaglio per spazio dei nomi: Tendenze di utilizzo tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery per spazio dei nomi. Puoi selezionare uno o più cluster, spazi dei nomi, risorse o SKU individuali.
Tendenze di costo * livello di analisi per etichetta: Tendenze dei costi tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery. Puoi selezionare uno o più cluster, risorse, nomi di etichette o valori di etichette individuali.
Misurazione basata sul consumo: Tendenze di consumo tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery. Puoi selezionare uno o più spazi dei nomi, chiavi etichetta o valori etichetta individuali. Questo report viene compilato solo se la misurazione del consumo di risorse è abilitata in almeno un cluster.

Puoi cambiare pagina utilizzando il menu di navigazione. Puoi modificare il periodo di tempo per una pagina utilizzando il selettore della data. Per condividere il report con i membri della tua organizzazione o per revocare l'accesso, fai clic su Condividi report.

Dopo aver copiato il report nel tuo progetto, puoi personalizzarlo utilizzando l'editor di report di Looker Studio. Anche se il modello di report fornito da Google cambia, la tua copia non viene modificata.

Esplorare i dati di misurazione dell'utilizzo di GKE utilizzando BigQuery

Per visualizzare i dati sulle richieste di risorse utilizzando BigQuery, esegui una query sulla tabella gke_cluster_resource_usage all'interno del set di dati BigQuery pertinente.

Per visualizzare i dati sul consumo effettivo delle risorse, esegui una query sulla tabella gke_cluster_resource_consumption. I dati sul consumo di uscita di rete rimangono in gke_cluster_resource_usage perché non esiste il concetto di richieste di risorse per le uscite.

Per saperne di più sull'utilizzo delle query in BigQuery, consulta Esecuzione di query. I campi nello schema sono stabili, anche se in futuro potrebbero essere aggiunti altri campi.

Queste query sono esempi semplici. Personalizza la query per trovare i dati che ti servono.

Query per richieste di risorse

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Query per il consumo di risorse

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Sostituisci quanto segue:

CLUSTER_GCP_PROJECT: il nome del tuo progetto Google Cloud che contiene il cluster che vuoi interrogare.
USAGE_METERING_DATASET: il nome della tabella di misurazione dell'utilizzo.
NAMESPACE: il nome del tuo spazio dei nomi.

Altri esempi

Espandi le sezioni seguenti per visualizzare esempi più sofisticati.

Come eseguire query sui costi, suddivisi per spazio dei nomi

Queste query ignorano l'utilizzo delle risorse di un cluster quando le informazioni di fatturazione della risorsa cloud associata non sono ancora state esportate nel set di dati di esportazione della fatturazione Google Cloud . Questo ritardo si verifica quando la finestra temporale di un record di utilizzo delle risorse cloud è precedente all'ultimo record nei dati di fatturazione Google Cloud esportati. La latenza per l'esportazione della fatturazione può essere fino a 5 ore.

Richieste di risorse

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Consumo di risorse

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Come eseguire query sui costi in un periodo di tempo specifico, suddivisi per spazio dei nomi ed etichette

Queste query mostrano i costi per un periodo di tempo specifico, in base alle etichette degli spazi dei nomi.

Richieste di risorse per periodo di tempo, raggruppate per spazi dei nomi ed etichette

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Consumo di risorse per periodo di tempo, raggruppato per spazi dei nomi ed etichette

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Come mostrare il consumo effettivo di risorse in percentuale delle richieste di risorse nel tempo

Questa query mostra il rapporto tra il consumo effettivo di CPU e le richieste di CPU, in modo da poter vedere quali pod richiedono una quantità di CPU troppo bassa o troppo alta rispetto ai requisiti effettivi.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC

Schema di misurazione dell'utilizzo GKE in BigQuery

La seguente tabella descrive lo schema delle tabelle di misurazione dell'utilizzo GKE nel set di dati BigQuery. Se il cluster esegue una versione di GKE che supporta la misurazione del consumo di risorse e le richieste di risorse, viene creata una tabella aggiuntiva con lo stesso schema.

Campo	Tipo	Descrizione
`cluster_location`	`STRING`	Il nome della zona o della regione Compute Engine in cui risiede il cluster GKE.
`cluster_name`	`STRING`	Il nome del cluster GKE.
`namespace`	`STRING`	Lo spazio dei nomi Kubernetes da cui viene generato l'utilizzo.
`resource_name`	`STRING`	Il nome della risorsa, ad esempio "cpu", "memory" e "storage".
`sku_id`	`STRING`	L'ID SKU della risorsa Google Cloud cloud sottostante.
`start_time`	`TIMESTAMP`	Il timestamp UNIX dell'inizio dell'utilizzo.
`end_time`	`TIMESTAMP`	Il timestamp UNIX di quando è terminato l'utilizzo.
`fraction`	`FLOAT`	La frazione di una risorsa cloud utilizzata dall'utilizzo. Per una risorsa cloud dedicata utilizzata esclusivamente da un singolo spazio dei nomi, la frazione è sempre 1.0. Per le risorse condivise tra più spazi dei nomi, la frazione viene calcolata come l'importo richiesto diviso per la capacità totale della risorsa cloud sottostante.
`cloud_resource_size`	`INTEGER`	La dimensione della risorsa Google Cloud sottostante. Ad esempio, la dimensione delle vCPU su un'istanza n1-standard-2 è 2.
`labels.key`	`STRING`	La chiave di un'etichetta Kubernetes associata all'utilizzo.
`labels.value`	`STRING`	Il valore di un'etichetta Kubernetes associata all'utilizzo.
`project.id`	`STRING`	L'ID del progetto in cui si trova il cluster GKE.
`usage.amount`	`FLOAT`	La quantità di `usage.unit` utilizzata.
`usage.unit`	`STRING`	L'unità base in cui viene misurato l'utilizzo delle risorse. Ad esempio, l'unità base per l'archiviazione standard è byte-secondi.

Le unità per la misurazione dell'utilizzo di GKE devono essere interpretate nel seguente modo:

La CPU usage.unit è secondi, ovvero il tempo totale di CPU richiesto o utilizzato da un pod. Ad esempio, se abbiamo due pod che richiedono ciascuno 30 CPU e vengono eseguiti per 15 minuti,la quantità aggregata della tabella delle richieste è di 54.000 secondi (2 pod * 30 CPU * 15 minuti * 60 secondi / minuto).
La memoria usage.unit è byte-secondi, ovvero l'integrale della memoria nel tempo che un pod ha richiesto o utilizzato. Ad esempio, se abbiamo due pod che richiedono 30 GiB ciascuno e vengono eseguiti per 15 minuti, l'importo aggregato della tabella delle richieste è 5,798+13 byte-secondi (2 pod * 30 GiB * 15 minuti * 60 secondi / minuto * 1073741824 byte / GiB).

Informazioni su quando i dati di misurazione dell'utilizzo GKE vengono scritti in BigQuery

Esistono due condizioni in cui la misurazione dell'utilizzo GKE scrive i record di utilizzo nelle metriche BigQuery:

La fase del pod cambia in succeeded o failed oppure quando il pod viene eliminato.
Viene raggiunto il timestamp della pianificazione oraria per scrivere i record mentre il pod è ancora in esecuzione.

La misurazione dell'utilizzo GKE genera una pianificazione oraria in cui scrive i record di utilizzo dei pod in BigQuery per tutti i pod attualmente in esecuzione. Il timestamp della pianificazione non è lo stesso in tutti i cluster.

Se in esecuzione in quel timestamp sono presenti più pod, troverai più record di utilizzo con lo stesso end_time. Questi record di utilizzo' end_time indicano il timestamp della pianificazione oraria.

Inoltre, se hai più pod in esecuzione da diverse ore, hai anche un insieme di record di utilizzo con un end_time che corrisponde al start_time di un altro insieme di record di utilizzo.

Disabilita misurazione utilizzo GKE

gcloud

Per disabilitare la misurazione dell'utilizzo di GKE su un cluster, esegui questo comando:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Console

Vai alla pagina Google Kubernetes Engine nella console Google Cloud .

Vai a Google Kubernetes Engine
Accanto al cluster che vuoi modificare, fai clic su Azioni e poi su Modifica.
In Funzionalità, fai clic su Modifica accanto a Misurazione dell'utilizzo di GKE.
Deseleziona Abilita misurazione utilizzo GKE.
Fai clic su Salva modifiche.

Informazioni sull'utilizzo delle risorse cluster Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Panoramica

Prima di iniziare

Limitazioni

Prerequisiti

Abilita misurazione utilizzo GKE

Crea il set di dati BigQuery

Abilita la misurazione dell'utilizzo di GKE per un cluster

Crea un nuovo cluster

gcloud

Console

Configura un cluster esistente

gcloud

Console

(Facoltativo) Abilita misurazione traffico in uscita dalla rete

Verifica che la misurazione dell'utilizzo di GKE sia abilitata

Scegli uno o più set di dati BigQuery

Visualizzare i dati di misurazione dell'utilizzo di GKE utilizzando una dashboard di Looker Studio

Prerequisiti

Crea la tabella di suddivisione dei costi BigQuery

Crea l'origine dati BigQuery

Crea la dashboard di Looker Studio

Utilizzare la dashboard di Looker Studio

Esplorare i dati di misurazione dell'utilizzo di GKE utilizzando BigQuery

Query per richieste di risorse

Query per il consumo di risorse

Altri esempi

Come eseguire query sui costi, suddivisi per spazio dei nomi

Richieste di risorse

Consumo di risorse

Come eseguire query sui costi in un periodo di tempo specifico, suddivisi per spazio dei nomi ed etichette

Richieste di risorse per periodo di tempo, raggruppate per spazi dei nomi ed etichette

Consumo di risorse per periodo di tempo, raggruppato per spazi dei nomi ed etichette

Come mostrare il consumo effettivo di risorse in percentuale delle richieste di risorse nel tempo

Schema di misurazione dell'utilizzo GKE in BigQuery

Informazioni su quando i dati di misurazione dell'utilizzo GKE vengono scritti in BigQuery

Disabilita misurazione utilizzo GKE

gcloud

Console

Passaggi successivi

Informazioni sull'utilizzo delle risorse cluster