Questa pagina è stata tradotta dall'API Cloud Translation.

Informazioni sull'utilizzo delle risorse cluster

Standard

Questa pagina spiega come utilizzare la misurazione dell'utilizzo di GKE per comprendere i profili di utilizzo dei cluster Google Kubernetes Engine (GKE) e associare l'utilizzo a singoli team o unità aziendali all'interno dell'organizzazione. La misurazione dell'utilizzo di GKE non influisce sulla fatturazione del progetto, ma ti consente di comprendere l'utilizzo delle risorse a livello granulare.

Panoramica

La misurazione dell'utilizzo GKE tiene traccia delle informazioni sulle richieste di risorse e sull'utilizzo effettivo delle risorse da parte dei carichi di lavoro del cluster. Attualmente, la misurazione dell'utilizzo GKE monitora le informazioni su CPU, GPU, TPU, memoria, spazio di archiviazione e, facoltativamente, sull'egress di rete. Puoi differenziare l'utilizzo delle risorse utilizzando gli spazi dei nomi e le etichette Kubernetes o una combinazione di entrambi.

I dati vengono archiviati in BigQuery, dove puoi eseguire query direttamente o esportarli per analizzarli con strumenti esterni come Looker Studio.

La misurazione dell'utilizzo di GKE è utile per scenari come i seguenti:

Monitoraggio delle richieste di risorse per tenant e del consumo effettivo delle risorse in un cluster multi-tenant in cui ogni tenant opera all'interno di un determinato spazio dei nomi.
Determinazione del consumo di risorse di un workload in esecuzione in un determinato cluster assegnando un'etichetta univoca agli oggetti Kubernetes associati al workload.
Identifica i carichi di lavoro le cui richieste di risorse differiscono notevolmente dal loro consumo effettivo di risorse, in modo da poter allocare le risorse in modo più efficiente per ogni carico di lavoro.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

Attiva l'API Google Kubernetes Engine.

Attiva l'API Google Kubernetes Engine

Se vuoi utilizzare Google Cloud CLI per questa attività, installa e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, ottieni la versione più recente eseguendo gcloud components update.
Nota: per le installazioni esistenti di gcloud CLI, assicurati di impostare le proprietà compute/region e compute/zone. Se imposti le posizioni predefinite, puoi evitare errori in gcloud CLI come il seguente: One of [--zone, --region] must be supplied: Please specify location.

Limitazioni

Puoi utilizzare le query BigQuery di esempio e il modello di Looker Studio per unire i dati di misurazione dell'utilizzo di GKE con i dati di fatturazione di Google Cloud esportati in BigQuery. In questo modo puoi stimare una suddivisione dei costi per cluster, spazio dei nomi ed etichette.

I dati della misurazione dell'utilizzo di GKE sono puramente indicativi e non influiscono sulla fattura di Google Cloud. Per i dati di fatturazione, la fattura di Google Cloud è l'unica fonte attendibile.

Si applicano le seguenti limitazioni:

Gli sconti o i crediti speciali del contratto non vengono presi in considerazione.
Le risorse create al di fuori dell'ambito di GKE non vengono monitorate per spazio dei nomi o etichetta.
Solo le etichette degli oggetti Pod e PersistentVolumeClaim vengono monitorate dai report sull'utilizzo.
Sono supportati solo i PersistentVolume con provisioning dinamico.
Sono supportati solo i tipi di dischi pd-standard e pd-ssd. La misurazione dell'utilizzo di GKE potrebbe includere i costi per le versioni regionali di entrambi i tipi di disco nello stesso SKU.
Looker Studio non supporta la visualizzazione dei tipi di macchine in grado di eseguire l'esplosione.
Puoi esportare i dati solo in un set di dati BigQuery che si trova nello stesso progetto del tuo cluster.
Non devi utilizzare le porte 27304, 47082 e 47083 perché sono riservate al monitoraggio delle uscite di rete.
Gli oggetti StorageClass personalizzati non sono supportati.
La misurazione del traffico di rete in uscita non è supportata per i nodi Windows Server.
La misurazione del traffico in uscita dalla rete non è supportata per VPC condiviso o il peering di rete VPC.
La misurazione del traffico di rete in uscita non è supportata per i cluster con più di 150 nodi.

Prerequisiti

Prima di utilizzare il monitoraggio dell'utilizzo di GKE, devi soddisfare i seguenti prerequisiti:

Per monitorare il consumo effettivo delle risorse, il cluster deve utilizzare GKE 1.14.2-gke.3 o versioni successive.
Se utilizzi tipi di macchine E2 o N2, la versione del cluster deve essere GKE 1.15.11-gke.9 o successiva.
L'esportazione della fatturazione per BigQuery è attivata. Gli addebiti sono associati all'utilizzo di BigQuery.
È necessaria la versione 250.0.0 o successiva del comando gcloud. Usa gcloud --version per controllare.
Devi abilitare l'API BigQuery nel tuo progetto Google Cloud. Se hai attivato GKE per la prima volta dopo luglio 2018, l'API è già attivata.

Abilita misurazione utilizzo GKE

Per attivare la misurazione dell'utilizzo di GKE, devi prima creare un set di dati BigQuery per un singolo cluster, per più cluster nel progetto o per l'intero progetto. Per ulteriori informazioni sulla scelta di una mappatura tra set di dati e cluster, consulta Scegliere uno o più set di dati BigQuery.

Successivamente, abilita la misurazione dell'utilizzo di GKE quando crei un nuovo cluster o ne modifichi uno esistente.

Se vuoi, puoi creare una dashboard di Looker Studio per visualizzare l'utilizzo delle risorse dei tuoi cluster.

Crea il set di dati BigQuery

Per utilizzare la misurazione dell'utilizzo di GKE per i cluster nel progetto Google Cloud, devi prima creare il set di dati BigQuery, quindi configurare i cluster per utilizzarlo. Puoi utilizzare un singolo set di dati BigQuery per archiviare informazioni sull'utilizzo delle risorse per più cluster nello stesso progetto.

Per maggiori dettagli, consulta Creare set di dati. Imposta Default table expiration per il set di dati su Never in modo che la tabella non scada. Se una tabella scade, viene ricreata automaticamente come tabella vuota.

Abilita la misurazione dell'utilizzo di GKE per un cluster

Puoi attivare la misurazione dell'utilizzo di GKE su un cluster nuovo o esistente utilizzando il comando gcloud o la console Google Cloud.

L'attivazione della misurazione dell'utilizzo di GKE abilita anche la misurazione del consumo di risorse per impostazione predefinita. Per disattivare in modo selettivo la misurazione del consumo di risorse continuando a monitorare le richieste di risorse, consulta le istruzioni specifiche per abilitare la misurazione dell'utilizzo di GKE utilizzando il comando gcloud in questo argomento.

La misurazione del traffico in uscita dalla rete è disattivata per impostazione predefinita. Per attivarla, consulta le avvertenze e le istruzioni in (Facoltativo) Abilitazione della misurazione del traffico in uscita dalla rete in questo argomento.

Crea un nuovo cluster

Puoi creare un cluster utilizzando la gcloud CLI o la console Google Cloud.

gcloud

Per creare un cluster con la misurazione dell'utilizzo di GKE abilitata, esegui il seguente comando:

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Sostituisci quanto segue:

CLUSTER_NAME: il nome del tuo cluster GKE.
RESOURCE_USAGE_DATASET: il nome del set di dati BigQuery.

La misurazione del consumo di risorse è attiva per impostazione predefinita. Per disattivarlo e monitorare solo le richieste di risorse, aggiungi il flag --no-enable-resource-consumption- metering al comando precedente. Devi anche modificare le query di esempio nel resto di questo argomento in modo che non eseguano query per il consumo di risorse.

Se necessario, le tabelle richieste vengono create nel set di dati BigQuery al momento dell'avvio del cluster.

Console

Per creare un cluster con la misurazione dell'utilizzo di GKE abilitata:

Vai alla pagina Google Kubernetes Engine nella console Google Cloud.

Vai a Google Kubernetes Engine
Fai clic su Crea.
Nel riquadro di navigazione, in Cluster, fai clic su Funzionalità.
Seleziona Abilita misurazione utilizzo GKE.
Inserisci il nome del tuo set di dati BigQuery.
(Facoltativo) Seleziona Abilita misurazione traffico in uscita dalla rete dopo aver esaminato le avvertenze e le istruzioni in (Facoltativo) Abilitazione della misurazione del traffico in uscita dalla rete.
Continua a configurare il cluster, quindi fai clic su Crea.

Configurare un cluster esistente

gcloud

Per abilitare la misurazione dell'utilizzo di GKE su un cluster esistente, esegui il seguente comando:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Puoi anche modificare il set di dati utilizzato da un cluster esistente per archiviare i dati di misurazione dell'utilizzo modificando il valore del flag --resource-usage-bigquery-dataset.

Se necessario, viene creata una tabella all'interno del set di dati BigQuery quando il cluster viene aggiornato.

Console

Vai alla pagina Google Kubernetes Engine nella console Google Cloud.

Vai a Google Kubernetes Engine
Accanto al cluster che vuoi modificare, fai clic su Azioni e poi su Modifica.
In Funzionalità, fai clic su Modifica accanto a Misurazione dell'utilizzo di GKE.
Seleziona Abilita misurazione utilizzo GKE.
Inserisci il nome del set di dati BigQuery.
(Facoltativo) Seleziona Abilita misurazione traffico in uscita dalla rete dopo aver esaminato le avvertenze e le istruzioni in (Facoltativo) Abilitazione della misurazione del traffico in uscita dalla rete.
Fai clic su Salva modifiche.

(Facoltativo) Abilita la misurazione del traffico in uscita dalla rete

Per impostazione predefinita, i dati del traffico di rete in uscita non vengono raccolti o esportati. La misurazione del traffico in uscita dalla rete richiede un agente di misurazione di rete (NMA, network metering agent) in esecuzione su ogni nodo. L'NMA viene eseguito come un pod con privilegi, consuma alcune risorse sul nodo (CPU, memoria e spazio su disco) e abilita il flag sysctl nf_conntrack_acct sul kernel (per la contabilità del flusso di monitoraggio delle connessioni).

Se queste condizioni non ti causano problemi, puoi abilitare il monitoraggio del traffico di rete in uscita in abbinamento con il monitoraggio dell'utilizzo GKE. Per abilitare il monitoraggio del traffico in uscita dalla rete, includere l'opzione --enable-network-egress-metering quando crei o aggiorni il cluster oppure seleziona Abilita misurazione traffico in uscita dalla rete quando attivi la misurazione dell'utilizzo di GKE nella console Google Cloud.

Per disattivare la misurazione dell'uscita di rete, aggiungi il flag --no-enable-network-egress-metering quando aggiorni il cluster con la riga di comando. In alternativa, puoi deselezionare Abilita misurazione traffico in uscita dalla rete nella sezione Misurazione dell'utilizzo di GKE del cluster nella console Google Cloud.

Verificare che la misurazione dell'utilizzo di GKE sia abilitata

Per verificare che la misurazione dell'utilizzo di GKE sia abilitata su un cluster e per confermare quale set di dati BigQuery memorizza i dati sull'utilizzo delle risorse del cluster, esegui il seguente comando:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

L'output è vuoto se la misurazione dell'utilizzo di GKE non è attivata, altrimenti mostra il set di dati BigQuery utilizzato dal cluster, come nell'esempio di output seguente:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Scegli uno o più set di dati BigQuery

Un set di dati può contenere i dati della misurazione dell'utilizzo di GKE per uno o più cluster nel tuo progetto. L'utilizzo di uno o più set di dati dipende dalle tue esigenze di sicurezza:

Un unico set di dati per l'intero progetto semplifica l'amministrazione.
Un set di dati per cluster ti consente di delegare l'accesso granulare ai set di dati.
Un set di dati per gruppo di cluster correlati ti consente di trovare la giusta combinazione di semplicità e granularità per le tue esigenze.

Visualizzare i dati di misurazione dell'utilizzo di GKE utilizzando una dashboard di Looker Studio

Puoi visualizzare i dati della misurazione dell'utilizzo di GKE utilizzando una dashboard di Looker Studio. In questo modo puoi filtrare i dati in base al nome, allo spazio dei nomi o all'etichetta del cluster. Puoi anche modificare il periodo di generazione dei report in modo dinamico. Se hai esperienza con Looker Studio e BigQuery, puoi creare una dashboard personalizzata. Puoi anche clonare una dashboard che abbiamo creato appositamente per il monitoraggio dell'utilizzo di GKE.

Puoi utilizzare la dashboard per visualizzare le richieste e il consumo di risorse nei cluster nel tempo.

Prerequisiti

Abilita l'esportazione dei dati di fatturazione Google Cloud in BigQuery se non è già attivata.

Durante questa procedura, crei un set di dati, ma la tabella al suo interno può richiedere fino a 5 ore per essere visualizzata e iniziare a essere compilata. Quando viene visualizzata la tabella, il nome è gcp_billing_export_v1_BILLING_ACCOUNT_ID.
Abilita la misurazione dell'utilizzo di GKE su almeno un cluster del progetto. Prendi nota del nome scelto per il set di dati BigQuery.
Attiva Looker Studio se non è già attivo.
Raccogli le seguenti informazioni, necessarie per configurare la dashboard:
- ID set di dati di esportazione della fatturazione Cloud e tabella di dati
- ID del set di dati di misurazione dell'utilizzo GKE
Assicurati di avere la versione 2.0.58 o successive di BigQuery CLI. Per controllare la versione, esegui bq version e gcloud components update per aggiornare BigQuery CLI.
I comandi in questa sezione devono essere eseguiti in un terminale Linux o in Cloud Shell.

Crea la tabella di distribuzione dei costi di BigQuery

Scarica uno dei seguenti modelli di query:
- Se hai attivato la misurazione del consumo, scarica this template.
- Se non hai attivato la misurazione del consumo, scarica this template.
Se utilizzi Cloud Shell, copia questo file nella directory in cui esegui i comandi riportati di seguito.
Esegui questo comando per impostare le variabili di ambiente:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
```
Sostituisci quanto segue:
- YOUR_BILLING_EXPORT_TABLE_PATH: il percorso della tabella di esportazione della fatturazione generata. Questa tabella ha un nome simile a PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
- YOUR_USAGE_METERING_PROJECT_ID: il nome del tuo progetto Google Cloud.
- YOUR_USAGE_METERING_DATASET_ID: il nome del set di dati che hai creato in BigQuery, ad esempio all_billing_data.
- YOUR_USAGE_METERING_START_DATE: la data di inizio della query nel formato YYYY-MM-DD.
- YOUR_COST_BREAKDOWN_TABLE_ID: il nome di una nuova tabella che hai scelto, ad esempio usage_metering_cost_breakdown. Questa tabella viene utilizzata come input per Looker Studio.
- YOUR_TEMPLATE_PATH: il nome del modello di query che hai scaricato, usage_metering_query_template_request_and_consumption.sql o usage_metering_query_template_request_only.sql.
- YOUR_RENDERED_QUERY_PATH: il nome del percorso per la query visualizzata che scegli, ad esempio cost_breakdown_query.sql.
Ad esempio, le variabili di ambiente potrebbero essere simili alle seguenti:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
export USAGE_METERING_PROJECT_ID=my-billing-project
export USAGE_METERING_DATASET_ID=all_billing_data
export USAGE_METERING_START_DATE=2022-05-01
export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
export USAGE_METERING_QUERY=cost_breakdown_query.sql
```

Esegui il rendering della query dal modello:

sed \
-e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
-e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
-e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
-e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
"$USAGE_METERING_QUERY_TEMPLATE" \
> "$USAGE_METERING_QUERY"

Crea una nuova tabella di distribuzione dei costi che viene aggiornata ogni 24 ore:

bq query \
--project_id=$USAGE_METERING_PROJECT_ID \
--use_legacy_sql=false \
--destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
--schedule='every 24 hours' \
--display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
--replace=true \
"$(cat $USAGE_METERING_QUERY)"

Per ulteriori informazioni sulla pianificazione delle query, consulta Configurare le query pianificate.

Crea l'origine dati BigQuery

In Looker Studio, vai a Origini dati.
Fai clic su Crea e poi su Origine dati.
Seleziona BigQuery.
Assegna un nome all'origine dati. Nella barra degli strumenti, fai clic sulle parole Origine dati senza titolo per sostituire il testo con un nome descrittivo.
Seleziona Query personalizzata e poi l'ID progetto.

Incolla la seguente query nell'Editor query:

SELECT
  *
FROM
  `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`

Fai clic su Connetti.

Crea la dashboard di Looker Studio

Copia la dashboard di misurazione dell'utilizzo di GKE nel tuo progetto.
Fai clic su Altre opzioni e poi su Crea una copia.
Nella finestra di dialogo Copia questo report, seleziona l'origine dati che hai creato dall'elenco Nuova origine dati.
Fai clic su Copia report.

La dashboard viene creata e puoi accedervi in qualsiasi momento nell'elenco dei report di Looker Studio per il tuo progetto.

Utilizzare la dashboard di Looker Studio

La dashboard contiene più report:

Suddivisione dell'utilizzo: Questo report contiene il rapporto di utilizzo complessivo dei cluster tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery. Sono incluse anche informazioni dettagliate sul tipo di risorsa, ad esempio CPU, memoria o uscita di rete per spazio dei nomi. Puoi limitare i dati del report a uno o più singoli cluster o spazi dei nomi.
Analisi dettagliata dell'utilizzo con risorse non allocate: Questo report è simile al report di distribuzione dell'utilizzo, ma distribuisce le risorse non allocate proporzionalmente a tutti gli spazi dei nomi. Le risorse non assegnate includono le risorse inattive e tutte le risorse che al momento non sono allocate dalla misurazione dell'utilizzo di GKE a tenant specifici.
Analisi dettagliata delle tendenze di costo * per spazio dei nomi: Tendenze di utilizzo tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery in base al nome del pacchetto. Puoi selezionare uno o più singoli cluster, spazi dei nomi, risorse o SKU.
Analisi dettagliata delle tendenze di costo * per etichetta: Tendenze dei costi tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery. Puoi selezionare uno o più singoli cluster, risorse, nomi di etichette o valori di etichetta.
Misurazione basata sul consumo: Tendenze di consumo tra tutti i cluster che inviano dati di misurazione dell'utilizzo alla stessa origine dati BigQuery. Puoi selezionare uno o più singoli spazi dei nomi, chiavi di etichetta o valori di etichetta. Questo report viene compilato solo se la misurazione del consumo di risorse è abilitata su almeno un cluster.

Puoi cambiare pagina utilizzando il menu di navigazione. Puoi modificare l'intervallo di tempo di una pagina utilizzando il selettore della data. Per condividere il report con i membri della tua organizzazione o per revocare l'accesso, fai clic su Condividi report.

Dopo aver copiato il report nel progetto, puoi personalizzarlo utilizzando l'editor di report di Looker Studio. Anche se il modello di report fornito da Google cambia, la tua copia non è interessata.

Esplorare i dati di misurazione dell'utilizzo di GKE utilizzando BigQuery

Per visualizzare i dati sulle richieste di risorse utilizzando BigQuery, esegui una query sulla tabella gke_cluster_resource_usage all'interno del set di dati BigQuery pertinente.

Per visualizzare i dati sul consumo effettivo delle risorse, esegui una query sulla tabella gke_cluster_resource_consumption. I dati relativi al consumo in uscita della rete rimangono in gke_cluster_resource_usage perché non esiste il concetto di richieste di risorse per le uscite.

Per ulteriori informazioni sull'utilizzo delle query in BigQuery, consulta Eseguire query. I campi nello schema sono stabili, anche se in futuro potrebbero essere aggiunti altri campi.

Queste query sono semplici esempi. Personalizza la query per trovare i dati di cui hai bisogno.

Esegui query sulle richieste di risorse

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Esegui query sul consumo di risorse

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Sostituisci quanto segue:

CLUSTER_GCP_PROJECT: il nome del progetto Google Cloud che contiene il cluster su cui vuoi eseguire una query.
USAGE_METERING_DATASET: il nome della tabella di misurazione dell'utilizzo.
NAMESPACE: il nome dello spazio dei nomi.

Altri esempi

Espandi le sezioni seguenti per vedere esempi più sofisticati.

Come eseguire query sui costi suddivisi per spazio dei nomi

Queste query ignorano l'utilizzo delle risorse di un cluster quando le informazioni di fatturazione della risorsa cloud associata non sono ancora state esportate nel set di dati di esportazione della fatturazione di Google Cloud. Questo ritardo si verifica quando la finestra temporale di un record di utilizzo delle risorse cloud precede l'ultimo record nei dati di fatturazione di Google Cloud esportati. La latenza per l'esportazione della fatturazione può essere fino a 5 ore.

Richieste di risorse

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Consumo di risorse

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Come eseguire query sui costi in un periodo di tempo specifico, suddivisi per spazio dei nomi ed etichette

Queste query mostrano i costi per un periodo di tempo specifico, in base alle etichette degli spazi dei nomi.

Richieste di risorse per periodo di tempo, raggruppate per spazi dei nomi ed etichette

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Consumo delle risorse per periodo di tempo, raggruppato per spazi dei nomi ed etichette

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Come mostrare il consumo effettivo delle risorse in percentuale delle richieste di risorse nel tempo

Questa query mostra il rapporto tra il consumo effettivo della CPU e le richieste di CPU, in modo da poter vedere quali pod richiedono troppa o troppo poca CPU rispetto ai requisiti effettivi.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC

Schema di misurazione dell'utilizzo GKE in BigQuery

La tabella seguente descrive lo schema delle tabelle di misurazione dell'utilizzo di GKE nel set di dati BigQuery. Se nel cluster è in esecuzione una versione di GKE che supporta la misurazione del consumo delle risorse e le richieste di risorse, viene creata un'altra tabella con lo stesso schema.

Campo	Tipo	Descrizione
`cluster_location`	`STRING`	Il nome della zona o della regione Compute Engine in cui risiede il cluster GKE.
`cluster_name`	`STRING`	Il nome del cluster GKE.
`namespace`	`STRING`	Lo spazio dei nomi Kubernetes da cui viene generato l'utilizzo.
`resource_name`	`STRING`	Il nome della risorsa, ad esempio "cpu", "memory" e "storage".
`sku_id`	`STRING`	L'ID SKU della risorsa cloud Google Cloud sottostante.
`start_time`	`TIMESTAMP`	Il timestamp UNIX dell'inizio dell'utilizzo.
`end_time`	`TIMESTAMP`	Il timestamp UNIX dell'ora di fine dell'utilizzo.
`fraction`	`FLOAT`	La frazione di una risorsa cloud utilizzata dall'utilizzo. Per una risorsa cloud dedicata utilizzata esclusivamente da un singolo spazio dei nomi, la frazione è sempre 1,0. Per le risorse condivise tra più spazi dei nomi, la frazione viene calcolata dividendo l'importo richiesto per la capacità totale della risorsa cloud sottostante.
`cloud_resource_size`	`INTEGER`	Le dimensioni della risorsa Google Cloud sottostante. Ad esempio, la dimensione delle vCPU su un'istanza n1-standard-2 è 2.
`labels.key`	`STRING`	La chiave di un'etichetta Kubernetes associata all'utilizzo.
`labels.value`	`STRING`	Il valore di un'etichetta Kubernetes associata all'utilizzo.
`project.id`	`STRING`	L'ID del progetto in cui si trova il cluster GKE.
`usage.amount`	`FLOAT`	La quantità di `usage.unit` utilizzata.
`usage.unit`	`STRING`	L'unità base in cui viene misurato l'utilizzo delle risorse. Ad esempio, l'unità base per l'archiviazione standard è byte-secondi.

Le unità di misurazione dell'utilizzo di GKE devono essere interpretate nel seguente modo:

La CPU usage.unit è in secondi, ovvero il tempo totale di CPU richiesto o utilizzato da un pod. Ad esempio, se abbiamo due pod che richiedono ciascuno 30 CPU e vengono eseguiti per 15 minuti,l'importo aggregato della tabella delle richieste è 54.000 secondi (2 pod * 30 CPU * 15 minuti * 60 secondi / minuto).
La memoria usage.unit è in byte-secondi, ovvero l'integrale della memoria nel tempo richiesta o utilizzata da un pod. Ad esempio, se abbiamo due pod che richiedono ciascuno 30 GiB e vengono eseguiti per 15 minuti, l'importo aggregato della tabella delle richieste è 5.798+13 byte-secondi (2 pod * 30 GiB * 15 minuti * 60 secondi / minuto * 1073741824 byte / GiB).

Informazioni su quando i dati della misurazione dell'utilizzo di GKE vengono scritti in BigQuery

Esistono due condizioni in cui la misurazione dell'utilizzo di GKE scrive i record di utilizzo nelle metriche BigQuery:

La fase del pod diventa succeeded o failed o quando il pod viene eliminato.
Il timestamp della pianificazione oraria per la scrittura dei record viene raggiunto mentre il pod è ancora in esecuzione.

La misurazione dell'utilizzo di GKE genera una pianificazione ogni ora in cui scrive in BigQuery i record di utilizzo dei pod per tutti i pod attualmente in esecuzione. Il timestamp della pianificazione non è uguale in tutti i cluster.

Se in quel timestamp sono in esecuzione più pod, troverai più record di utilizzo con lo stesso end_time. Il valore end_time di questi record di utilizzo indica il timestamp della pianificazione oraria.

Inoltre, se hai più pod in esecuzione da più ore, hai anche un insieme di record di utilizzo con un end_time che corrisponde al start_time di un altro insieme di record di utilizzo.

Disattivare la misurazione dell'utilizzo di GKE

gcloud

Per disattivare la misurazione dell'utilizzo di GKE in un cluster, esegui il seguente comando:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Console

Vai alla pagina Google Kubernetes Engine nella console Google Cloud.

Vai a Google Kubernetes Engine
Accanto al cluster che vuoi modificare, fai clic su Azioni e poi su Modifica.
In Funzionalità, fai clic su Modifica accanto a Misurazione dell'utilizzo di GKE.
Deseleziona Abilita misurazione utilizzo GKE.
Fai clic su Salva modifiche.

Informazioni sull'utilizzo delle risorse cluster

Panoramica

Prima di iniziare

Limitazioni

Prerequisiti

Abilita misurazione utilizzo GKE

Crea il set di dati BigQuery

Abilita la misurazione dell'utilizzo di GKE per un cluster

Crea un nuovo cluster

gcloud

Console

Configurare un cluster esistente

gcloud

Console

(Facoltativo) Abilita la misurazione del traffico in uscita dalla rete

Verificare che la misurazione dell'utilizzo di GKE sia abilitata

Scegli uno o più set di dati BigQuery

Visualizzare i dati di misurazione dell'utilizzo di GKE utilizzando una dashboard di Looker Studio

Prerequisiti

Crea la tabella di distribuzione dei costi di BigQuery

Crea l'origine dati BigQuery

Crea la dashboard di Looker Studio

Utilizzare la dashboard di Looker Studio

Esplorare i dati di misurazione dell'utilizzo di GKE utilizzando BigQuery

Esegui query sulle richieste di risorse

Esegui query sul consumo di risorse

Altri esempi

Come eseguire query sui costi suddivisi per spazio dei nomi

Richieste di risorse

Consumo di risorse

Come eseguire query sui costi in un periodo di tempo specifico, suddivisi per spazio dei nomi ed etichette

Richieste di risorse per periodo di tempo, raggruppate per spazi dei nomi ed etichette

Consumo delle risorse per periodo di tempo, raggruppato per spazi dei nomi ed etichette

Come mostrare il consumo effettivo delle risorse in percentuale delle richieste di risorse nel tempo

Schema di misurazione dell'utilizzo GKE in BigQuery

Informazioni su quando i dati della misurazione dell'utilizzo di GKE vengono scritti in BigQuery

Disattivare la misurazione dell'utilizzo di GKE

gcloud

Console

Passaggi successivi