Scegli la dimensione giusta per i tuoi carichi di lavoro GKE su larga scala

Questo tutorial mostra come determinare le dimensioni ottimali dei workload Google Kubernetes Engine (GKE) con i consigli VPA e le metriche di utilizzo.

Scopri perché la scelta della dimensione corretta delle risorse è importante

Un sottodimensionamento può privare i container delle risorse necessarie per eseguire le applicazioni, rendendole lente e inaffidabili. L'overprovisioning non influisce sul rendimento delle applicazioni, ma potrebbe aumentare la fattura mensile.

La tabella seguente descrive le implicazioni del sottodimensionamento e dell'overprovisioning di CPU e memoria:

Risorsa Stato del provisioning Rischio Spiegazione
CPU Oltre Costo Aumenta il costo dei carichi di lavoro riservando risorse non necessarie.
Sotto Prestazioni Può causare il rallentamento dei carichi di lavoro o la loro mancata risposta.
Non impostato Affidabilità La CPU può essere limitata a 0, causando la mancata risposta dei carichi di lavoro.
Memoria Oltre Costo Aumenta il costo dei carichi di lavoro riservando risorse non necessarie.
Sotto Affidabilità Può causare l'interruzione delle applicazioni con un errore di esaurimento della memoria.
Non impostato Affidabilità kubelet può interrompere i pod in qualsiasi momento e contrassegnarli come erronei.

Obiettivi

In questo tutorial imparerai a:

  • Esegui il deployment di un'applicazione di esempio.
  • Esporta le metriche dei consigli GKE dal monitoraggio in BigQuery.
  • Utilizza BigQuery e Looker Studio per visualizzare i consigli per i contenitori GKE nei vari progetti.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Al termine delle attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la sezione Pulizia.

Prima di iniziare

Configura il progetto

Cloud Shell è preinstallato con il software di cui hai bisogno per questo tutorial, tra cui Docker, kubectl, gcloud CLI e Terraform. Se non utilizzi Cloud Shell, devi installare gcloud CLI.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Resource Manager, Google Kubernetes Engine, Cloud Monitoring, BigQuery, Cloud Run, Cloud Build APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com container.googleapis.com monitoring.googleapis.com bigquery.googleapis.com run.googleapis.com cloudbuild.googleapis.com cloudscheduler.googleapis.com artifactregistry.googleapis.com
  7. Install the Google Cloud CLI.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Resource Manager, Google Kubernetes Engine, Cloud Monitoring, BigQuery, Cloud Run, Cloud Build APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com container.googleapis.com monitoring.googleapis.com bigquery.googleapis.com run.googleapis.com cloudbuild.googleapis.com cloudscheduler.googleapis.com artifactregistry.googleapis.com

  12. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/serviceusage.serviceUsageAdmin, roles/container.clusterAdmin, roles/iam.serviceAccountAdmin, roles/iam.securityAdmin, roles/container.admin 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.

    • Replace ROLE with each individual role.

Configura l'ambiente

Per configurare l'ambiente:

  1. Imposta le variabili di ambiente:

    export PROJECT_ID=PROJECT_ID
export REGION=us-central1
export ZONE=us-central1-f
export IMAGE=$REGION-docker.pkg.dev/$PROJECT_ID/main/vpa-recs-image:latest

    Sostituisci PROJECT_ID con il tuo ID progetto Google Cloud.

  2. Imposta le variabili di ambiente predefinite:

    gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION
gcloud config set compute/zone $ZONE

  3. Clona il repository di codice.

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

  4. Passa alla directory di lavoro.

    cd kubernetes-engine-samples/cost-optimization/gke-vpa-recommendations

(Facoltativo) Configura l'applicazione di esempio

Questa è una sezione facoltativa per il deployment di un'applicazione di esempio. Per utilizzare un cluster esistente, assicurati che Cloud Monitoring sia configurato sul cluster.

Per simulare un ambiente realistico, utilizzerai uno script di configurazione per eseguire il deployment di Online Boutique.

I passaggi riportati di seguito installano l'applicazione di esempio e modificano la configurazione predefinita. Ad esempio, le istruzioni configurano il gestitore della scalabilità automatica pod orizzontale (HPA) per alcuni workload e modificano le richieste e i limiti delle risorse.

  1. Esegui lo script di configurazione:

    ./scripts/setup.sh

    Lo script di configurazione esegue le seguenti operazioni:

    • Viene creato un cluster GKE.
    • Esegue il deployment dell'applicazione di esempio Online Boutique.
    • Aggiorna le richieste di risorse CPU e memoria del pod.
    • Configura una risorsa HorizontalPodAutoscaler per i carichi di lavoro adservice per simulare un ambiente realistico.

    Il completamento dello script di configurazione potrebbe richiedere fino a 10 minuti.

  2. Verifica che l'applicazione di esempio sia pronta:

    kubectl get deployment

    L'output è simile al seguente:

    NAME                    READY   UP-TO-DATE   AVAILABLE   AGE
adservice               2/2     2            2           4m54s
cartservice             1/1     1            1           4m55s
checkoutservice         1/1     1            1           4m56s
currencyservice         1/1     1            1           4m55s
emailservice            1/1     1            1           4m56s
frontend                1/1     1            1           4m55s
loadgenerator           1/1     1            1           4m55s
paymentservice          1/1     1            1           4m55s
productcatalogservice   1/1     1            1           4m55s
recommendationservice   1/1     1            1           4m56s
redis-cart              1/1     1            1           4m54s
shippingservice         1/1     1            1           4m54s

Crea un repository

Crea il repository per archiviare l'immagine dell'esportatore di metriche.

  1. Crea un nuovo repository Docker:

    gcloud artifacts repositories create main --repository-format=docker \
    --location=$REGION \
    --description="docker repository"

  2. Configura l'autenticazione nei repository Docker:

    gcloud auth configure-docker $REGION-docker.pkg.dev

  3. Esegui il deployment dell'immagine lanciando questo comando:

    gcloud builds submit metrics-exporter --region=$REGION --tag $IMAGE

Esegui il deployment dell'applicazione

Nella sezione seguente, utilizzerai Terraform per eseguire le seguenti attività:

  • Crea un account di servizio e assegna le autorizzazioni necessarie per gestire e interagire con le risorse Google Cloud.
  • Concedi al service account i ruoli Visualizzatore monitoraggio, Editor dati BigQuery, Proprietario dati BigQuery, Utente job BigQuery e Avvocato Cloud Run.
  • Esegui il deployment di un job Cloud Run che estrae un'immagine Docker da Artifact Registry e la esegue con la configurazione specificata.
  • Crea un job Cloud Scheduler che attivi il servizio Cloud Run ogni giorno.
  • Crea un set di dati, una tabella e una vista BigQuery per archiviare i dati delle metriche e i consigli.

Configura Terraform

  1. Imposta le variabili di ambiente di configurazione:

    export TF_VAR_BIGQUERY_DATASET=gke_metrics_dataset
export TF_VAR_BIGQUERY_TABLE=gke_metrics
export TF_VAR_RECOMMENDATION_WINDOW_SECONDS=1209600
export TF_VAR_RECOMMENDATION_DISTANCE=86400
export TF_VAR_LATEST_WINDOW_SECONDS=600
export TF_VAR_METRIC_WINDOW=259200
export TF_VAR_METRIC_DISTANCE=600

    Questo comando include quanto segue:

    • TF_VAR_BIGQUERY_DATASET e TF_VAR_BIGQUERY_TABLE: tieni premuti i dati delle metriche GKE.
    • TF_VAR_RECOMMENDATION_WINDOW_SECONDS: il periodo di tempo per i consigli VPA. Il valore predefinito è 1.209.600 secondi o 14 giorni.
    • TF_VAR_RECOMMENDATION_DISTANCE: l'intervallo in cui vengono restituiti i punti dati dei consigli VPA. Il valore predefinito è 86.400 secondi o ogni 1 giorno.
    • TF_VAR_LATEST_WINDOW_SECONDS: il periodo di tempo per ottenere i valori delle risorse limitate e richieste più recenti. Il valore predefinito è 600 secondi, o 10 minuti.
    • METRIC_WINDOW: stabilisce l'intervallo di tempo per le metriche di utilizzo e utilizzo di GKE. Il valore predefinito è 25.9200 secondi o 3 giorni.
    • METRIC_DISTANCE: l'intervallo a cui vengono riportati i punti dati. Il valore predefinito è 600 secondi, ovvero ogni 10 minuti.

    Modifica questi valori in base alle esigenze dei tuoi carichi di lavoro. Ad esempio, per i carichi di lavoro batch che vengono eseguiti una volta al mese, aggiorna TF_VAR_RECOMMENDATION_WINDOW_SECONDS e METRIC_WINDOW in 2592000 secondi (30 giorni).

Esegui il deployment della configurazione Terraform

  1. Inizializza, convalida e applica la configurazione:

    terraform -chdir=terraform init
terraform -chdir=terraform validate
terraform -chdir=terraform apply -var project_id=$PROJECT_ID -var region=$REGION -var image=$IMAGE

    Questo comando fornisce un piano di esecuzione e richiede la tua approvazione prima di apportare modifiche. Esamina il piano e, se tutto è come previsto, digita yes per continuare.

    Una volta completato il comando apply, le risorse vengono create e gestite da Terraform.

  2. Esegui manualmente il job Cloud Scheduler:

    gcloud scheduler jobs run recommendation-schedule --location ${REGION}

Verifica il deployment

  1. Seleziona la scheda Log nella pagina dei dettagli di workload-recommendations.

  2. Verifica che i log delle metriche vengano elaborati nella console Cloud Run:

    Vai a Cloud Run

    I log mostrano le metriche scritte in BigQuery. L'output dovrebbe essere simile al seguente:

    INFO - Building Row
INFO - Successfully wrote 12 rows to BigQuery table [PROJECT_ID].gke_metric_dataset.gke_metrics.
INFO - Run Completed

    Se l'output non corrisponde, attendi cinque minuti ed esegui il comando gcloud scheduler jobs run recommendation-schedule --location $REGION.

Visualizza il consiglio per il contenitore in BigQuery

  1. Vai alla pagina BigQuery nella console Google Cloud:

    Vai a BigQuery

  2. Verifica che i dati siano visibili nella tabella gke_metrics e nella visualizzazione container_recommendations. A seconda del numero di carichi di lavoro, la scrittura di tutte le metriche in BigQuery potrebbe richiedere alcuni minuti.

  3. Nell'editor delle query, seleziona tutte le righe della visualizzazione container_recommendations:

    SELECT * FROM `PROJECT_ID.gke_metrics_dataset.container_recommendations`

    Questo programma estrae le seguenti metriche dal monitoraggio del cloud:

    • Dettagli del workload: ID progetto, nome del cluster, nome del controller e del contenitore.

    • Utilizzo e utilizzo della CPU/memoria: la quantità di CPU e memoria in uso dal workload, nonché la percentuale di CPU e memoria in uso.

    • Richiesta e limiti: la quantità di CPU e memoria richiesta per il carico di lavoro, nonché la quantità massima di CPU e memoria consentita per il carico di lavoro.

    • Consigli per i carichi di lavoro relativi a CPU e memoria: consigli su come allocare CPU e memoria al carico di lavoro per assicurarne il funzionamento senza problemi, in base ai consigli VPA per i deployment e all'utilizzo effettivo e agli utilizzi target per gli oggetti non deployment.

Visualizzare i consigli in Looker Studio

Looker Studio è una piattaforma di business intelligence self-service gratuita che consente di creare e utilizzare visualizzazioni dei dati, dashboard e report. Con Looker Studio puoi collegarti ai tuoi dati, creare visualizzazioni e condividere le tue informazioni con altri.

Utilizza Looker Studio per visualizzare i dati nella visualizzazione container_recommendations BigQuery:

  1. Apri il modello di dashboard per la scelta della dimensione ottimale dei carichi di lavoro
  2. Fai clic su Utilizza i miei dati.
  3. Seleziona il progetto.
  4. Per Set di dati, seleziona gke_metric_dataset.
  5. Per Tabella, seleziona container_recommendations.
  6. Fai clic su Aggiungi.
  7. Fai clic su Aggiungi al report.

Dettagli del modello di Looker Studio

La pagina dei dettagli del modello di Looker Studio fornisce le seguenti informazioni:

  • Panoramica del dimensionamento dei carichi di lavoro GKE: fornisce una panoramica dei tuoi cluster, tra cui:
    • Il numero di carichi di lavoro Best Effort e Burstable che sono a rischio di problemi di affidabilità e prestazioni.
    • Potenziali risparmi di risorse di CPU e memoria. I valori positivi indicano un overprovisioning, mentre i valori negativi indicano un underprovisioning.
  • Consigli per i carichi di lavoro: fornisce consigli per le richieste e i limiti di CPU e memoria dei carichi di lavoro.
  • Carichi di lavoro GKE a rischio: mostra i carichi di lavoro con il rischio più elevato di riscontrare problemi di affidabilità e prestazioni.
  • Cronologia - Ottimizzazione del carico di lavoro - Come va?: Fornisce una visualizzazione storica dell'efficacia con cui è stato implementato il dimensionamento ottimale dei carichi di lavoro e la riduzione del numero di carichi di lavoro di tipo Best Effort.

Consiglio per il container relativo alla CPU richiesta e al limite

Se i valori di CPU richiesti e di limite dei workload sono uguali, la QoS è considerata garantita e il consiglio per la CPU è impostato sul valore massimo nel periodo di 14 giorni. In caso contrario, viene utilizzato il 95° percentile del consiglio richiesto dalla CPU entro 14 giorni.

Quando i valori di richiesta e limite della CPU sono uguali, il consiglio per il limite della CPU è impostato sul consiglio VPA per la richiesta massima della CPU solo per gli oggetti di Deployment e sull'utilizzo della CPU con un utilizzo target del 70%. Se la richiesta e il limite del carico di lavoro non sono identici, viene utilizzato il rapporto limite esistente.

Consiglio per il container per la memoria richiesta e il limite

I consigli per la memoria utilizzano il VPA massimo consigliato solo per gli oggetti Deployment e l'utilizzo massimo della memoria con un utilizzo target dell'80% per garantire l'affidabilità dei carichi di lavoro. Puoi aggiornare i valori di utilizzo target nella query della vista container_recommendation.

È una best practice utilizzare la stessa quantità di memoria per richieste e limiti poiché la memoria è una risorsa non comprimibile. Quando la memoria è esaurita, il pod deve essere ritirato. Per evitare che i pod vengano rimossi e destabilizzino il tuo ambiente, devi impostare la memoria richiesta sul limite di memoria.

Assegnare la priorità ai consigli

A ogni riga viene assegnato un valore di priorità per mostrare i carichi di lavoro che richiedono attenzione immediata in base ai consigli. Le unità di CPU e memoria sono diverse. Per normalizzare le unità, il rapporto tra CPU e memoria predefinite del prezzo on demand del tipo di macchina E2 viene utilizzato come approssimazione per convertire le unità di memoria in unità di CPU.

La priorità viene calcolata utilizzando la seguente formula:

priority = (CPU requested - CPU recommendation) + ((memory requested -
memory recommendation) / (vCPUs on-demand pricing /memory on-demand pricing ))

Per Autopilot, le risorse totali richieste dalla configurazione di deployment devono rientrare nei valori minimi e massimi supportati.

Visualizzare i consigli VPA per più progetti

Per visualizzare i consigli per i contenitori VPA in più progetti, utilizza un nuovo progetto come progetto di definizione dell'ambito.

Quando esegui il deployment di questo progetto nell'ambiente di produzione, aggiungi tutti i progetti che vuoi analizzare all'ambito delle metriche del nuovo progetto.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

Il modo più semplice per evitare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Passaggi successivi