Esegui la migrazione da Docker alle immagini dei nodi containerd

Questa pagina mostra come eseguire la migrazione dei pool di nodi e di cluster Google Kubernetes Engine (GKE) Standard alle immagini dei nodi che utilizzano il runtime del container containerd.

Panoramica

I nodi Kubernetes utilizzano il runtime del container per avviare, gestire e arrestare i container in esecuzione nei pod. Il runtime containerd è un runtime di container standard di settore supportato da GKE.

Il runtime containerd fornisce l'astrazione a livelli che consente l'implementazione di un ricco set di funzionalità come gVisor e Streaming di immagini per estendere le funzionalità di GKE. Il runtime containerd è considerato più efficiente e sicuro in termini di risorse rispetto al runtime Docker.

Per eseguire la migrazione del runtime del container:

  • Identifica i nodi che utilizzano il runtime Docker
  • Verificare l'impatto della migrazione
  • Cambia l'immagine del nodo

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti attività:

  • Abilita l'API Google Kubernetes Engine.
    • Abilita l'API Google Kubernetes Engine
  • Se vuoi utilizzare Google Cloud CLI per questa attività, installa e initialize gcloud CLI. Se hai già installato gcloud CLI, scarica la versione più recente eseguendo gcloud components update.

Identifica i nodi che utilizzano il runtime Docker

Puoi controllare quali nodi utilizzano le immagini dei nodi basate su Docker utilizzando i seguenti metodi:

  • Utilizza uno script per eseguire l'iterazione su tutti i nodi in tutti i cluster GKE del progetto Google Cloud.
  • Utilizza Google Cloud CLI, kubectl o la console Google Cloud per identificare le immagini dei nodi.
  • Utilizza insight e suggerimenti sul ritiro per identificare cluster e nodi in zone o regioni specifiche in un progetto Google Cloud.

Ti consigliamo di utilizzare uno script per identificare rapidamente tutti i nodi di cui devi eseguire la migrazione.

Usa uno script per identificare i nodi Docker

Lo script seguente viene eseguito su ogni nodo di ogni cluster nei progetti disponibili e ti fornisce suggerimenti attuabili, ad esempio:

Lo script ignora i cluster GKE Autopilot, che utilizzano per impostazione predefinita Container-Optimized OS con l'immagine dei nodi containerd.

Esegui questo script:

for project in $(gcloud projects list --format="value(projectId)")
do
  echo "ProjectId: $project"
  for clusters in $( \
    gcloud container clusters list \
      --project $project \
      --format="csv[no-heading](name,location,autopilot.enabled,currentMasterVersion,autoscaling.enableNodeAutoprovisioning,autoscaling.autoprovisioningNodePoolDefaults.imageType)")
  do
    IFS=',' read -r -a clustersArray <<< "$clusters"
    cluster_name="${clustersArray[0]}"
    cluster_zone="${clustersArray[1]}"
    cluster_isAutopilot="${clustersArray[2]}"
    cluster_version="${clustersArray[3]}"
    cluster_minorVersion=${cluster_version:0:4}
    cluster_autoprovisioning="${clustersArray[4]}"
    cluster_autoprovisioningImageType="${clustersArray[5]}"

    if [ "$cluster_isAutopilot" = "True" ]; then
      echo "  Cluster: $cluster_name (autopilot) (zone: $cluster_zone)"
      echo "    Autopilot clusters are running Containerd."
    else
      echo "  Cluster: $cluster_name (zone: $cluster_zone)"

      if [ "$cluster_autoprovisioning" = "True" ]; then
        if [ "$cluster_minorVersion"  \< "1.20" ]; then
          echo "    Node autoprovisioning is enabled, and new node pools will have image type 'COS'."
          echo "    This settings is not configurable on the current version of a cluster."
          echo "    Please upgrade you cluster and configure the default node autoprovisioning image type."
          echo "    "
        else
          if [ "$cluster_autoprovisioningImageType" = "COS" ]; then
            echo "    Node autoprovisioning is configured to create new node pools of type 'COS'."
            echo "    Run the following command to update:"
            echo "    gcloud container clusters update '$cluster_name' --project '$project' --zone '$cluster_zone' --enable-autoprovisioning --autoprovisioning-image-type='COS_CONTAINERD'"
            echo "    "
          fi

          if [ "$cluster_autoprovisioningImageType" = "UBUNTU" ]; then
            echo "    Node autoprovisioning is configured to create new node pools of type 'UBUNTU'."
            echo "    Run the following command to update:"
            echo "    gcloud container clusters update '$cluster_name' --project '$project' --zone '$cluster_zone' --enable-autoprovisioning --autoprovisioning-image-type='UBUNTU_CONTAINERD'"
            echo "    "
          fi
        fi
      fi

      for nodepools in $( \
        gcloud container node-pools list \
          --project $project \
          --cluster $cluster_name \
          --zone $cluster_zone \
          --format="csv[no-heading](name,version,config.imageType)")
      do
        IFS=',' read -r -a nodepoolsArray <<< "$nodepools"
        nodepool_name="${nodepoolsArray[0]}"
        nodepool_version="${nodepoolsArray[1]}"
        nodepool_imageType="${nodepoolsArray[2]}"

        nodepool_minorVersion=${nodepool_version:0:4}

        echo "    Nodepool: $nodepool_name, version: $nodepool_version ($nodepool_minorVersion), image: $nodepool_imageType"

        minorVersionWithRev="${nodepool_version/-gke./.}"
        linuxGkeMinVersion="1.14"
        windowsGkeMinVersion="1.21.1.2200"

        suggestedImageType="COS_CONTAINERD"

        if [ "$nodepool_imageType" = "UBUNTU" ]; then
          suggestedImageType="UBUNTU_CONTAINERD"
        elif [ "$nodepool_imageType" = "WINDOWS_LTSC" ]; then
          suggestedImageType="WINDOWS_LTSC_CONTAINERD"
        elif [ "$nodepool_imageType" = "WINDOWS_SAC" ]; then
          suggestedImageType="WINDOWS_SAC_CONTAINERD"
        fi

        tab=$'\n      ';
        nodepool_message="$tab Please update the nodepool to use Containerd."
        nodepool_message+="$tab Make sure to consult with the list of known issues https://cloud.google.com/kubernetes-engine/docs/concepts/using-containerd#known_issues."
        nodepool_message+="$tab Run the following command to upgrade:"
        nodepool_message+="$tab "
        nodepool_message+="$tab gcloud container clusters upgrade '$cluster_name' --project '$project' --zone '$cluster_zone' --image-type '$suggestedImageType' --node-pool '$nodepool_name'"
        nodepool_message+="$tab "

        # see https://cloud.google.com/kubernetes-engine/docs/concepts/node-images
        if [ "$nodepool_imageType" = "COS_CONTAINERD" ] || [ "$nodepool_imageType" = "UBUNTU_CONTAINERD" ] ||
           [ "$nodepool_imageType" = "WINDOWS_LTSC_CONTAINERD" ] || [ "$nodepool_imageType" = "WINDOWS_SAC_CONTAINERD" ]; then
          nodepool_message="$tab Nodepool is using Containerd already"
        elif ( [ "$nodepool_imageType" = "WINDOWS_LTSC" ] || [ "$nodepool_imageType" = "WINDOWS_SAC" ] ) &&
               [ "$(printf '%s\n' "$windowsGkeMinVersion" "$minorVersionWithRev" | sort -V | head -n1)" != "$windowsGkeMinVersion" ]; then
          nodepool_message="$tab Upgrade nodepool to the version that supports Containerd for Windows"
        elif [ "$(printf '%s\n' "$linuxGkeMinVersion" "$minorVersionWithRev" | sort -V | head -n1)" != "$linuxGkeMinVersion" ]; then
          nodepool_message="$tab Upgrade nodepool to the version that supports Containerd"
        fi
        echo "$nodepool_message"
      done
    fi # not autopilot
  done
done

# Sample output:
#
# ProjectId:  my-project-id
#  Cluster: autopilot-cluster-1 (autopilot) (zone: us-central1)
#    Autopilot clusters are running Containerd.
#  Cluster: cluster-1 (zone: us-central1-c)
#    Nodepool: default-pool, version: 1.18.12-gke.1210 (1.18), image: COS
#
#       Please update the nodepool to use Containerd.
#       Make sure to consult with the list of known issues https://cloud.google.com/kubernetes-engine/docs/concepts/using-containerd#known_issues.
#       Run the following command to upgrade:
#
#       gcloud container clusters upgrade 'cluster-1' --project 'my-project-id' --zone 'us-central1-c' --image-type 'COS_CONTAINERD' --node-pool 'default-pool'
#
#    Nodepool: pool-1, version: 1.18.12-gke.1210 (1.18), image: COS
#
#       Please update the nodepool to use Containerd.
#       Make sure to consult with the list of known issues https://cloud.google.com/kubernetes-engine/docs/concepts/using-containerd#known_issues.
#       Run the following command to upgrade:
#
#       gcloud container clusters upgrade 'cluster-1' --project 'my-project-id' --zone 'us-central1-c' --image-type 'COS_CONTAINERD' --node-pool 'pool-1'
#
#    Nodepool: winpool, version: 1.18.12-gke.1210 (1.18), image: WINDOWS_SAC
#
#       Upgrade nodepool to the version that supports Containerd for Windows
#
#  Cluster: another-test-cluster (zone: us-central1-c)
#    Nodepool: default-pool, version: 1.20.4-gke.400 (1.20), image: COS_CONTAINERD
#
#      Nodepool is using Containerd already
#

Identifica le immagini dei nodi utilizzando Google Cloud

Puoi verificare le immagini dei nodi esistenti utilizzando Google Cloud CLI, kubectl o la console Google Cloud.

gcloud

Esegui questo comando:

gcloud container node-pools list \
    --cluster=CLUSTER_NAME \
    --format="table(name,version,config.imageType)"

Sostituisci CLUSTER_NAME con il nome del cluster.

L'output è simile al seguente:

NAME          NODE_VERSION    IMAGE_TYPE
default-pool  1.19.6-gke.600  UBUNTU

Console

  1. Vai alla pagina Google Kubernetes Engine nella console Google Cloud.

    Vai a Google Kubernetes Engine

  2. Nell'elenco dei cluster, fai clic sul nome del cluster che vuoi verificare.

  3. Seleziona la scheda Nodi.

  4. Nella sezione Pool di nodi, controlla il valore nella colonna Tipo di immagine.

kubectl

Esegui questo comando:

kubectl get nodes -o wide

L'output è simile al seguente:

# For Docker runtime
NAME         STATUS   VERSION             OS-IMAGE                             CONTAINER-RUNTIME
gke-node-1   Ready    v1.16.15-gke.6000   Container-Optimized OS from Google   docker://19.3.1
gke-node-2   Ready    v1.16.15-gke.6000   Container-Optimized OS from Google   docker://19.3.1
gke-node-3   Ready    v1.16.15-gke.6000   Container-Optimized OS from Google   docker://19.3.1

Il valore nella colonna CONTAINER-RUNTIME mostra il runtime e la versione.

Identifica i cluster utilizzando insight e suggerimenti sul ritiro

GKE rileva l'utilizzo di alcune funzionalità e API deprecate, tra cui le immagini dei nodi basate su Docker. Per saperne di più, consulta Ritiri di GKE.

Nell'ambito del rilevamento dell'utilizzo delle deprecazioni, GKE genera insight e suggerimenti che identificano l'utilizzo delle immagini dei nodi basate su Docker con il sottotipo di insight DEPRECATION_K8S_1_24_DOCKERSHIM.

Un abbinamento di insight e suggerimenti identifica un cluster con nodi che utilizzano immagini dei nodi basate su Docker. Ogni insight e suggerimento fornisce un elenco di pool di nodi specifici in un cluster che utilizzano immagini dei nodi basate su Docker di cui è necessario eseguire la migrazione alle immagini dei nodi containerd.

Per iniziare, segui le istruzioni per visualizzare gli approfondimenti e i consigli sul ritiro. Per i comandi gcloud CLI, utilizza il flag seguente solo per visualizzare gli insight per questo ritiro:

--filter="insightSubtype:DEPRECATION_K8S_1_24_DOCKERSHIM"

Una volta identificati i pool di nodi del cluster che utilizzano le immagini dei nodi basate su Docker, segui le istruzioni per cambiare l'immagine del nodo in un'immagine dei nodi containerd.

Verificare l'impatto della migrazione

Prima di eseguire la migrazione dei cluster di produzione e dei pool di nodi alle immagini dei nodi che utilizzano containerd, ti consigliamo vivamente di testare l'impatto della migrazione in un ambiente di gestione temporanea per ridurre al minimo il rischio di problemi.

Ti consigliamo di eseguire la migrazione dei nodi indipendentemente dall'upgrade dei nodi, in modo da poter isolare le variabili durante la verifica del funzionamento dei carichi di lavoro con la nuova configurazione. Inoltre, se esegui contemporaneamente l'upgrade del pool di nodi alla versione 1.24, non puoi eseguire il rollback della modifica perché 1.24 non supporta i nodi Docker e non puoi eseguire il downgrade delle versioni secondarie.

Cambia l'immagine del nodo in un'immagine containerd

Se hai utilizzato lo script per identificare i nodi Docker, puoi utilizzare i comandi suggeriti restituiti dallo script per modificare le impostazioni di provisioning automatico dei nodi e le immagini dei nodi passando agli equivalenti containerd.

Puoi anche eseguire la migrazione dei nodi da un tipo di immagine Docker a un tipo di immagine containerd aggiornando il pool di nodi e impostando un'immagine diversa utilizzando gcloud CLI o la console Google Cloud.

GKE utilizza la strategia di upgrade dei nodi selezionata e la configurazione per eseguire la migrazione dell'immagine di un nodo. Per questa migrazione, ti consigliamo di utilizzare la strategia di upgrade blu/verde, in quanto se i carichi di lavoro riscontrano problemi con la nuova immagine del nodo durante l'upgrade, puoi eseguire il rollback all'ambiente precedente con la configurazione originale dell'immagine dei nodi.

gcloud

Esegui questo comando:

gcloud container clusters upgrade CLUSTER_NAME \
    --image-type=NODE_IMAGE \
    --node-pool=POOL_NAME \
    --cluster-version=NODE_VERSION

Sostituisci quanto segue:

  • NODE_IMAGE: l'immagine del nodo che vuoi utilizzare i nodi.
  • POOL_NAME: il nome del pool di nodi di cui eseguire la migrazione.
  • NODE_VERSION: la versione esistente del pool di nodi. Ti consigliamo di impostare questo flag perché, in caso contrario, GKE tenta di eseguire l'upgrade della versione del pool di nodi alla versione del piano di controllo e di aggiornare l'immagine del nodo nella stessa operazione. Se sul piano di controllo è in esecuzione la versione 1.24, il comando non riesce. Se il piano di controllo esegue la 1.23, il comando ha esito positivo, il che ti impedisce di testare le due modifiche (upgrade della versione e aggiornamento dell'immagine) in modo isolato.

L'output è simile al seguente:

NAME          NODE_VERSION    IMAGE_TYPE
default-pool  1.23.6-gke.600  UBUNTU_CONTAINERD

Console

  1. Vai alla pagina Google Kubernetes Engine nella console Google Cloud.

    Vai a Google Kubernetes Engine

  2. Nell'elenco dei cluster, fai clic sul nome del cluster che vuoi verificare.

  3. Fai clic sulla scheda Nodi.

  4. Nella sezione Pool di nodi, fai clic sul nome del pool di nodi che vuoi modificare.

  5. Nella pagina Dettagli del pool di nodi, fai clic su Modifica.

  6. Nella sezione Nodi, in Tipo di immagine, fai clic su Cambia.

  7. Seleziona uno dei tipi di immagini containerd.

  8. Fai clic su Cambia.

Rollback alle immagini dei nodi Docker

Se è stata eseguita la migrazione automatica o manuale dei nodi in nodi containerd e hai riscontrato un problema con i carichi di lavoro, segui questi passaggi per ripristinare le immagini dei nodi Docker:

  1. Scegli il seguente passaggio a seconda dello stato dell'operazione:
  2. Configura un'esclusione di manutenzione per impedire temporaneamente a GKE di ritentare la migrazione.
  3. Esamina la causa principale del problema in modo da poter eseguire la migrazione da Docker e assicurati che il cluster stia eseguendo una versione supportata di GKE.
  4. Riprova a cambiare l'immagine del nodo in un'immagine containerd. Se rimuovi l'esclusione della manutenzione, GKE attiverà di nuovo l'operazione.

Aggiornamento delle configurazioni degli strumenti Infrastructure as Code (IaC)

Se utilizzi strumenti IaC come Terraform, Ansible o Pulumi per gestire i cluster GKE, assicurati di aggiornare le tue configurazioni in modo da utilizzare le immagini dei nodi containerizzati per evitare che gli strumenti conciliano lo stato desiderato in precedenza con il nuovo stato effettivo. Ad esempio, il provider GKE Terraform supporta i tipi di immagine configurabili.

Aggiorna le configurazioni in modo che lo strumento non aggiorni di nuovo l'immagine dei nodi a un'immagine dei nodi basata su Docker dopo la migrazione alle immagini dei nodi containerd.

Modifica l'immagine del nodo predefinita per il provisioning automatico dei nodi

Se utilizzi il provisioning automatico dei nodi nel tuo cluster, cambia il tipo di immagine predefinito in un'immagine dei nodi containerd. La modifica del tipo di immagine predefinito si applica solo ai nuovi pool di nodi di cui è stato eseguito il provisioning automatico. Devi modificare manualmente l'immagine del nodo per i pool di nodi di cui è stato eseguito il provisioning automatico esistenti.

Puoi modificare il tipo di immagine di provisioning automatico dei nodi predefinito utilizzando gcloud CLI o un file di configurazione.

gcloud

Esegui questo comando:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --autoprovisioning-image-type=IMAGE_TYPE

Sostituisci quanto segue:

  • CLUSTER_NAME: il nome del cluster da aggiornare.

  • IMAGE_TYPE: il tipo di immagine dei nodi, che può essere uno dei seguenti:

    • cos_containerd

    • ubuntu_containerd

File

Puoi utilizzare un file di configurazione YAML per modificare il tipo di immagine dei nodi predefinito per il provisioning automatico dei nodi. Quando utilizzi un file, devi anche specificare i valori massimi per le risorse di CPU e memoria.

  1. Salva il seguente file YAML:

    resourceLimits:
  - resourceType: 'cpu'
      minimum: 4
      maximum: 10
  - resourceType: 'memory'
      maximum: 64
autoprovisioningNodePoolDefaults:
  imageType: 'IMAGE_TYPE'

    Sostituisci IMAGE_TYPE con il tipo di immagine containerd.

  2. Applica la configurazione:

    gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --autoprovisioning-config-file=FILE_NAME

    Sostituisci FILE_NAME con il percorso del file di configurazione.

Risoluzione dei problemi

Per la risoluzione dei problemi e per i problemi noti relativi alle soluzioni alternative, consulta Risoluzione dei problemi relativi al runtime dei container.

Passaggi successivi