Migrar imagens de contêiner de um registro de terceiros

Se você extrair algumas imagens de contêiner diretamente de registros de terceiros para implantar em ambientes do Google Cloud, como o Google Kubernetes Engine ou o Cloud Run, os limites de taxa em pulls de imagens ou interrupções de terceiros poderão interromper suas criações e implantações. Esta página descreve como identificar e copiar essas imagens para o Artifact Registry para um gerenciamento de imagem de contêiner consolidado e consistente.

O Artifact Registry não monitora registros de terceiros para atualizações de imagens copiadas para o Artifact Registry. Se você quiser incorporar uma versão mais recente de uma imagem ao seu pipeline, envie-a para o Artifact Registry.

Visão geral da migração

A migração das imagens de contêiner inclui as seguintes etapas:

1. Pré-requisitos.
2. Identifique imagens para migrar.
   • Pesquisar nos arquivos do Dockerfile e nos manifestos de implantação para fins de referência a registros de terceiros
   • Determine a frequência de pull de imagens de registros de terceiros usando o Cloud Logging e o BigQuery.
3. Copie imagens identificadas para o Artifact Registry.
4. Verifique se as permissões ao registro estão configuradas corretamente, especialmente se o Artifact Registry e o ambiente de implantação do Google Cloud estiverem em projetos diferentes.
5. Atualize os manifestos das implantações.
6. Reimplante as cargas de trabalho.

Antes de começar

1. Verifique suas permissões. Você precisa ter o papel de Proprietário ou Editor do IAM nos projetos em que está migrando imagens para o Artifact Registry.

2. Acessar a página do seletor de projetos

   1. Selecione o projeto do Google Cloud em que você quer usar o Artifact Registry.
   2. No console do Google Cloud, acesse o Cloud Shell

   3. Encontre o ID do projeto e configure-o no Cloud Shell. Substitua YOUR_PROJECT_IDpelo código do projeto:

      gcloud config set project YOUR_PROJECT_ID
      

3. Exporte as seguintes variáveis de ambiente:

     export PROJECT=$(gcloud config get-value project)
   

4. Ative as APIs do BigQuery, Artifact Registry e do Cloud Monitoring com o seguinte comando:

   gcloud services enable \
   artifactregistry.googleapis.com \
   stackdriver.googleapis.com \
   logging.googleapis.com \
   monitoring.googleapis.com
   

5. Se você não estiver usando o Artifact Registry, configure um repositório para as imagens:

   • Crie um repositório
   • Configure a autenticação para clientes de terceiros que precisam de acesso ao repositório.

6. Verifique se o Go versão 1.13 ou mais recente está instalado.

   • Verifique a versão de uma instalação em Go com o comando:

     go version
     

   • Se você precisar instalar ou atualizar o Go, consulte a documentação de instalação.

Custos

Neste guia, usamos os seguintes componentes faturáveis do Google Cloud:

• GKE
• Artifact Registry
• BigQuery
• Logging

Identificar imagens para migrar

Pesquise os arquivos que você usa para criar e implantar as imagens de contêiner para se referir a referências a registros de terceiros. Depois, verifique a frequência com que você extrai as imagens.

Identificar referências em Dockerfiles

Execute esta etapa em um local em que seus Dockerfiles estão armazenados. Pode ser aqui que o código será verificado localmente ou no Cloud Shell se os arquivos estiverem disponíveis em uma VM.

No diretório com Dockerfiles, execute o comando:

grep -inr -H --include Dockerfile\* "FROM" . | grep -i -v -E 'docker.pkg.dev|gcr.io' 

A resposta tem a aparência do exemplo a seguir.

./code/build/baseimage/Dockerfile:1:FROM debian:stretch
./code/build/ubuntubase/Dockerfile:1:FROM ubuntu:latest
./code/build/pythonbase/Dockerfile:1:FROM python:3.5-buster

Esse comando pesquisa todos os Dockerfiles no seu diretório e identifica a linha "FROM". Ajuste o comando conforme necessário para corresponder à maneira como você armazena os Dockerfiles.

Identificar referências em manifestos

Execute esta etapa em um local em que seus manifestos do GKE ou do Cloud Run estão armazenados. Pode ser aqui que o código será disponibilizado localmente ou no Cloud Shell se os arquivos estiverem disponíveis em uma VM.

1. No diretório com seus manifestos do GKE ou do Cloud Run, execute o comando a seguir:

   grep -inr -H --include \*.yaml "image:" . | grep -i -v -E 'docker.pkg.dev|gcr.io'
   

   Exemplo de saída:

   ./code/deploy/k8s/ubuntu16-04.yaml:63: image: busybox:1.31.1-uclibc
   ./code/deploy/k8s/master.yaml:26:      image: kubernetes/redis:v1
   

   Esse comando analisa todos os arquivos YAML no diretório e identifica a linha image:. Ajuste conforme o necessário para trabalhar com a forma como os manifestos são armazenados.

2. Para listar as imagens em execução no cluster, execute o comando:

     kubectl get all --all-namespaces -o yaml | grep image: | grep -i -v -E 'docker.pkg.dev|gcr.io'
   

   Esse comando retorna todos os objetos em execução no cluster do Kubernetes selecionado atualmente e recebe os nomes das imagens.

   Exemplo de saída:

   - image: nginx
     image: nginx:latest
       - image: nginx
       - image: nginx
   

Execute este comando para todos os clusters do GKE em todos os projetos do Google Cloud para cobertura total.

Identificar a frequência de pull de um registro de terceiros

Em projetos que extraem registros de terceiros, use informações sobre a frequência de extração de imagens para determinar se o uso está próximo ou acima do limite de taxa que o registro de terceiros impõe.

Coletar dados do registro

Crie um coletor de registros para exportar dados para o BigQuery. Um coletor de registro inclui um destino e uma consulta que seleciona as entradas de registro a serem exportadas. É possível criar um coletor consultando projetos individuais ou usar um script para coletar dados entre projetos.

Para criar um coletor para um único projeto:

1. Acesse o Explorador de registros

2. Escolha um projeto do Google Cloud.

3. Na guia Criador de consultas, insira a seguinte consulta:

     resource.type="k8s_pod"
     jsonPayload.reason="Pulling"
   

4. Filtro do histórico de alterações de Lastltima hora para Lastltimos sete dias.

   

5. Clique em Run.

6. Depois de verificar se os resultados aparecem corretamente, clique em Ações > Criar coletor.

7. Na lista de coletores, selecione Conjunto de dados do BigQuery e clique em Avançar.

8. No painel Editar coletor, execute as seguintes etapas:

   • No campo Nome do coletor, digite image_pull_logs.
   • No campo Destino do coletor, crie um novo conjunto de dados ou escolha um conjunto de dados de destino em outro projeto.

9. Clique em Criar coletor.

Para criar um coletor para vários projetos:

1. Abra o Cloud Shell.

2. Execute os comandos a seguir no Cloud Shell:

   PROJECTS="PROJECT-LIST"
   DESTINATION_PROJECT="DATASET-PROJECT"
   DATASET="DATASET-NAME"
   
   for source_project in $PROJECTS
   do
     gcloud logging --project="${source_project}" sinks create image_pull_logs bigquery.googleapis.com/projects/${DESTINATION_PROJECT}/datasets/${DATASET} --log-filter='resource.type="k8s_pod" jsonPayload.reason="Pulling"'
   done
   

   em que

   • PROJECT-LIST é uma lista de IDs de projeto do Google Cloud, separados por espaços. Por exemplo, project1 project2 project3.
   • DATASET-PROJECT é o projeto em que você quer armazenar o conjunto de dados.
   • DATASET-NAME é o nome do conjunto de dados, por exemplo, image_pull_logs;

Depois de criar um coletor, leva um tempo para que os dados fluam para as tabelas do BigQuery, dependendo da frequência com que imagens são extraídas.

Consultar frequência de pull

Depois que você tiver uma amostra representativa de pulls de imagens feitas por suas compilações, execute uma consulta para a frequência de pull.

1. Acesse o console do BigQuery.

2. Execute a seguinte consulta:

   SELECT
     REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
     COUNT(*) AS numberOfPulls
   FROM
         `DATASET-PROJECT.DATASET-NAME.events_*`
   GROUP BY
         imageName
   ORDER BY
         numberOfPulls DESC
   

   em que

   • DATASET-PROJECT é o projeto que contém seu conjunto de dados.
   • DATASET-NAME é o nome do conjunto de dados.

No exemplo a seguir, mostramos a saída da consulta. Na coluna imageName, é possível revisar a frequência de pull de imagens que não estão armazenadas no Artifact Registry ou no Container Registry.

Copie imagens para o Artifact Registry

Depois de identificar imagens de registros de terceiros, será possível copiá-las para o Artifact Registry. A ferramenta gcrane ajuda no processo de cópia.

1. Crie um arquivo de texto images.txt no Cloud Shell com os nomes das imagens identificadas. Por exemplo:

   ubuntu:18.04
   debian:buster
   hello-world:latest
   redis:buster
   jupyter/tensorflow-notebook
   

2. Faça o download de gcrane.

     GO111MODULE=on go get github.com/google/go-containerregistry/cmd/gcrane
   

3. Crie um script chamado copy_images.sh para copiar sua lista de arquivos.

   #!/bin/bash
   
   images=$(cat images.txt)
   
   if [ -z "${AR_PROJECT}" ]
   then
       echo ERROR: AR_PROJECT must be set before running this
       exit 1
   fi
   
   for img in ${images}
   do
       gcrane cp ${img} LOCATION-docker.pkg.dev/${AR_PROJECT}/${img}
   done
   

   Substitua LOCATION pela região ou multirregião do seu repositório.

   Torne o script executável:

     chmod +x copy_images.sh
   

4. Execute o script para copiar os arquivos:

   AR_PROJECT=${PROJECT}
   ./copy_images.sh
   

Verificar permissões

Por padrão, os serviços de CI/CD do Google Cloud têm acesso ao Artifact Registry no mesmo projeto do Google Cloud.

• O Cloud Build pode enviar e extrair imagens
• Ambientes de execução como GKE, Cloud Run, o ambiente flexível do App Engine e o Compute Engine podem extrair imagens.

Se você precisar enviar ou extrair imagens entre projetos ou se você estiver usando ferramentas de terceiros no pipeline que precisem acessar o Artifact Registry, verifique se as permissões estão configuradas corretamente antes da atualização e reimplante as cargas de trabalho.

Para mais informações, consulte a documentação de controle de acesso.

Atualizar manifestos para referenciar o Artifact Registry

Atualize seus Dockerfiles e seus manifestos para se referir ao Artifact Registry em vez do registro de terceiros.

O exemplo a seguir mostra o manifesto que referencia um registro de terceiros:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

Essa versão atualizada do manifesto aponta para uma imagem em us-docker.pkg.dev.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: us-docker.pkg.dev/<AR_PROJECT>/nginx:1.14.2
        ports:
        - containerPort: 80

Para um grande número de manifestos, use sed ou outra ferramenta que processe atualizações em vários arquivos de texto.

Reimplantar cargas de trabalho

Reimplante as cargas de trabalho com os manifestos atualizados.

Acompanhe os novos pulls de imagem executando a seguinte consulta no console do BigQuery:

SELECT`

FORMAT_TIMESTAMP("%D %R", timestamp) as timeOfImagePull,
REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
COUNT(*) AS numberOfPulls
FROM
  `image_pull_logs.events_*`
GROUP BY
  timeOfImagePull,
  imageName
ORDER BY
  timeOfImagePull DESC,
  numberOfPulls DESC

Todos os novos pulls de imagem precisam ser do Artifact Registry e conter a string docker.pkg.dev.