Suporte a GPU para pools de workers

Prévia — Cloud Run worker pools

Este recurso está sujeito aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições das fases de lançamento.

Esta página descreve a configuração de GPU para seus workerpools do Cloud Run. O Google fornece GPUs NVIDIA L4 com 24 GB de memória de GPU (VRAM), que é separada da memória da instância.

Importante: se você estiver usando o LLM com o recurso de GPU do Cloud Run, consulte também as práticas recomendadas: pools de trabalhadores do Cloud Run com GPUs.

A GPU no Cloud Run é totalmente gerenciada, sem drivers ou bibliotecas extras necessários. O recurso GPU oferece disponibilidade sob demanda sem necessidade de reservas, semelhante à maneira como CPU e memória sob demanda funcionam no Cloud Run.

Instâncias do Cloud Run com uma GPU L4 anexada e drivers pré-instalados são iniciados em aproximadamente cinco segundos. Nesse momento, os processos em execução no seu contêiner podem começar a usar a GPU.

É possível configurar uma GPU por instância do Cloud Run. Se você usar contêineres secundários a GPU só pode ser conectada a um único contêiner.

Regiões compatíveis

• asia-southeast1 (Singapura)
• asia-south1 (Mumbai) . Esta região só está disponível por convite. Entre em contato com a equipe da sua Conta do Google se tiver interesse nessa região.
• europe-west1 (Bélgica) Baixo CO₂
• europe-west4 (Países Baixos) Baixo CO₂
• us-central1 (Iowa) Baixo CO₂
• us-east4 (Norte da Virgínia)

Tipos de GPU compatíveis

É possível usar uma GPU L4 por instância do Cloud Run. Uma GPU L4 tem os seguintes drivers pré-instalados:

• A versão atual do driver NVIDIA: 535.216.03 (CUDA 12.2)

Impacto no preço

Consulte os detalhes de preços de GPU em Preços do Cloud Run. Observe os seguintes requisitos e considerações:

• Há uma diferença de custo entre a redundância zonal de GPU e a redundância não zonal. Consulte os detalhes de preços de GPU em Preços do Cloud Run.
• Não é possível escalonar automaticamente os pools de workers de GPU. Você vai receber uma cobrança pela GPU mesmo que ela não esteja executando nenhum processo e enquanto a instância de GPU do pool de workers estiver em execução.
• A CPU e a memória dos pools de workers têm preços diferentes dos serviços e jobs. No entanto, o preço da SKU de GPU é o mesmo dos serviços e jobs.
• É necessário usar pelo menos quatro CPUs e 16 GiB de memória.
• A GPU é cobrada de acordo com a duração total do ciclo de vida da instância.

Opções de redundância zonal de GPU

Por padrão, o Cloud Run implanta seu pool de workers em várias zonas de uma região. Essa arquitetura oferece resiliência inerente: se uma zona sofrer uma interrupção, o Cloud Run vai rotear automaticamente o tráfego da zona afetada para zonas íntegras na mesma região.

Ao trabalhar com recursos de GPU, lembre-se de que eles têm restrições de capacidade específicas. Durante uma interrupção do serviço na zona, o mecanismo de failover padrão para cargas de trabalho de GPU depende de capacidade de GPU não utilizada suficiente nas zonas íntegras restantes. Devido à natureza restrita das GPUs, essa capacidade nem sempre está disponível.

Para aumentar a disponibilidade dos seus pools de workers acelerados por GPU durante interrupções zonais, configure a redundância zonal especificamente para GPUs:

• Redundância zonal ativada (padrão): o Cloud Run reserva capacidade de GPU para seu pool de workers em várias zonas. Isso aumenta significativamente a probabilidade de que seu pool de trabalhadores possa processar o tráfego redirecionado de uma zona afetada, oferecendo maior confiabilidade durante falhas zonais com custo adicional por segundo de GPU.

• Redundância zonal desativada: o Cloud Run tenta fazer failover para cargas de trabalho de GPU com base no melhor esforço. O tráfego é encaminhado para outras zonas apenas se houver capacidade de GPU suficiente disponível naquele momento. Essa opção não garante capacidade reservada para cenários de failover, mas resulta em um custo menor por segundo de GPU.

SLA

O SLA do Cloud Run com GPU depende se o pool de workers usa a opção de redundância zonal ou não zonal. Consulte a página do SLA para mais detalhes.

Solicitar aumento de cota

Os projetos que usam GPUs do Cloud Run nvidia-l4 em uma região pela primeira vez recebem automaticamente uma cota de três GPUs (redundância zonal desativada) quando a primeira implantação é criada. Se você precisar de mais GPUs do Cloud Run, solicite um aumento de cota para seu pool de workers do Cloud Run. Use os links fornecidos nos botões a seguir para solicitar a cota necessária.

Importante: é mais provável que o aumento da cota de GPUs com redundância zonal desativada seja concedido e disponibilizado mais rapidamente.

Cota necessária	Link de cota
GPU com redundância zonal desativada (preço mais baixo)	Solicitar cota de GPU sem redundância zonal
GPU com redundância zonal ativada (preço mais alto)	Solicitar cota de GPU com redundância zonal

Para mais informações sobre como solicitar aumentos de cota, consulte Como aumentar a cota.

Antes de começar

A lista a seguir descreve os requisitos e as limitações ao usar GPUs no Cloud Run:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Cloud Run API.

   Enable the API

2. Solicite a cota necessária.
3. Consulte as práticas recomendadas de GPU: pools de workers do Cloud Run com GPUs para conferir recomendações sobre como criar a imagem do contêiner e carregar modelos grandes.
4. Verifique se o pool de workers do Cloud Run tem as seguintes configurações:
• Configure as configurações de faturamento para o faturamento baseado em instância. Os pools de workers definidos para faturamento com base em instâncias ainda podem ser reduzidos para zero.
• Configure no mínimo 4 CPUs para o pool de trabalhadores, sendo recomendado 8 CPUs.
• Configure um mínimo de 16 GiB de memória, sendo recomendado 32 GiB.
• Determine e defina uma concorrência máxima ideal para o uso da GPU.

Funções exigidas

Para receber as permissões necessárias para configurar e implantar pools de trabalhadores do Cloud Run, peça ao administrador para conceder a você os seguintes papéis do IAM em "workerpools":

• Desenvolvedor do Cloud Run (roles/run.developer): o pool de worker do Cloud Run
• Usuário da conta de serviço (roles/iam.serviceAccountUser) – a identidade de serviço

Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o pool de trabalhadores do Cloud Run interagir com APIs doGoogle Cloud , como as bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.

Configurar um pool de workers do Cloud Run com GPU

Qualquer mudança na configuração leva à criação de uma nova revisão. As próximas revisões também recebem automaticamente essa configuração, a menos que você faça atualizações explícitas para alterá-la.

É possível usar o console Google Cloud , a Google Cloud CLI ou o YAML para configurar a GPU.

Console

1. No Google Cloud console, acesse o Cloud Run:

   Acessar o Cloud Run

2. Selecione Pools de workers no menu e clique em Implantar contêiner para configurar um novo pool de workers. Se você estiver configurando um pool de workers atual, clique nele e em Editar e implantar nova revisão.

3. Se você estiver configurando um novo pool de workers, preencha a página inicial de configurações do pool de workers e clique em Contêineres, volumes, Rede e segurança para expandir a página de configuração do pool de workers.

4. Clique na guia Contêiner.

   

   • Configure CPU, memória, simultaneidade, ambiente de execução e a sondagem de inicialização, seguindo as recomendações em Antes de começar.
   • Marque a caixa de seleção da GPU e selecione o tipo de GPU no menu Tipo de GPU e o número de GPUs no menu Número de GPUs.
   • Por padrão, a redundância zonal está ativada. Para mudar a configuração atual, marque a caixa de seleção "GPU" e mostre as opções de redundância de GPU.
   • Selecione Sem redundância zonal para desativar a redundância zonal.
   • Selecione Redundância zonal para ativar esse recurso.

5. Clique em Criar ou Implantar.

gcloud

Para criar um serviço com a GPU ativada, use o comando gcloud run deploy:

  gcloud beta run worker-pools deploy WORKER_POOL \
    --image IMAGE_URL \
    --gpu 1

Substitua:

• WORKER_POOL: o nome do seu pool de workers do Cloud Run.
• IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.

Para atualizar a configuração de GPU de um serviço, use o comando gcloud run services update:

  gcloud beta run worker-pools update WORKER_POOL \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --GPU_ZONAL_REDUNDANCY
    

Substitua:

• WORKER_POOL: o nome do seu pool de workers do Cloud Run.
• IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
• CPU: o número de CPUs. É necessário especificar pelo menos 4 CPU.
• MEMORY: a quantidade de memória. É necessário especificar pelo menos 16Gi (16 GiB).
• GPU_NUMBER: o valor 1 (um). Se isso não for especificado, mas um GPU_TYPE estiver presente, o padrão será 1.
• GPU_TYPE: o tipo de GPU. Se isso não for especificado, mas um GPU_NUMBER estiver presente, o padrão será nvidia-l4 (nvidia L4 L minúsculo, não o valor numérico 14).
• GPU_ZONAL_REDUNDANCY: no-gpu-zonal-redundancy para desativar a redundância zonal ou gpu-zonal-redundancy para ativar.

YAML

1. Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço existente, faça o download da configuração YAML correspondente:

   gcloud run services describe SERVICE --format export > service.yaml

2. Atualize o atributo nvidia.com/gpu: e nodeSelector:
run.googleapis.com/accelerator::

   apiVersion: run.googleapis.com/v1
   kind: WorkerPool
   metadata:
     name: WORKER_POOL
   spec:
     template:
       metadata:
         annotations:
           run.googleapis.com/launch-stage: BETA
           run.googleapis.com/gpu-zonal-redundancy-disabled: 'GPU_ZONAL_REDUNDANCY'
       spec:
         containers:
         - image: IMAGE_URL
           resources:
             limits:
               cpu: 'CPU'
               memory: 'MEMORY'
               nvidia.com/gpu: '1'
         nodeSelector:
           run.googleapis.com/accelerator: GPU_TYPE

   Substitua:

   • WORKER_POOL: o nome do seu pool de workers do Cloud Run.
   • IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
   • CPU: o número de CPUs. É necessário especificar pelo menos 4 CPU.
   • MEMORY: a quantidade de memória. É preciso especificar pelo menos 16Gi (16 GiB).
   • GPU_TYPE: o valor nvidia-l4 (nvidia-L4 L minúsculo, não o valor numérico 14).
   • GPU_ZONAL_REDUNDANCY: false para ativar a redundância zonal de GPU ou true para desativar.

3. Crie ou atualize o serviço usando o seguinte comando:

   gcloud run services replace service.yaml

Terraform

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

resource "google_cloud_run_v2_worker_pool" "default" {
  provider = google-beta
  name     = "WORKER_POOL"
  location = "REGION"

  template {
    gpu_zonal_redundancy_disabled = "GPU_ZONAL_REDUNDANCY"
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Substitua:

• SERVICE: o nome do seu serviço do Cloud Run.
• GPU_ZONAL_REDUNDANCY: false para ativar a redundância zonal de GPU ou true para desativar.
• IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
• CPU: o número de CPUs. É necessário especificar pelo menos 4 CPU.
• MEMORY: a quantidade de memória. É preciso especificar pelo menos 16Gi (16 GiB).
• GPU_TYPE: o valor nvidia-l4 (nvidia-L4 L minúsculo, não o valor numérico 14).

Conferir as configurações da GPU

Para ver as configurações atuais da GPU do pool de workers do Cloud Run:

Console

1. No console do Google Cloud , acesse a página de pools de trabalhadores do Cloud Run:

   Acessar pools de workers do Cloud Run

2. Clique no pool de workers em que você tem interesse para abrir a página Detalhes do pool de workers.

3. Clique em Editar e implantar nova revisão.

4. Localize a configuração da GPU nos detalhes da configuração.

gcloud

1. Use o comando a seguir:

   gcloud beta run worker-pools describe WORKER_POOL

2. Localize a configuração da GPU na configuração retornada.

Remover GPU

É possível remover a GPU usando o Google Cloud console, a Google Cloud CLI ou o YAML.

Console

1. No Google Cloud console, acesse o Cloud Run:

   Acessar o Cloud Run

2. Selecione Pools de workers no menu e clique em Implantar contêiner para configurar um novo pool de workers. Se você estiver configurando um pool de workers atual, clique nele e em Editar e implantar nova revisão.

3. Se você estiver configurando um novo pool de workers, preencha a página inicial de configurações do pool de workers e clique em Contêineres, volumes, Rede e segurança para expandir a página de configuração do pool de workers.

4. Clique na guia Contêiner.



• Desmarque a caixa de seleção da GPU.

1. Clique em Criar ou Implantar.

gcloud

Para remover a GPU, defina o número de GPUs como 0:

  gcloud beta run worker-pools update WORKER_POOL --gpu 0
  

Substitua WORKER_POOL pelo nome do pool de workers do Cloud Run.

YAML

1. Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço existente, faça o download da configuração YAML correspondente:

   gcloud run services describe SERVICE --format export > service.yaml

2. Exclua as linhas nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator: nvidia-l4.

3. Crie ou atualize o serviço usando o seguinte comando:

   gcloud run services replace service.yaml

Bibliotecas

Por padrão, todas as bibliotecas de drivers da NVIDIA L4 são montadas em /usr/local/nvidia/lib64. O Cloud Run anexa automaticamente esse caminho à variável de ambiente LD_LIBRARY_PATH (ou seja, ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) do contêiner com a GPU. Isso permite que o vinculador dinâmico encontre as bibliotecas de driver da NVIDIA. O vinculador pesquisa e resolve caminhos na ordem em que você os lista na variável de ambiente LD_LIBRARY_PATH. Todos os valores especificados nessa variável têm precedência sobre o caminho padrão das bibliotecas de driver do Cloud Run /usr/local/nvidia/lib64.

Se você quiser usar uma versão do CUDA maior que 12.2, a maneira mais fácil é depender de uma imagem base NVIDIA mais recente com pacotes de compatibilidade futura já instalados. Outra opção é instalar manualmente os pacotes de compatibilidade futura da NVIDIA e adicioná-los a LD_LIBRARY_PATH. Consulte a matriz de compatibilidade da NVIDIA para determinar quais versões do CUDA são compatíveis com a versão do driver fornecido (535.216.03).