Como usar GPUs NVIDIA

Nesta página, descrevemos como realizar tarefas de aprendizado profundo, como processamento de linguagem natural e outros processamentos usando pools de nós com Aceleradores de hardware da unidade de processamento gráfico (GPU) NVIDIA para computação potencial com sua instância de contêiner do Knative serving.

Como adicionar um pool de nós com GPUs ao cluster do GKE

Peça para um administrador criar um pool de nós com GPUs:

1. Adicione um pool de nós ativado para GPU ao cluster do GKE.

2. Instale os drivers de dispositivo da NVIDIA nos nós.

Como configurar o serviço para consumir GPUs

É possível especificar um limite de recursos no consumo de GPUs de seu serviço usando o Console do Cloud ou a Google Cloud CLI ao implantar um novo serviço, atualizar um que já existe ou implantar uma revisão:

Console

1. Acessar o Knative serving

2. Clique em Criar serviço para exibir o formulário Criar serviço.

3. Na seção Configurações do serviço:

   1. Selecione o cluster do GKE com o pool de nós ativado para GPU.
   2. Especifique o nome que você quer dar ao serviço.
   3. Clique em Avançar para acessar a próxima seção.

4. Na seção Configure a primeira revisão do serviço:

   

   1. Adicione um URL de imagem de contêiner.
   2. Clique em Configurações avançadas e, no menu GPU alocada, selecione o número de GPUs que você quer alocar para seu serviço.

5. Clique em Avançar para acessar a próxima seção.

6. Na seção Configurar como este serviço é acionado, selecione qual conectividade você quer usar para invocar o serviço.

7. Clique em Criar para implantar a imagem no Knative serving e aguarde até que a implantação seja concluída.

Linha de comando

Cuidado: a implantação de alterações de configuração com arquivos YAML substitui a configuração dos serviços existentes. Como um arquivo YAML substitui completamente todas as configurações, evite usar vários métodos para modificar seus serviços. Por exemplo, não use arquivos YAML com o console do Google Cloud ou comandos da gcloud.

Faça o download da configuração de um serviço existente para um arquivo YAML com o comando gcloud run services describe usando a sinalização --format=export. Em seguida, modifique o arquivo YAML e implante essas alterações com o comando gcloud run services replace. Modifique apenas os atributos especificados.

1. Faça o download da configuração do serviço em um arquivo chamado service.yaml no espaço de trabalho local:

   gcloud run services describe SERVICE --format export > service.yaml

   Substitua SERVICE pelo nome do seu serviço do Knative serving.

2. No seu arquivo local, atualize o atributo nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"
   

   Substitua GPU_UNITS pelo valor da GPU pretendido nas unidades de GPU do Kubernetes. Por exemplo, especifique 1 para 1 GPU.

3. Implante o arquivo YAML e substitua o serviço pela nova configuração executando o seguinte comando:

   gcloud run services replace service.yaml

Para mais informações sobre o desempenho e o custo da GPU, consulte GPUs.