Introdução ao Batch

Nesta página, descrevemos como começar a usar o Batch para Google Cloud.

Visão geral

O Batch é um serviço totalmente gerenciado que permite programar, enfileirar e executar cargas de trabalho de processamento em lote nos recursos do Google Cloud. O Batch provisiona recursos e gerencia a capacidade em seu nome, permitindo que cargas de trabalho em lote sejam executadas em escala.

Com o Batch, não é preciso configurar e gerenciar programadores de job de terceiros, provisionar e desprovisionar recursos ou solicitar recursos uma zona por vez. Para executar um job, especifique parâmetros para os recursos necessários para sua carga de trabalho e, em seguida, o Batch receberá recursos e coloca o job na fila para execução. O Batch fornece integração nativa com outros serviços do Google Cloud para ajudar na programação, execução, armazenamento e análise de jobs em lote. Assim, você pode se concentrar em enviar um job e consumir os resultados.

O Batch consiste nos seguintes componentes:

  • Job: um programa programado que executa um conjunto de tarefas para conclusão sem nenhuma interação do usuário, normalmente para cargas de trabalho computacionais. Por exemplo, um job pode ser um script de shell único ou uma computação complexa e em várias partes.

    Especificamente, um job do Batch representa uma matriz de uma ou mais tarefas e o ambiente em que elas serão executadas. Você define o programa para o job como uma sequência de um ou mais executáveis. Cada tarefa executa a sequência de executáveis nos recursos do job. É possível configurar as tarefas de um job para serem executadas em paralelo ou sequencialmente.

  • Tarefa: uma execução de uma sequência de executáveis do job. Quando um job tem várias tarefas, especifique como você quer que cada execução varie referenciando a variável de ambiente do índice de uma tarefa nos executáveis do job.

  • Executável:um script executável ou contêiner definido como parte de um job.

  • Recursos: a infraestrutura necessária para executar um job. No mínimo, você só precisa especificar os recursos de computação necessários por tarefa: núcleos de CPU, memória e (se necessário) armazenamento extra em disco de inicialização. Também é possível especificar outras opções de recursos para o job. O Batch cria e exclui automaticamente os recursos que atendem às suas especificações durante o ambiente de execução do job.

    Especificamente, cada job do Batch é executado em um grupo regional de instâncias gerenciadas (MIG, na sigla em inglês), que é um grupo de uma ou mais instâncias de máquina virtual (VM) do Compute Engine correspondentes que estão localizadas em uma das zonas incluídas. Cada VM tem hardware dedicado para núcleos de CPU e memória, que afetam o desempenho do job, e um disco de inicialização, que armazena uma imagem de sistema operacional (SO) e instruções para executar o job. Se especificado, um job também pode incluir ou acessar outros recursos, como GPUs ou volumes de armazenamento externo. O número de VMs provisionadas para um job depende dos requisitos de hardware e das opções de programação de tarefas especificadas.

Em resumo, com o Batch, é possível criar e executar jobs que provisionam e utilizam automaticamente os recursos necessários para executar as tarefas.

Para mais informações sobre o comportamento e as opções do job, consulte a página Visão geral da criação e execução de jobs.

Preços

Não há custo adicional para usar o Batch. Você só recebe cobranças pelo custo dos recursos subjacentes necessários para executar os jobs.

Para mais informações sobre os custos associados ao Batch e como filtrar os relatórios do Cloud Billing para ver esses custos, consulte Preços.

Restrições

O Batch tem as seguintes restrições:

  • Não é possível exceder as cotas e limites de lote do projeto.
  • Só é possível especificar um tipo de máquina, que pode ser predefinido ou personalizado, por job.
  • Não é possível especificar mais de um grupo de tarefas por job. Todos os jobs têm apenas um grupo de tarefas chamado group0.

Pré-requisitos

Para começar a usar o Batch, atenda aos seguintes pré-requisitos:

  1. Se o projeto nunca usou o Batch, ative-o no seu projeto.
  2. Configure o Batch para cada novo usuário.

Ativar o Batch para um projeto

Para começar a usar o Batch com um projeto, faça o seguinte:

  1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  2. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  3. Verifique se o Batch está ativado para seu projeto:

    1. Ative as APIs do Batch usando o console do Google Cloud ou a Google Cloud CLI.

      Console

      Ative as APIs Batch, Compute Engine, and Cloud Logging.

      Ative as APIs

      gcloud

      Ative as APIs Batch, Compute Engine, and Cloud Logging: 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Verifique se o projeto tem uma ou mais contas de serviço com as permissões necessárias para criar e acessar os recursos para executar jobs do Batch.

      É importante ressaltar que qualquer usuário que tenha permissão para criar e executar jobs em lote no projeto precisa receber permissão para usar uma dessas contas de serviço. Portanto, não selecione contas de serviço que tenham mais permissões do que você quer conceder a esses usuários.

      A conta de serviço que cada job usa por padrão é a conta de serviço padrão do Compute Engine, mas também é possível personalizar qual conta de serviço um job usa.

      Conceda os papéis do IAM a seguir a qualquer conta de serviço que seu projeto usar para jobs do Batch.

      • Relator do agente em lote (roles/batch.agentReporter) no projeto
      • Para permitir que os jobs acessem um bucket do Cloud Storage: administrador do Storage (roles/storage.admin) no bucket
      • Para permitir que os jobs gerem registros no Cloud Logging: gravador de registros (roles/logging.logWriter) no projeto

      Para mais informações sobre como conceder papéis a contas de serviço, consulte Como restringir contas de serviço e Gerenciar acesso a contas de serviço.

    3. Verifique se você está familiarizado com o agente de serviço em lote do seu projeto:

      Depois de criar um job do Batch, o agente de serviço do Batch (uma conta serviço gerenciado pelo Google) é criado automaticamente para o projeto com o seguinte nome:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Substitua PROJECT_NUMBER pelo número do projeto.

      O agente de serviço do Batch recebe automaticamente o papel do IAM de Agente de serviço do Batch (roles/batch.serviceAgent). Essa configuração é necessária para que seu projeto use o Batch.

      No entanto, determinados casos de uso, por exemplo, executar um job em uma rede VPC compartilhada, exigem que você conceda outras permissões ao agente de serviço Batch do seu projeto.

      Para mais informações, consulte Agentes de serviço.

Configurar o Batch para um novo usuário

Para começar a usar o Batch como usuário, faça o seguinte:

  1. Para ter as permissões necessárias para usar o Batch, peça ao administrador para conceder a você os papéis do IAM necessários no projeto. Consulte a documentação de cada tarefa para ver as permissões necessárias.

    Por exemplo, se você quiser começar a aprender a usar o Batch criando um job básico, solicite papéis para as seguintes tarefas:

    • Para criar jobs:
    • Para listar e descrever jobs: editor de jobs em lote (roles/batch.jobsEditor) ou visualizador de jobs em lote (roles/batch.jobsViewer) no projeto
    • Para acessar registros de jobs: visualizador de registros (roles/logging.viewer) no projeto
    • Para excluir jobs: editor de jobs em lote (roles/batch.jobsEditor) no projeto

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

  2. Se você quiser usar os exemplos de linha de comando do Batch, configure a Google Cloud CLI fazendo o seguinte. Saiba mais sobre autenticação para a Google Cloud CLI.

    1. Instale a Google Cloud CLI e inicialize-a executando o seguinte comando: 

      gcloud init

    2. Recomendado: defina um projeto padrão usando o comando gcloud config set project:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo ID do projeto.

  3. Se você quiser usar os exemplos da API ou da biblioteca de cliente para o Batch, consulte Autenticar no Batch.

Receba ajuda

É possível conversar sobre o Batch com a comunidade nos Fóruns do Cloud.

Se você tiver problemas com o Batch, consulte a documentação de solução de problemas.

Para receber suporte ou enviar feedback sobre o Batch, use os seguintes recursos:

  • Em caso de problemas de faturamento com o Google Cloud, entre em contato com o suporte de faturamento.

  • Se você tiver um pacote de suporte pago, entre em contato diretamente com o suporte do Google Cloud para resolver problemas com o Batch.

    O Google Cloud oferece pacotes de suporte diferentes para atender a diferentes necessidades, como cobertura 24 horas, suporte por telefone e acesso a um gerente de suporte técnico. Para mais informações, consulte Suporte do Google Cloud.

  • Para fornecer feedback ou solicitações de recursos ou informar problemas no Batch sem um pacote de suporte pago, clique no botão Enviar feedback, que pode ser encontrado no início e no final de cada página de documentação do Batch. Em seguida, selecione uma destas opções:

    • Para feedback sobre a documentação do Batch, selecione "Feedback da documentação".
    • Para todos os outros feedbacks sobre o Batch, selecione "Feedback do produto".

A seguir