Introdução ao Batch

Nesta página, descrevemos como começar a usar o Batch no Google Cloud.

Visão geral

O Batch é um serviço totalmente gerenciado permite programar, enfileirar e executar processamento em lote de trabalho nos recursos do Google Cloud. Por exemplo, considere usar o Batch computação de alto desempenho (HPC), machine learning (ML) e cargas de trabalho de processamento de dados. O Batch provisiona recursos e gerencia a capacidade permitindo que suas cargas de trabalho em lote sejam executadas em escala.

Ao usar o Batch, você não precisa configurar e gerenciar programadores de jobs, provisionar e desprovisionar recursos ou solicitar recursos de cada vez. Para executar um job, especifique os parâmetros dos recursos para sua carga de trabalho, o Batch recebe recursos e coloca o job na fila de execução. O Batch fornece recursos integração com outros serviços do Google Cloud para ajudar na programação, a execução, o armazenamento e a análise de jobs em lote, para que você se concentre enviar um job e consumir os resultados.

O Batch é formado pelos seguintes componentes:

  • Vaga: um programa programado que executa um conjunto de tarefas até a conclusão sem qualquer interação do usuário, normalmente para cargas de trabalho computacionais. Por exemplo, um job pode ser um script de shell único ou um computação complexa e de várias partes.

    Especificamente, um job em lote representa uma matriz de um ou mais tarefas e o ambiente onde elas serão executadas. Você define o programa para o job como uma sequência de um ou mais executáveis. Cada tarefa executa a sequência de executáveis no os recursos do job. É possível configurar as tarefas de um job para serem executadas em paralelo ou sequencialmente.

  • Tarefa:uma execução da sequência de executáveis de um job. Quando um job tem várias tarefas, você especifica como deseja que cada execução varie referenciar a variável de ambiente para o índice de uma tarefa no diretório executáveis.

  • Executável:um script ou contêiner executável definido como parte do um trabalho.

  • Recursos: a infraestrutura necessária para executar um job. No mínimo, você só precisa especificar os recursos de computação exigidos por tarefa: Núcleos de CPU, memória e, se necessário, armazenamento extra em disco de inicialização. Opcionalmente, também é possível especificar outras opções de recursos para o job. O Batch cria e exclui automaticamente os recursos que atendam às suas especificações durante o ambiente de execução do job.

    Especificamente, cada job em lote é executado um grupo gerenciado de instâncias (MIG, na sigla em inglês) regional, que é um grupo de um ou mais instâncias correspondentes de máquina virtual (VM) do Compute Engine, em uma das zonas incluídas. Cada VM tem um hardware dedicado Núcleos de CPU e memória, que afetam o desempenho de seus job e um disco de inicialização, que armazena um código imagem de sistema operacional (SO) e instruções para executar o job. Se especificado, um job também pode incluir ou acessar recursos, como GPUs ou volumes de armazenamento externo. O número de VMs provisionadas para um job depende dos requisitos de hardware e agendamento de tarefas que você especificar.

Em resumo, o Batch permite criar e executar jobs provisionar e utilizar automaticamente os recursos necessários para executar suas tarefas.

Para mais informações sobre o comportamento e as opções do job, consulte a Página Visão geral da criação e execução de jobs.

Preços

Não há custo extra para usar o Batch. Você é apenas são cobrados pelo custo dos recursos necessários para executar os jobs.

Para mais informações sobre os custos associados às APIs Batch como filtrar os relatórios do Cloud Billing para consultar os custos em lote consulte Preços.

Restrições

O lote tem as seguintes restrições:

  • Não é possível exceder a Cotas e limites em lote para o projeto.
  • Só é possível especificar um tipo de máquina, que pode ser predefinido ou personalizado, por job.
  • Não é possível especificar mais de um grupo de tarefas por job. Todos os jobs têm apenas um grupo de tarefas chamado group0.

Pré-requisitos

Para começar a usar o Batch, atenda aos seguintes pré-requisitos:

  1. Se seu projeto nunca usou o Batch antes, Ative o Batch no seu projeto.
  2. Configurar o Batch para cada novo usuário.

Ativar o Batch para um projeto

Para começar a usar o Batch com um projeto, faça o seguinte:

  1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  2. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  3. Verifique se o Batch está ativado no projeto:

    1. Ativar as APIs para o Batch usando o o console do Google Cloud ou a Google Cloud CLI.

      Console

      Ative as APIs Batch, Compute Engine, and Cloud Logging.

      Ative as APIs

      gcloud

      Ative as APIs Batch, Compute Engine, and Cloud Logging: 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Verifique se o projeto tem um ou mais contas de serviço com as permissões necessárias para criar e acessar os recursos para executar jobs em lote.

      É importante ressaltar que todos os usuários aos quais você quer permitir a criação Os jobs em lote no projeto precisam ser receberam permissão para usar uma dessas contas de serviço. Por isso, não selecione contas de serviço com mais permissões do que a que você quer conceder a esses usuários.

      A conta de serviço que cada job usa por padrão é o Conta de serviço padrão do Compute Engine, mas você também pode personalizar a conta de serviço usada por um job.

      A menos que você pretenda usar apenas a configuração padrão para o contas de serviço, conceda os seguintes papéis do IAM a qualquer contas de serviço que seu projeto usa para jobs em lote.

      • Relator do agente em lote (roles/batch.agentReporter) no projeto
      • Para permitir que os jobs gerem registros no Cloud Logging: gravador de registros (roles/logging.logWriter) no projeto

      A conta de serviço que você usa para um job também pode exigir outros papéis com base nas opções de configuração usar nos seus trabalhos. Consulte a documentação de cada tarefa para ver se são necessárias outras permissões. Para mais informações sobre conceder papéis a contas de serviço, consulte Como restringir contas de serviço e Gerenciar o acesso às contas de serviço.

    3. Verifique se você conhece as regras Agente de serviço em lote:

      Depois de criar um Job em lote, o agente de serviço do Batch é criado automaticamente para seu projeto com o seguinte nome:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Substitua PROJECT_NUMBER pelo número do projeto do seu projeto.

      O agente de serviço do Batch recebe automaticamente Papel do IAM para o Agente de serviço do Google Batch (roles/batch.serviceAgent). Essa configuração é necessária para que seu projeto use em lote.

      No entanto, certos casos de uso, como que executam um job em uma rede VPC compartilhada: exigem que você conceda permissões adicionais à interface Agente de serviço em lote.

      Para mais informações, consulte Agentes de serviço.

Configurar o Batch para um novo usuário

Para começar a usar o Batch como um usuário, faça o seguinte:

  1. Para ter as permissões necessárias para usar o Batch, peça para o administrador conceder a você os papéis do IAM necessários. no projeto. Consulte a documentação de cada tarefa para ver as as permissões necessárias.

    Por exemplo, se você quiser aprender a usar o Batch Ao criar um job básico, considere solicitar papéis para as seguintes tarefas:

    • Para criar jobs:
    • Para listar e descrever jobs: Editor de jobs em lote (roles/batch.jobsEditor) ou Leitor de jobs em lote (roles/batch.jobsViewer) no projeto
    • Para ver os registros dos jobs: visualizador de registros (roles/logging.viewer) no projeto
    • Para excluir jobs: editor de jobs em lote (roles/batch.jobsEditor) no projeto

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

  2. Se você quiser usar os exemplos de linha de comando do Batch, configure a Google Cloud CLI seguindo estas etapas: Saiba mais sobre autenticação para a Google Cloud CLI.

    1. Instale a Google Cloud CLI e inicialize-a executando o seguinte comando: 

      gcloud init

    2. Recomendado: defina um projeto padrão usando o Comando gcloud config set project:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo ID do projeto do seu projeto.

  3. Se você quiser usar os exemplos de API ou de biblioteca de cliente para o Batch, consulte Autenticar no Batch.

Receber suporte

Você pode conversar sobre o Batch com a comunidade no Fóruns do Cloud.

Se você tiver problemas com o Batch, consulte solução de problemas.

Para receber suporte ou fornecer feedback sobre o Batch, use o seguintes recursos:

  • Em caso de problemas de faturamento com o Google Cloud, entre em contato com Suporte de faturamento.

  • Se você tem um pacote de suporte pago, entre em contato com o suporte do Google Cloud diretamente em caso de problemas com o Batch.

    O Google Cloud oferece diferentes pacotes de suporte para atender a diferentes como cobertura 24 horas, suporte por telefone e acesso a suporte técnico de projeto. Para mais informações, consulte Suporte do Google Cloud.

  • Para enviar feedback ou solicitações de recursos sobre o Batch, ou para informar problemas no Batch sem um pacote de suporte pago, Clique no botão Enviar feedback, que está no início e ao final de cada página de documentação do Batch. Em seguida, selecione uma das seguintes opções:

    • Para feedback relacionado à documentação do Batch, selecione "Feedback sobre a documentação."
    • Para todos os outros feedbacks sobre o Batch, selecione "Feedback do produto".

A seguir