Fluxo de trabalho que usa o Cloud Scheduler

Objetivo:

1. Crie um modelo de fluxo de trabalho do Dataproc que execute uma
   tarefa Spark PI
2. Crie uma tarefa do Cloud Scheduler para iniciar o fluxo de trabalho a uma hora especificada.

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

• Dataproc
• Compute Engine
• Cloud Scheduler

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Antes de começar

Configure o seu projeto

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie uma função personalizada

1. Abra a página IAM e administração → Funções na Google Cloud consola.
   1. Clique em CRIAR FUNÇÃO para abrir a página Criar função.
   2. Preencha os campos Título, Descrição, ID e Fase de lançamento. Sugestão: Use "Dataproc Workflow Template Create" como título da função.
   3. Clique em ADICIONAR AUTORIZAÇÕES,
      1. No formulário Adicionar autorizações, clique em Filtrar e, de seguida, selecione "Autorização". Conclua o filtro para ler "Autorização: dataproc.workflowTemplates.instantiate".
      2. Clique na caixa de verificação à esquerda da autorização apresentada e, de seguida, clique em Adicionar.
   4. Na página Criar função, clique novamente em ADICIONAR AUTORIZAÇÕES para repetir os subpassos anteriores e adicionar a autorização "iam.serviceAccounts.actAs" à função personalizada. A página Criar função apresenta agora duas autorizações.
   5. Clique em CRIAR na página Função personalizada. A função personalizada é apresentada na página Funções.

Criar uma conta de serviço

1. Na Google Cloud consola, aceda à página Contas de serviço.

   Aceder a Contas de serviço

2. Selecione o seu projeto.

3. Clique em Criar conta de serviço.

4. No campo Nome da conta de serviço, introduza o nome workflow-scheduler. A Google Cloud consola preenche o campo ID da conta de serviço com base neste nome.

5. Opcional: no campo Descrição da conta de serviço, introduza uma descrição para a conta de serviço.

6. Clique em Criar e continuar.

7. Clique no campo Selecionar uma função e escolha a função personalizada Dataproc Workflow Template Create que criou no passo anterior.

8. Clique em Continuar.

9. No campo Função de administrador da conta de serviço, introduza o endereço de email da sua Conta Google.

10. Clique em Concluído para terminar de criar a conta de serviço.

Crie um modelo de fluxo de trabalho.

Copie e execute os comandos indicados abaixo numa janela de terminal local ou no Cloud Shell para criar e definir um modelo de fluxo de trabalho.

Notas:

• Os comandos especificam a região "us-central1". Pode especificar uma região diferente ou eliminar a flag --region se tiver executado anteriormente gcloud config set compute/region para definir a propriedade region.
• A sequência "-- " (dois traços e um espaço) no comando add-job transmite o argumento 1000 à tarefa SparkPi, que especifica o número de amostras a usar para estimar o valor de Pi.
1. Crie o modelo de fluxo de trabalho.

   gcloud dataproc workflow-templates create sparkpi \
       --region=us-central1
   

2. Adicione a tarefa Spark ao modelo de fluxo de trabalho sparkpi. O ID do passo "compute" é obrigatório e identifica a tarefa SparkPi adicionada.

   gcloud dataproc workflow-templates add-job spark \
       --workflow-template=sparkpi \
       --step-id=compute \
       --class=org.apache.spark.examples.SparkPi \
       --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
       --region=us-central1 \
       -- 1000
   

3. Use um cluster gerido, de nó único para executar o fluxo de trabalho. O Dataproc cria o cluster, executa o fluxo de trabalho no mesmo e, em seguida, elimina o cluster quando o fluxo de trabalho estiver concluído.

   gcloud dataproc workflow-templates set-managed-cluster sparkpi \
       --cluster-name=sparkpi \
       --single-node \
       --region=us-central1
   

4. Clique no nome do sparkpi na página Fluxos de trabalho do Dataproc na Google Cloud consola para abrir a página Detalhes do modelo de fluxo de trabalho. Confirme os atributos do modelo sparkpi.

Crie uma tarefa do Cloud Scheduler

1. Abra a página Cloud Scheduler na Google Cloud consola (pode ter de selecionar o seu projeto para abrir a página). Clique em CRIAR TAREFA.

2. Introduza ou selecione as seguintes informações da tarefa:

   1. Selecione uma região: "us-central" ou outra região onde criou o modelo de fluxo de trabalho.
   2. Nome: "sparkpi"
   3. Frequência: "* * * * *" seleciona todos os minutos; "0 9 * * 1" seleciona todas as segundas-feiras às 09:00. Consulte o artigo Definir a programação da tarefa para outros valores unix-cron. Nota: pode clicar num botão EXECUTAR AGORA na página Trabalhos do Cloud Scheduler na Google Cloud consola para executar e testar o seu trabalho, independentemente da frequência que definir para o mesmo.
   4. Fuso horário: selecione o seu timezone. Escreva "Estados Unidos" para listar os fusos horários dos EUA.
   5. Destino: "HTTP"
   6. URL: insira o seguinte URL depois de inserir your-project-id. Substitua "us-central1" se tiver criado o modelo de fluxo de trabalho numa região diferente. Este URL chama a API Dataproc workflowTemplates.instantiate para executar o seu modelo de fluxo de trabalho sparkpi.

      https://dataproc.googleapis.com/v1/projects/your-project-id/regions/us-central1/workflowTemplates/sparkpi:instantiate?alt=json
      

   7. Método HTTP:
      1. "POST"
      2. Corpo: "{}"
         Se a tarefa agendada executar um fluxo de trabalho parametrizado, pode transmitir os parâmetros para o fluxo de trabalho através de um payload JSON no corpo:

         {"parameters": {"PARAMETER_NAME": "VALUE"}}
         

   8. Auth header:
      1. "Adicionar token OAuth"
      2. Conta de serviço: insira o service account address da conta de serviço que criou para este tutorial. Pode usar o seguinte endereço da conta depois de inserir your-project-id:

         [e-mail]
         

      3. Âmbito: pode ignorar este item.
   9. Clique em CRIAR.

Teste a tarefa do fluxo de trabalho agendada

1. Na linha da tarefa sparkpi na página Tarefas do Cloud Scheduler, clique em EXECUTAR AGORA.

2. Aguarde alguns minutos e, em seguida, abra a página Fluxos de trabalho do Dataproc para verificar se o fluxo de trabalho sparkpi foi concluído.

3. Depois de o fluxo de trabalho eliminar o cluster gerido, os detalhes da tarefa persistem na Google Cloud consola. Clique na tarefa compute... apresentada na página Tarefas do Dataproc para ver os detalhes da tarefa de fluxo de trabalho.

Limpar

O fluxo de trabalho neste tutorial elimina o respetivo cluster gerido quando o fluxo de trabalho é concluído. Manter o fluxo de trabalho permite-lhe executá-lo novamente e não incorre em custos. Pode eliminar outros recursos criados neste tutorial para evitar custos recorrentes.

Elimine um projeto

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimine o modelo de fluxo de trabalho

gcloud dataproc workflow-templates delete sparkpi \
    --region=us-central1

Elimine a sua tarefa do Cloud Scheduler

Abra a página Tarefas do Cloud Scheduler na consola, selecione a caixa à esquerda da função sparkpi e, de seguida, clique em ELIMINAR. Google Cloud

Elimine a sua conta de serviço

Abra a página IAM e administrador → Contas de serviço na Google Cloud consola, selecione a caixa à esquerda da workflow-scheduler... conta de serviço e, de seguida, clique em ELIMINAR.

O que se segue?

• Consulte o artigo Vista geral dos modelos de fluxo de trabalho do Dataproc.
• Consulte soluções de agendamento de fluxos de trabalho.