É possível usar o Workflows para executar um job do Cloud Run como parte de um fluxo de trabalho que realiza processamentos de dados mais complexos ou orquestra um sistema de jobs atuais.
Este tutorial demonstra como usar Workflows para executar um job do Cloud Run que processa dados de eventos armazenados em um bucket do Cloud Storage. Armazenar o payload do evento em um bucket do Cloud Storage permite criptografar os dados usando chaves de criptografia gerenciadas pelo cliente, o que não é possível se você estiver transmitindo os dados do evento como variáveis de ambiente para o job do Cloud Run.
O diagrama a seguir fornece uma visão geral de alto nível:
Objetivos
Neste tutorial, você aprenderá a:
- Crie um job do Cloud Run que processe os dados de eventos armazenados em um bucket do Cloud Storage.
- Implante um fluxo de trabalho que faça o seguinte:
- Recebe um evento como argumento.
- Grava os dados do payload do evento no bucket do Cloud Storage.
- Usa o conector da API Cloud Run Admin para executar o job do Cloud Run.
- Crie um tópico do Pub/Sub para publicar uma mensagem. Este tutorial usa um evento do Pub/Sub como exemplo de como encaminhar eventos usando Workflows, salvando o evento no Cloud Storage para que um job do Cloud Run possa processar os dados do evento.
- Crie um gatilho do Eventarc que execute o fluxo de trabalho quando uma mensagem for gravada no tópico do Pub/Sub.
- Acione o fluxo de trabalho escrevendo uma mensagem no tópico do Pub/Sub.
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Antes de começar
As restrições de segurança definidas pela sua organização podem impedir que você conclua as etapas a seguir. Para informações sobre solução de problemas, consulte Desenvolver aplicativos em um ambiente restrito do Google Cloud.
Antes de começar este tutorial, ative APIs específicas e crie uma conta serviço gerenciado pelo usuário. É necessário conceder à conta de serviço as funções e as permissões necessárias para encaminhar eventos usando um gatilho do Eventarc e executar um fluxo de trabalho.
Se você estiver usando o Cloud Shell para testar este tutorial, talvez seja necessário conceder outros papéis à conta de serviço padrão do Compute Engine. Para mais detalhes, consulte a seção Criar um job do Cloud Run neste documento.
Console
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
- Se você ativou o agente de serviço do Cloud Pub/Sub até
8 de abril de 2021, para oferecer suporte a solicitações push autenticadas do Pub/Sub,
conceda o
papel de Criador de token da conta de serviço (
roles/iam.serviceAccountTokenCreator
) ao agente de serviço. Caso contrário, esse papel é concedido por padrão:- No console do Google Cloud, acesse a página IAM.
- Marque a caixa de seleção Incluir concessões de papel fornecidas pelo Google.
- Na coluna Nome, encontre a conta de serviço do Cloud Pub/Sub e clique em Editar principal na linha correspondente.
- Clique em Adicionar função ou Adicionar outra função.
- Na lista Selecionar um papel, filtre por Criador de token de conta de serviço e selecione o papel.
- Clique em Salvar.
- No console do Google Cloud, acesse a página IAM.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
O Cloud Shell oferece suporte às etapas de linha de comando neste tutorial.
gcloud
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com compute.googleapis.com run.googleapis.com storage.googleapis.com eventarc.googleapis.com workflows.googleapis.com -
Set up authentication:
-
Create the service account:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Replace
SERVICE_ACCOUNT_NAME
with a name for the service account. -
Grant roles to the service account. Run the following command once for each of the following IAM roles:
roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker
:gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Replace the following:
SERVICE_ACCOUNT_NAME
: the name of the service accountPROJECT_ID
: the project ID where you created the service accountROLE
: the role to grant
-
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com compute.googleapis.com run.googleapis.com storage.googleapis.com eventarc.googleapis.com workflows.googleapis.com -
Set up authentication:
-
Create the service account:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Replace
SERVICE_ACCOUNT_NAME
with a name for the service account. -
Grant roles to the service account. Run the following command once for each of the following IAM roles:
roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker
:gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Replace the following:
SERVICE_ACCOUNT_NAME
: the name of the service accountPROJECT_ID
: the project ID where you created the service accountROLE
: the role to grant
-
- Se você ativou o agente de serviço do Cloud Pub/Sub até 8 de abril
de 2021, para oferecer compatibilidade com solicitações push autenticadas do Pub/Sub, conceda
o papel de Criador de token da conta de serviço (
roles/iam.serviceAccountTokenCreator
) ao agente de serviço. Caso contrário, esse papel é concedido por padrão:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountTokenCreator
Substitua PROJECT_NUMBER
pelo número do projeto do
Google Cloud. Encontre o número do projeto na página Boas-vindas do console do Google Cloud ou executando o seguinte comando:
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Criar um job do Cloud Run
Este tutorial usa um código de exemplo que você encontra no GitHub. O script de implantação cria uma imagem de contêiner para criar um job do Cloud Run. O script também cria um bucket do Cloud Storage. O job do Cloud Run lê todos os dados de eventos armazenados no bucket do Cloud Storage e os imprime.
Se você estiver executando o script de implantação no Cloud Shell e a conta de serviço padrão do Compute Engine não tiver o papel de editor, conceda os seguintes papéis no projeto à conta de serviço padrão do Compute Engine. Caso contrário, pule esta e prossiga com a clonagem do repositório de apps de exemplo na próxima etapa.
Conceda o papel de gravador do Artifact Registry (
roles/artifactregistry.writer
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/artifactregistry.writer
Substitua
PROJECT_NUMBER
pelo número do projeto do Google Cloud. Encontre o número do projeto na página Boas-vindas do console do Google Cloud ou executando o seguinte comando:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Conceda a função de usuário de objeto de armazenamento (
roles/storage.objectUser
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.objectUser
Conceda o papel de gravador de registros de geração de registros (
roles/logging.logWriter
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/logging.logWriter
Clone o repositório do app de exemplo na máquina local para conferir o código de amostra:
git clone https://github.com/GoogleCloudPlatform/workflows-demos.git
Também é possível fazer o download do exemplo como um arquivo ZIP.
Acesse o diretório que contém o exemplo de código:
cd workflows-demos/cloud-run-jobs-payload-gcs/message-payload-job
Crie o job do Cloud Run executando o script de implantação:
./deploy-job.sh
O script cria um bucket do Cloud Storage com o nome
message-payload-PROJECT_ID
, em que
PROJECT_ID
é o ID do seu projeto do Google Cloud.
Um job do Cloud Run chamado message-payload-job
também é criado.
Implantar um fluxo de trabalho que execute o job do Cloud Run
Defina e implante um fluxo de trabalho que execute o job do Cloud Run que você acabou de criar. Uma definição de fluxo de trabalho é composta por uma série de etapas descritas usando a sintaxe dos fluxos de trabalho.
O fluxo de trabalho recebe um evento, salva os dados do evento em um bucket do Cloud Storage e executa um job do Cloud Run para processar os dados do evento.
Console
No console do Google Cloud, acesse a página Fluxos de trabalho:
Clique em
Criar.Insira um nome para o novo fluxo de trabalho, como
message-payload-workflow
.Escolha uma região apropriada, por exemplo,
us-central1
.No campo Conta de serviço, selecione a conta de serviço que você criou anteriormente.
A conta de serviço serve como a identidade do fluxo de trabalho. Você já deve ter concedido os seguintes papéis à conta de serviço:
- Administrador do Cloud Run: para executar jobs do Cloud Run.
- Gravador de registros: para gravar entradas de registro.
- Criador de objetos do Storage: para criar objetos no Cloud Storage
Clique em Próxima.
No editor de fluxo de trabalho, insira a seguinte definição para seu fluxo de trabalho:
Clique em Implantar.
gcloud
Crie um arquivo de código-fonte para seu fluxo de trabalho:
touch message-payload-workflow.yaml
Copie a seguinte definição de fluxo de trabalho para
message-payload-workflow.yaml
:Implante o fluxo de trabalho digitando o seguinte comando:
gcloud workflows deploy message-payload-workflow \ --location=us-central1 \ --source=message-payload-workflow.yaml \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Substitua:
SERVICE_ACCOUNT_NAME
: o nome da conta de serviço que você criou anteriormentePROJECT_ID
: o ID do seu projeto do Google Cloud
A conta de serviço serve como a identidade do fluxo de trabalho. Você já deve ter concedido os seguintes papéis à conta de serviço:
roles/logging.logWriter
: para gravar entradas de registroroles/run.admin
: para executar jobs do Cloud Runroles/storage.objectCreator
: para criar objetos no Cloud Storage
O fluxo de trabalho faz o seguinte:
Etapa
init
: aceita um evento como argumento e define as variáveis necessárias.Etapa
log_event
: cria uma entrada de registro no Cloud Logging usando a função sys.log.Etapa
write_payload_to_gcs
: faz uma solicitação HTTPPOST
e grava os dados do payload do evento em um arquivo de bucket do Cloud Storage.Etapa
run_job_to_process_payload
: usa o método do conector da API Cloud Run Admin,googleapis.run.v1.namespaces.jobs.run
, para executar o job. O bucket do Cloud Storage e o nome do arquivo de dados são transmitidos como variáveis de substituição do fluxo de trabalho para o job.Etapa
finish
: retorna informações sobre a execução do job como resultado do fluxo de trabalho.
Criar um tópico do Pub/Sub
Crie um tópico do Pub/Sub para publicar uma mensagem. Um evento do Pub/Sub é usado para demonstrar como encaminhar um evento usando Workflows e salvar o evento no Cloud Storage para que um job do Cloud Run possa processar os dados do evento.
Console
No console do Google Cloud, acesse a página Tópicos.
Clique em
Criar tópico.No campo ID do tópico, insira um ID para o tópico, como
message-payload-topic
.Mantenha a opção Adicionar uma assinatura padrão.
Não selecione as outras opções.
Clique em Criar.
gcloud
Para criar um tópico com o ID message-payload-topic
, execute o comando
gcloud pubsub topics create
:
gcloud pubsub topics create message-payload-topic
Criar um gatilho do Eventarc para encaminhar eventos ao fluxo de trabalho
Para executar automaticamente o fluxo de trabalho e, por sua vez, o job do Cloud Run, crie um acionador do Eventarc que responda aos eventos do Pub/Sub e os encaminhe ao fluxo de trabalho. Sempre que uma mensagem é gravada no tópico do Pub/Sub, o evento aciona uma execução do fluxo de trabalho.
Console
No console do Google Cloud, acesse a página Fluxos de trabalho:
Clique no nome do fluxo de trabalho, como
message-payload-workflow
.Na página Detalhes do fluxo de trabalho, clique em
Editar.Na página Editar fluxo de trabalho, na seção Gatilho, clique em Adicionar novo gatilho > Eventarc.
O painel Gatilho do Eventarc é aberto.
No campo Nome do acionador, insira um nome para o acionador, como
message-payload-trigger
.Na lista Provedor de eventos, selecione Cloud Pub/Sub.
Na lista Evento, selecione google.cloud.pubsub.topic.v1.messagePublished.
Na lista Selecionar um tópico do Cloud Pub/Sub, selecione o tópico do Pub/Sub que você criou anteriormente.
No campo Conta de serviço, selecione a conta de serviço que você criou anteriormente.
A conta de serviço serve como a identidade do acionador. Você já deve ter concedido os seguintes papéis à conta de serviço:
- Destinatário de eventos do Eventarc: para receber eventos.
- Chamador do Workflows: para executar fluxos de trabalho.
Clique em Salvar acionador.
O acionador do Eventarc agora aparece na seção Gatilhos da página Editar fluxo de trabalho.
Clique em Próxima.
Clique em Implantar.
gcloud
Para criar um gatilho do Eventarc, execute o seguinte comando:
gcloud eventarc triggers create message-payload-trigger \ --location=us-central1 \ --destination-workflow=message-payload-workflow \ --destination-workflow-location=us-central1 \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \ --transport-topic=projects/PROJECT_ID/topics/message-payload-topic \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Substitua:
PROJECT_ID
: o ID do seu projeto do Google Cloud;SERVICE_ACCOUNT_NAME
: o nome da conta de serviço que você criou anteriormente.
A conta de serviço serve como a identidade do acionador. Você já deve ter concedido os seguintes papéis à conta de serviço:
roles/eventarc.eventReceiver
: para receber eventosroles/workflows.invoker
: para executar fluxos de trabalho
Acione o fluxo de trabalho
Para testar o sistema de ponta a ponta, publique uma mensagem no tópico do Pub/Sub e gere um evento. Para mais informações, consulte Como acionar um fluxo de trabalho com eventos ou mensagens do Pub/Sub.
Publique uma mensagem para o tópico do Pub/Sub a fim de gerar um evento:
gcloud pubsub topics publish message-payload-topic --message="Hello World"
O evento é roteado para o fluxo de trabalho que registra a mensagem do evento, salva os dados do evento no bucket do Cloud Storage e executa o job do Cloud Run para processar os dados salvos no Cloud Storage. Isso pode levar alguns minutos.
Confirme se o job do Cloud Run foi executado conforme o esperado, conferindo as execuções do job:
gcloud run jobs executions list --job=message-payload-job
Você vai encontrar uma nova execução de job na saída.
Para conferir as entradas de registro relacionadas a eventos criadas ao acionar o fluxo de trabalho, execute o seguinte comando:
gcloud logging read "resource.type=cloud_run_job AND textPayload:Payload"
Procure uma entrada de registro semelhante a esta:
textPayload: "Payload: {'message': {'data': 'SGVsbG8gV29ybGQ=', 'messageId': '8834108235224238',\ \ 'publishTime': '2023-09-20T17:07:52.921Z'}, 'subscription': 'projects/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741'}" ... resource: labels: job_name: message-payload-job location: us-central1 project_id: MY_PROJECT type: cloud_run_job textPayload: Processing message payload gs://message-payload-MY_PROJECT/8254002311197919.data.json
É possível confirmar se os resultados estão conforme o esperado conferindo os dados do evento no objeto do bucket do Cloud Storage.
Recupere o nome do bucket:
gcloud storage ls
O resultado será assim:
gs://message-payload-PROJECT_ID/
Liste os objetos no seu bucket:
gcloud storage ls gs://message-payload-PROJECT_ID/** --recursive
A saída será semelhante a esta:
gs://message-payload-PROJECT_ID/OBJECT_ID.data.json
Observe o
OBJECT_ID
a ser usado na próxima etapa.Faça o download do objeto no seu bucket como um arquivo:
gcloud storage cp gs://message-payload-PROJECT_ID/OBJECT_ID.data.json message-event.txt
Substitua
OBJECT_ID
pelo ID retornado na etapa anterior.Em um editor de texto, abra o arquivo
message-event.txt
. O corpo do evento gravado no arquivo será semelhante a este:{ "message": { "data": "SGVsbG8gV29ybGQ=", "messageId": "8254002311197919", "publishTime": "2023-09-20T16:54:29.312Z" }, "subscription": "projects/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741" }
Se você decodificar o valor de dados de
SGVsbG8gV29ybGQ=
do formato Base64, "Hello World" será retornado.
Limpar
Se você criou um novo projeto para este tutorial, exclua o projeto. Se você usou um projeto atual e quer mantê-lo sem as alterações incluídas neste tutorial, exclua os recursos criados para o tutorial.
Exclua o projeto
O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.
Para excluir o projeto:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Excluir recursos do tutorial
Exclua os recursos criados neste tutorial: