Rotear eventos do Cloud Storage para o GKE

Padrão

Visualização — Eventarc for GKE destinations

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Um gatilho do Eventarc declara seu interesse em um determinado evento ou conjunto de eventos. É possível configurar o encaminhamento de eventos especificando filtros para o gatilho, incluindo a origem do evento e o serviço de destino do Google Kubernetes Engine (GKE) em execução em um cluster do GKE. Os destinos só podem incluir serviços em execução em clusters (públicos ou privados) do GKE com endpoints públicos. Para visar serviços em clusters do GKE com endpoints particulares, encaminhe eventos para endpoints HTTP internos.

O Eventarc entrega eventos ao receptor de eventos no formato CloudEvents por uma solicitação HTTP.

Nestas instruções, mostramos como configurar o roteamento de eventos para o serviço do GKE que é acionado por um evento Cloud Storage direto. Para saber mais, consulte a lista de eventos diretos compatíveis.

Observação: se os eventos de registro direto e de auditoria forem compatíveis com um provedor do Google, recomendamos criar um gatilho que filtre o evento direto. Os eventos diretos oferecem várias vantagens sobre os eventos de registro de auditoria. Para mais informações, consulte Encaminhamentos de eventos.

Antes de começar

Ative a Federação de Identidade da Carga de Trabalho do GKE no cluster do GKE em que o serviço de destino está sendo executado. A Federação de Identidade da Carga de Trabalho para o GKE é obrigatória para configurar corretamente o encaminhador de eventos e é a forma recomendada de acessar serviços do Google Cloud de aplicativos em execução no GKE devido às propriedades de segurança e maleabilidade da ferramenta.

Federação de identidade da carga de trabalho para o GKE

Os aplicativos em execução no GKE podem precisar de acesso às APIs do Google Cloud. A Federação de Identidade da Carga de Trabalho para GKE permite que uma conta de serviço do Kubernetes no cluster do GKE atue como uma conta de serviço do IAM. Os pods que usam a conta de serviço configurada do Kubernetes serão autenticados automaticamente como a conta de serviço do IAM ao acessar as APIs do Google Cloud. O uso da Federação de Identidade da Carga de Trabalho para o GKE permite atribuir identidades e autorizações distintas e refinadas para cada aplicativo no cluster. Permissões específicas precisam ser concedidas à conta de serviço do gatilho do Eventarc. Neste documento, consulte as etapas para Criar uma conta de serviço.

Para mais informações sobre como ativar e configurar a Federação de identidade da carga de trabalho para o GKE nos clusters do GKE, consulte Usar a Federação de identidade da carga de trabalho para o GKE.

Encaminhador de eventos

O encaminhador de eventos do Eventarc extrai novos eventos do Eventarc e os encaminha para o destino do GKE. Esse componente atua como mediador entre a camada de transporte do Pub/Sub e o serviço de destino. Ele funciona em serviços atuais e também oferece suporte a serviços de sinalização (incluindo os não expostos fora do cluster totalmente gerenciado), além de simplificar a configuração e a manutenção. No nível da rede, para receber eventos em um serviço do GKE, não é necessário abrir o serviço para o tráfego externo, já que todos os eventos são entregues de uma origem que está no mesmo cluster do GKE.

O ciclo de vida do encaminhador de eventos é gerenciado pelo Eventarc. Se você excluir acidentalmente o encaminhador de eventos, o Eventarc vai restaurar esse componente.

Para cada gatilho que direciona para um destino do GKE, o encaminhador de eventos (um pod gke-forwarder configurado especificamente) realiza as seguintes ações:

1. Ele usa a API Pub/Sub para abrir uma conexão StreamingPull com o transportador de gatilho (um tópico e uma assinatura do Pub/Sub) e recebe eventos conforme eles ficam disponíveis.

2. Ele transforma eventos para o formato do CloudEvents correto, os codifica e os entrega como uma solicitação HTTP POST para o serviço de destino do GKE.

O agente de serviço do Eventarc precisa de permissão para executar e atualizar regularmente a instância gke-forwarder. Essa permissão precisa ser concedida uma vez por projeto. Para mais detalhes, neste documento, consulte Ativar destinos do GKE.

Preparar para criar um gatilho

Para cada gatilho que visa um serviço do GKE, o Eventarc cria um componente de encaminhamento de eventos. O Eventarc exige permissões para instalar o componente e gerenciar recursos no cluster do GKE. Antes de criar um gatilho do Eventarc para destinos do GKE, conclua as seguintes tarefas.

Console

1. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

2. Ative as APIs Eventarc, Eventarc Publishing, Google Kubernetes Engine e Resource Manager.

   Ative as APIs

3. Se aplicável, ative a API relacionada aos eventos diretos. Por exemplo, para eventos Cloud Storage , ative a APICloud Storage .

4. Se você ainda não tiver uma, crie uma conta de serviço gerenciada pelo usuário e conceda a ela os papéis e as permissões necessários para que o Eventarc gerencie os eventos do serviço de destino.

   1. No Console do Google Cloud, acesse a página Criar conta de serviço.

      Acesse "Criar conta de serviço"

   2. Selecione o projeto.

   3. No campo Nome da conta de serviço, insira um nome. O Console do Google Cloud preenche o campo ID da conta de serviço com base nesse nome.

      No campo Descrição da conta de serviço, insira uma descrição. Por exemplo, Service account for event trigger.

   4. Clique em Criar e continuar.

   5. Para fornecer o acesso apropriado, na lista Selecionar um papel, escolha os papéis necessários do Identity and Access Management (IAM) para conceder à sua conta de serviço. Para mais informações, consulte Papéis e permissões para destinos do GKE.

      Para papéis adicionais, clique em Adicionar outro papel e adicione os papéis adicionais.

   6. Clique em Continuar.

   7. Para concluir a criação da conta de serviço, clique em Concluído.

5. Conceda o papel de publisher do Pub/Sub ao agente de serviço do Cloud Storage. Normalmente, é o agente [e-mail]. É possível recuperar o endereço de e-mail do agente de serviço do Cloud Storage.

   1. No console do Google Cloud, abra a página IAM.

      Acessar IAM

   2. Na linha do agente de serviço do Cloud Storage, clique em Editar principal. Se o agente de serviço não estiver listado, prossiga para a próxima etapa. O painel Editar acesso será aberto.

      1. Clique em Adicionar outro papel e pesquise o papel publisher do Pub/Sub.
      2. Selecione o papel.
      3. Clique em Salvar.

   3. Se o agente de serviço não estiver listado, clique em Conceder acesso. O painel Conceder acesso será aberto.

      1. No campo Novos principais, insira o endereço de e-mail do agente de serviço.
      2. Na lista Selecionar um papel, procure o papel publisher do Pub/Sub.
      3. Selecione o papel.
      4. Clique em Salvar.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Ative as APIs Eventarc, Eventarc Publishing, Google Kubernetes Engine e Resource Manager.

   gcloud services enable eventarc.googleapis.com \
       eventarcpublishing.googleapis.com \
       container.googleapis.com \
       cloudresourcemanager.googleapis.com

3. Se aplicável, ative a API relacionada aos eventos diretos. Por exemplo, para eventos Cloud Storage , ative storage.googleapis.com.

4. Se você ainda não tiver uma, crie uma conta de serviço gerenciada pelo usuário e conceda a ela os papéis e as permissões necessários para que o Eventarc possa gerenciar eventos para o destino pretendido do GKE.

   1. Crie a conta de serviço:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Substitua SERVICE_ACCOUNT_NAME pelo nome da conta de serviço. Ele precisa ter entre 6 e 30 caracteres e pode conter letras minúsculas, caracteres alfanuméricos e traços. Depois de criar uma conta de serviço, não é possível alterar o nome dela.

   2. Conceda os papéis ou as permissões necessários do Identity and Access Management (IAM). Para mais informações, consulte Papéis e permissões para destinos do GKE.

5. Atribua o papel pubsub.publisher à conta de serviço do Cloud Storage:

   SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p PROJECT_ID)"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:${SERVICE_ACCOUNT}" \
     --role="roles/pubsub.publisher"
   

Ativar destinos do GKE

Para permitir que o Eventarc gerencie recursos no cluster do GKE, ative os destinos do GKE e vincule o agente de serviço do Eventarc aos papéis necessários.

1. Ative os destinos do GKE para o Eventarc:

   gcloud eventarc gke-destinations init

2. No prompt para vincular os papéis necessários, digite y.

   Os papéis a seguir estão vinculados:

   • roles/compute.viewer
   • roles/container.developer
   • roles/iam.serviceAccountAdmin

Criar um gatilho

É possível criar um gatilho do Eventarc usando a CLI do Google Cloud ou o console do Google Cloud.

Observação: a filtragem é feita por meio de uma correspondência exata e não permite caracteres curinga ou expressões regulares.

Console

1. No Console do Google Cloud, acesse a página Gatilhos do Eventarc.

   Acessar gatilhos

2. Clique em Criar gatilho.
3. Digite um Nome de gatilho.

   Esse é o ID do gatilho e precisa começar com uma letra. Ele pode conter até 63 letras minúsculas, números ou hífens.

4. Em Tipo de gatilho, selecione Fontes do Google.
5. Na lista Provedor de eventos, selecione Cloud Storage.

   O nome do provedor de eventos usado na documentação do Google Cloud associada pode não ter o prefixo Cloud ou Google Cloud. Por exemplo, no console, o Memorystore para Redis é chamado de Google Cloud Memorystore para Redis.

6. Na lista Tipo de evento, nos eventos Diretos, selecione um tipo de evento:
   • google.cloud.storage.object.v1.archived: o evento é enviado quando uma versão ativa de um objeto é arquivada ou excluída. Este só é enviado para buckets com controle de versão.
   • google.cloud.storage.object.v1.delete: o evento é enviado quando um objeto é excluído permanentemente. Dependendo da configuração do controle de versão do objeto de um bucket isso significa:
     • Para buckets do controle de versões, ele só é enviado quando uma versão é excluída permanentemente (mas não quando um objeto é arquivado).
     • Para buckets sem controle de versão, ele é enviado quando um objeto é excluído ou substituído.
   • google.cloud.storage.object.v1.finalized: o evento é enviado quando um novo objeto é criado (ou um objeto existente é substituído e uma nova geração desse objeto é criado) no bucket.
   • google.cloud.storage.object.v1.metadataUpdated: o evento é enviado quando o [metadata](/storage/docs/metadata) de um objeto existente é alterado.
7. Na lista Tipo de conteúdo de dados do evento, selecione a codificação do payload do evento.

   Para eventos diretos de Cloud Storage, ele precisa ser application/json.

8. Especifique ou procure o identificador exclusivo global do bucket do Cloud Storage.

   O bucket do Cloud Storage precisa residir no mesmo projeto do Google Cloud e na região ou multirregião que o gatilho do Eventarc.

9. Selecione uma Região.

   Os gatilhos do Cloud Storage para o Eventarc estão disponíveis em locais de região única, birregionais e multirregionais. O bucket do Cloud Storage precisa estar no mesmo projeto e região ou multirregião do Google Cloud que o gatilho do Eventarc.

   Os eventos são entregues usando notificações do Pub/Sub no Cloud Storage. A configuração de muitas notificações registradas no mesmo bucket pode esgotar o limite de notificações do bucket, conforme indicado pelo erro Cloud Storage bucket ...: Pub/Sub notification limit reached. É possível ter até 10 configurações de notificação definidas no bucket para acionar um determinado evento. Confira mais cotas e limitações na página Cotas e limites do Cloud Storage.

10. Selecione a conta de serviço que vai invocar seu serviço ou fluxo de trabalho.

    ou crie uma nova conta de serviço.

    Ele especifica o e-mail da conta de serviço do Identity and Access Management (IAM) associado ao gatilho e aos quais você já concedeu papéis específicos exigidos pelo Eventarc.

11. Na lista Destino do evento, selecione Kubernetes Engine.
12. Selecione um serviço.
    

    Esse é o nome do serviço que recebe os eventos do gatilho. O serviço precisa estar no mesmo projeto que o gatilho e receberá eventos como solicitações POST HTTP enviadas para o caminho de URL raiz (/) sempre que o evento for gerado.

13. Se preferir, especifique o Caminho do URL do serviço para enviar a solicitação recebida.

    Esse é o caminho relativo no serviço de destino para o qual os eventos do gatilho precisam ser enviados. Por exemplo: /, /route, route, route/subroute.

14. Clique em Criar.

Depois que um gatilho é criado, os filtros da origem de eventos não podem ser modificados. Crie um novo gatilho e exclua o antigo. Para mais informações, consulte Gerenciar acionadores.

gcloud

Para criar um gatilho, execute um comando gcloud eventarc triggers create com as flags obrigatórias e opcionais.

gcloud eventarc triggers create TRIGGER \
    --location=LOCATION \
    --destination-gke-cluster=DESTINATION_GKE_CLUSTER \
    --destination-gke-location=DESTINATION_GKE_LOCATION \
    --destination-gke-namespace=DESTINATION_GKE_NAMESPACE \
    --destination-gke-service=DESTINATION_GKE_SERVICE \
    --destination-gke-path=DESTINATION_GKE_PATH \
    --event-filters="type=EVENT_FILTER_TYPE" \
    --event-filters="bucket=BUCKET" \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Substitua:

• TRIGGER: o ID do gatilho ou um identificador totalmente qualificado.
• LOCATION: o local do gatilho do Eventarc. Como alternativa, é possível definir a propriedade eventarc/location; por exemplo: gcloud config set eventarc/location us-central1.

  O bucket do Cloud Storage precisa residir no mesmo projeto do Google Cloud e na região ou multirregião que o gatilho do Eventarc. Saiba mais em Locais do Eventarc.

• DESTINATION_GKE_CLUSTER: o nome do cluster do GKE em que o serviço do GKE de destino que recebe eventos está em execução.
• DESTINATION_GKE_LOCATION: (opcional) a região do Compute Engine do cluster do GKE em que o serviço do GKE de destino está sendo executado. Se não for especificado, supõe-se que o cluster seja regional e esteja na mesma região que o gatilho.
• DESTINATION_GKE_NAMESPACE: (opcional) o namespace em que o serviço do GKE de destino está em execução. Se não for especificado, o namespace default será usado.
• DESTINATION_GKE_SERVICE: o nome do serviço do GKE que recebe os eventos do gatilho. O serviço pode estar em qualquer um dos locais compatíveis com o GKE e não precisa estar no mesmo local que o gatilho. No entanto, o serviço precisa estar no mesmo projeto que o gatilho e receberá eventos como solicitações POST HTTP enviadas para o caminho de URL raiz (/) sempre que o evento for gerado.
• DESTINATION_GKE_PATH: (opcional) o caminho relativo especificado no serviço de destino do GKE para o qual os eventos do gatilho precisam ser enviados. Por exemplo: /, /route, route, route/subroute.
• EVENT_FILTER_TYPE: o identificador do evento do Cloud Storage e pode ser um dos seguintes:
  • google.cloud.storage.object.v1.finalized: o evento é enviado quando um novo objeto é criado (ou um objeto é substituído e uma nova geração desse objeto é criada) no bucket.
  • google.cloud.storage.object.v1.archived: esse evento é enviado quando uma versão ativa de um objeto é arquivada ou excluída. Este só é enviado para buckets com controle de versão.
  • google.cloud.storage.object.v1.deleted: esse evento é enviado quando um objeto é excluído permanentemente. Dependendo da configuração do controle de versão do objeto de um bucket isso significa:
    • Para buckets do controle de versões, ele só é enviado quando uma versão é excluída permanentemente (mas não quando um objeto é arquivado).
    • Para buckets sem controle de versões, ele é enviado quando um objeto é excluído ou substituído.
  • google.cloud.storage.object.v1.metadataUpdated: o evento é enviado quando os metadados de um objeto existente mudam.
• BUCKET é o identificador exclusivo global do bucket do Cloud Storage.
• SERVICE_ACCOUNT_NAME: o nome da conta de serviço gerenciada pelo usuário.
• PROJECT_ID: é seu ID do projeto no Google Cloud.

Observações:

• Essas sinalizações são necessárias:
  • --event-filters="type=EVENT_FILTER_TYPE"
  • --event-filters="bucket=BUCKET"
• Cada gatilho pode ter vários filtros de eventos separados por vírgula em uma sinalização --event-filters=[ATTRIBUTE=VALUE,...] ou repita a sinalização para adicionar mais filtros. Somente eventos que correspondam a todos os filtros são enviados para o destino. Caracteres curinga e expressões regulares não são aceitos.
• Após a criação de um gatilho, o tipo do filtro de evento não pode ser alterado. Para um tipo de evento diferente, é necessário criar um novo gatilho e excluir o antigo.
• Os eventos são entregues usando notificações do Pub/Sub do Cloud Storage. A configuração de muitas notificações registradas no mesmo bucket pode esgotar o limite de notificações do bucket, conforme indicado pelo erro Cloud Storage bucket ...: Pub/Sub notification limit reached. é possível ter até 10 configurações de notificação definidas no bucket para acionar um determinado evento; Veja mais cotas e limitações na página Cotas e limites do Cloud Storage.
• Para eventos diretos de Cloud Storage, a codificação do payload do evento é application/json.
• A sinalização --service-account é usada para especificar o e-mail da conta de serviço do Identity and Access Management (IAM) associado ao gatilho.

Exemplo:

gcloud eventarc triggers create helloworld-trigger \
    --location=us-central1 \
    --destination-gke-cluster=gke-events-cluster \
    --destination-gke-location=us-central1-a \
    --destination-gke-namespace=default \
    --destination-gke-service=helloworld-events \
    --destination-gke-path=/ \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=my-bucket" \
    --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Esse comando cria um gatilho chamado helloworld-trigger para o bucket do Cloud Storage my-bucket e o evento identificado como google.cloud.storage.object.v1.finalized.

Terraform

É possível criar um gatilho para um destino do GKE usando o Terraform. Para mais detalhes, acesse Criar um gatilho usando o Terraform.

Observação: o gatilho é criado imediatamente, mas pode levar até dois minutos para que ele seja propagado e filtre eventos.

Listar um gatilho

É possível confirmar a criação de um gatilho listando os gatilhos do Eventarc usando a CLI do Google Cloud ou o console do Google Cloud.

Console

1. No Console do Google Cloud, acesse a página Gatilhos do Eventarc.

   Acessar gatilhos

   Confira nesta página os gatilhos em todos os locais e os detalhes como nomes, regiões, provedores de eventos, destinos e muito mais.

2. Para filtrar os gatilhos, siga estas etapas:

   1. Clique em Filtrar ou no campo Filtrar gatilhos.
   2. Na lista Propriedades, selecione uma opção para filtrar os gatilhos.

   É possível selecionar uma única propriedade ou usar o operador lógico OR para adicionar mais propriedades.

3. Para classificar gatilhos, ao lado de qualquer cabeçalho de coluna com suporte, clique em Ordenar.

gcloud

Execute o comando a seguir para listar os gatilhos:

gcloud eventarc triggers list --location=-

Esse comando lista os gatilhos em todos os locais e inclui detalhes como nomes, tipos, destinos e status.

A seguir

• Saiba mais sobre o Eventarc.
• Saiba como gerenciar gatilhos.