Notificações de execução do serviço de transferência de dados do BigQuery

Nesta página, apresentamos uma visão geral das notificações de execução do serviço de transferência de dados do BigQuery.

Visão geral

Há dois tipos de notificações de execução que podem ser configurados para o serviço de transferência de dados do BigQuery:

  • Notificações do Cloud Pub/Sub: legíveis por máquina, enviadas quando uma execução de transferência é concluída ou apresenta falha.
  • Notificações por e-mail: legíveis por humanos, enviadas quando uma execução de transferência falha.

É possível configurar cada tipo individualmente ou usar as notificações de execução pelo Cloud Pub/Sub ou por e-mail.

Notificações do Cloud Pub/Sub

As notificações do Cloud Pub/Sub enviam informações sobre execuções de transferência para um tópico do Cloud Pub/Sub. As notificações do Cloud Pub/Sub são acionadas por execuções de transferência concluídas nos seguintes estados:

  • SUCCEEDED
  • FAILED
  • CANCELLED

É possível enviar notificações para os tópicos do Cloud Pub/Sub em qualquer projeto em que você tenha permissões suficientes. Uma vez recebida pelo tópico do Cloud Pub/Sub, a mensagem pode ser enviada a qualquer número de assinantes do tópico.

Antes de começar

Antes de configurar as notificações de execução da transferência do Cloud Pub/Sub, é necessário seguir estes passos:

  1. Ative a API Cloud Pub/Sub no projeto que receberá notificações.

    Ativar a API

  2. Tenha permissões suficientes no projeto que receberá as notificações:

    • Se você é proprietário do projeto que vai receber as notificações, é provável que tenha a permissão necessária.

    • Se você planeja criar tópicos para receber notificações, precisa ter permissões pubsub.topics.create .

    • Se você planeja usar tópicos novos ou atuais, precisa ter permissões pubsub.topics.setIamPolicy. Se você criar um tópico, normalmente já terá pubsub.topics.setIamPolicy para ele. Os seguintes papéis predefinidos do IAM no nível do projeto têm permissões pubsub.topics.setIamPolicy:

      • papel predefinido pubsub.admin
      • papel primário Owner

      Consulte Controle de acesso do Cloud Pub/Sub para mais informações.

  3. Tenha um tópico atual do Cloud Pub/Sub para receber as notificações.

Formato de notificação

As notificações enviadas para o tópico Cloud Pub/Sub são compostas de duas partes:

  • Atributos: um conjunto de pares de chave-valor que descrevem o evento.
  • Payload: uma string de caracteres que contém os metadados do objeto alterado.

Atributos

Os atributos são pares chave-valor contidos em todas as notificações enviadas pelo serviço de transferência de dados do BigQuery ao seu tópico do Cloud Pub/Sub. As notificações sempre contêm o seguinte conjunto de pares de chave-valor, independentemente da payload da notificação:

Nome do atributo Exemplo Descrição
eventType TRANSFER_RUN_FINISHED Tipo de evento que acabou de ocorrer. TRANSFER_RUN_FINISHED é o único valor possível.
payloadFormat JSON_API_V1 Formato da payload do objeto. JSON_API_V1 é o único valor possível.

Payload

O payload é uma string que contém os metadados da execução da transferência. O tipo de payload não é configurável neste momento e é fornecido para acomodar mudanças futuras na versão da API.

Tipo de payload Descrição
JSON_API_V1 O payload será uma string serializada para JSON no formato UTF-8 contendo a representação de recursos de um TransferRun.

Notificações por e-mail

As notificações por e-mail enviam mensagens legíveis por humanos quando uma execução de transferência falha. Essas mensagens são enviadas ao usuário que configurou a transferência. As mensagens não são configuráveis.

Se for necessário que outros usuários recebam notificações por e-mail de execução de transferência, configure as regras de encaminhamento de e-mail para distribuir as mensagens. Se você estiver usando o Gmail, será possível encaminhar automaticamente mensagens do Gmail para outra conta.

A notificação por e-mail é enviada pelo serviço de transferência de dados do BigQuery e contém detalhes sobre a configuração da transferência, a execução da transferência e um link para o histórico da execução com falha. Exemplo:

From: bigquery-data-transfer-service-noreply@google.com
To: [USER_WHO_SET_UP_TRANSFER]
Title: BigQuery Data Transfer Service - Transfer Run Failure - [DISPLAY_NAME]

Transfer Configuration
Display Name: [DISPLAY_NAME]
Source: [DATA_SOURCE]
Destination: [PROJECT_ID]

Run Summary
Run: [RUN_NAME]
Schedule Time: [SCHEDULE_TIME]
Run Time: [RUN_TIME]
View Run History

Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

This email was sent because you indicated you are willing to receive Run
Notifications from the BigQuery Data Transfer Service. If you do not wish to
receive such emails in the future, click View Transfer Configuration and
un-check the “Send E-mail Notifications” option.

Preços das notificações de execução

Durante o estágio Alfa, o serviço de transferência de dados do BigQuery não cobra pelas notificações de execução. Se você configurar as notificações de execução do Cloud Pub/Sub, será cobrado. Para mais informações, consulte a página Preços do Cloud Pub/Sub.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.