Notificações de execução do serviço de transferência de dados do BigQuery

Nesta página, você terá uma visão geral das notificações de execução do serviço de transferência de dados do BigQuery.

Visão geral

Há dois tipos de notificações de execução que podem ser configurados para o serviço de transferência de dados do BigQuery:

  • Notificações do Pub/Sub: legíveis por máquina, enviadas quando uma execução de transferência é bem-sucedida ou falha.
  • Notificações por e-mail: legíveis por humanos, enviadas quando uma execução de transferência falha.

É possível configurar cada tipo individualmente ou usar as notificações de execução do Pub/Sub e por e-mail.

Notificações do Pub/Sub

As notificações do Pub/Sub enviam informações sobre execuções de transferência para um tópico do Pub/Sub. As notificações do Pub/Sub são acionadas por execuções de transferência concluídas nos seguintes estados:

  • SUCCEEDED
  • FAILED
  • CANCELLED

É possível enviar notificações para qualquer tópico do Pub/Sub em qualquer projeto em que você tenha permissões suficientes. Depois de recebida pelo tópico do Pub/Sub, a mensagem resultante poderá ser enviada para qualquer quantidade de assinantes do tópico.

Antes de começar

Antes de configurar as notificações de execução de transferência do Pub/Sub, faça o seguinte:

  1. Ative a API Pub/Sub para o projeto que receberá notificações.

    Ativar a API

  2. Ter permissões suficientes no projeto que receberá as notificações:

    • Se você é o proprietário do projeto que vai receber as notificações, é provável que já tenha a permissão necessária.

    • Se você planeja criar tópicos para receber notificações, é preciso ter as permissões pubsub.topics.create.

    • Se você planeja usar tópicos novos ou atuais, é preciso ter as permissões pubsub.topics.setIamPolicy. Se você criar um tópico, provavelmente receberá a respectiva permissão pubsub.topics.setIamPolicy. O papel pré-definido pubsub.admin do Cloud IAM tem permissões pubsub.topics.setIamPolicy. Consulte Controle de acesso do Pub/Sub para mais informações.

  3. Tenha um tópico do Pub/Sub atual ao qual você queira enviar notificações.

Formato da notificação

As notificações enviadas ao tópico do Pub/Sub são compostas de duas partes:

  • Atributos: um conjunto de pares de chave-valor que descreve o evento.
  • Payload: uma string de caracteres que contém os metadados do objeto alterado.

Atributos

Os atributos são pares de chave-valor contidos em todas as notificações enviadas pelo serviço de transferência de dados do BigQuery ao seu tópico do Pub/Sub. As notificações sempre contêm o seguinte conjunto de pares de chave-valor, independentemente do payload:

Nome do atributo Exemplo Descrição
eventType TRANSFER_RUN_FINISHED Tipo de evento que acabou de ocorrer. TRANSFER_RUN_FINISHED é o único valor possível.
payloadFormat JSON_API_V1 Formato do payload do objeto. JSON_API_V1 é o único valor possível.

Payload

O payload é uma string que contém os metadados da execução da transferência. O tipo de payload não é configurável neste momento e é fornecido para acomodar mudanças futuras na versão da API.

Tipo de payload Descrição
JSON_API_V1 O payload será uma string UTF-8 serializada em JSON contendo a representação do recurso de um TransferRun.

Notificações por e-mail

As notificações por e-mail enviam mensagens legíveis por humanos quando uma execução de transferência falha. Essas mensagens são enviadas ao usuário que configurou a transferência. As mensagens não são configuráveis.

Se for necessário que outros usuários recebam notificações por e-mail de execução de transferência, configure as regras de encaminhamento de e-mail para distribuir as mensagens. Se você estiver usando o Gmail, poderá encaminhar automaticamente mensagens do Gmail para outra conta.

A notificação por e-mail é enviada pelo serviço de transferência de dados do BigQuery e contém detalhes sobre a configuração da transferência, a execução da transferência e um link para o histórico de execução com falha. Exemplo:

    From: bigquery-data-transfer-service-noreply@google.com
    To: user_who_set_up_transfer
    Title: BigQuery Data Transfer Service — Transfer Run Failure —
    display_name

    Transfer Configuration
    Display Name: display_name
    Source: data_source
    Destination: project_id

    Run Summary
    Run: run_name
    Schedule Time: schedule_time
    Run Time: run_time
    View Run History

    Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

    This email was sent because you indicated you are willing to receive Run
    Notifications from the BigQuery Data Transfer Service. If you do not wish to
    receive such emails in the future, click View Transfer Configuration and
    un-check the "Send E-mail Notifications" option.

Ativando notificações

Você pode ativar as notificações:

  • Na seção Opções de notificação do console do serviço de transferência de dados do BigQuery:
    1. Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail quando uma execução de transferência falha.
    2. Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub para sua transferência.

Preços das notificações de execução

Se você configurar notificações de execução do Pub/Sub, haverá cobranças. Para mais informações, consulte a página Preços do Pub/Sub.

A seguir