Usar transferências de terceiros

As transferências de terceiros para o serviço de transferência de dados do BigQuery permitem que você programe e gerencie automaticamente jobs de carregamento recorrentes para origens de dados externas, como Salesforce CRM, Adobe Analytics e Facebook Ads.

Antes de começar

Antes de criar uma transferência de dados de terceiros, siga estas recomendações:

• Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
• Crie um conjunto de dados do BigQuery para armazenar os dados.

• Certifique-se de que a pessoa que está criando a transferência tenha as seguintes permissões necessárias no BigQuery:

  • Permissões bigquery.transfers.update para criar a transferência
  • As permissões bigquery.datasets.get e bigquery.datasets.update no conjunto de dados de destino

  O papel predefinido bigquery.admin do IAM inclui permissões bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Para mais informações sobre os papéis do IAM no serviço de transferência de dados do BigQuery, consulte o controle de acesso.

• Consulte a documentação da origem de dados de terceiros para verificar se você configurou as permissões necessárias para ativar a transferência.

• Se você pretende configurar notificações de execução de transferência do Pub/Sub, é preciso ter permissões pubsub.topics.setIamPolicy. As permissões do Pub/Sub não serão necessárias se você configurar notificações por e-mail. Para mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Limitações

As transferências de terceiros estão sujeitas às seguintes limitações:

• Você precisa criar ou atualizar uma transferência de terceiros usando o Console do Google Cloud.
• Atualmente, não é possível configurar ou atualizar as transferências de terceiros usando a ferramenta de linha de comando bq.

Configurar uma transferência de dados de terceiros

Para criar uma transferência de dados de terceiros usando o Console do Google Cloud, faça o seguinte:

1. Acesse o Google Cloud Marketplace.

   Acesse o Google Cloud Marketplace

2. Clique no provedor de terceiros apropriado.

3. Na página de documentação do provedor terceirizado, clique em Inscrever-se. O processo de inscrição pode demorar um pouco.

4. Após a conclusão da inscrição, clique em Configurar transferência.

5. Na página Criar transferência:

   • Para Origem, escolha a origem de dados de terceiros apropriada. Clique em Explorar origens de dados para ver uma lista de provedores de terceiros no Google Cloud Marketplace.

     

   • Em Nome de exibição, insira um nome para a transferência, como My Transfer. Ele pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la no futuro.

     

   • Para Programação, deixe o valor padrão Iniciar agora ou clique em Iniciar em um horário definido.

     • Para Repetições, escolha uma opção para a frequência de execução da transferência. As opções incluem:

       • Diário (padrão)
       • Semanal
       • Mensal
       • Personalizadas
       • Sob demanda

       Se você escolher uma opção diferente de "Diário", outras opções estarão disponíveis. Por exemplo, se você escolher "Semanal", aparecerá uma opção para selecionar o dia da semana.

     • Para Data e hora de início, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção ficará desativada.

       

   • Para o Conjunto de dados de destino, escolha o conjunto de dados que você criou para armazenar seus dados.

     

   • (Opcional) Na seção Opções de notificação:

     • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail quando uma execução de transferência falha.
     • Em Selecionar um tópico do Pub/Sub, escolha o nome do seu tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub para sua transferência.

6. Clique em Conectar origem.

   Observação: se você não selecionou um conjunto de dados de destino, clicar em Conectar origem produz o erro A selected destination dataset is required before connecting to the source.

7. Quando solicitado, clique em Aceitar para permitir que o serviço de transferência de dados do BigQuery se conecte à origem de dados e gerencie seus dados no BigQuery.

8. Siga as instruções nas próximas páginas para configurar a conexão com sua origem de dados externa.

9. Depois de concluir as etapas de configuração, clique em Salvar.

Resolver problemas na configuração de transferências de terceiros

Se você tiver problemas ao configurar sua transferência, consulte o fornecedor terceirizado apropriado. As informações de contato estão disponíveis na página de documentação da transferência no Google Cloud Marketplace.

Consultar dados

Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte Introdução às tabelas particionadas.

Use a pseudocoluna _PARTITIONTIME para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, veja Como consultar tabelas particionadas.

A seguir

• Consulte Introdução ao serviço de transferência de dados do BigQuery para uma visão geral desse serviço.
• Para informações sobre o uso de transferências, incluindo ver detalhes sobre a configuração, listar configurações e visualizar o histórico de execução, consulte Como trabalhar com transferências.