Use transferências de terceiros

As transferências de terceiros para o Serviço de transferência de dados do BigQuery permitem-lhe agendar e gerir automaticamente tarefas de carregamento recorrentes para origens de dados externas, como o Salesforce CRM, o Adobe Analytics e o Facebook Ads.

Antes de começar

Antes de criar uma transferência de dados de terceiros:

• Verifique se concluiu todas as ações necessárias para ativar o Serviço de transferência de dados do BigQuery.
• Crie um conjunto de dados do BigQuery para armazenar os dados.

• Certifique-se de que a pessoa que cria a transferência tem as seguintes autorizações necessárias no BigQuery:

  • bigquery.transfers.update para criar a transferência
  • Autorizações de bigquery.datasets.get e bigquery.datasets.update no conjunto de dados de destino

  A bigquery.adminfunção de IAM predefinida inclui as autorizações bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Para mais informações sobre as funções do IAM no Serviço de transferência de dados do BigQuery, consulte o artigo Controlo de acesso.

• Consulte a documentação da sua origem de dados de terceiros para garantir que configurou todas as autorizações necessárias para ativar a transferência.

• Se pretender configurar notificações de execução de transferências para o Pub/Sub, tem de ter pubsub.topics.setIamPolicy autorizações. As autorizações do Pub/Sub não são necessárias se configurar apenas notificações por email. Para mais informações, consulte Notificações de execução do Serviço de transferência de dados do BigQuery.

Limitações

As transferências de terceiros estão sujeitas às seguintes limitações:

• Tem de criar ou atualizar uma transferência de terceiros através daGoogle Cloud consola.
• Atualmente, não pode configurar nem atualizar transferências de terceiros através da ferramenta de linha de comandos bq.

Configure uma transferência de dados de terceiros

Para criar uma transferência de dados de terceiros através da Google Cloud consola:

1. Aceda ao Google Cloud Marketplace.

   Aceda ao Google Cloud Marketplace

2. Clique no fornecedor externo adequado.

3. Na página de documentação do fornecedor externo, clique em Inscrever-se. O processo de inscrição pode demorar alguns instantes.

4. Após a conclusão da inscrição, clique em Configurar transferência.

5. Na página Criar transferência:

   • Em Origem, escolha a origem de dados de terceiros adequada. Pode clicar em Explorar origens de dados para ver a lista de fornecedores externos no Google Cloud Marketplace.

     

   • Em Nome a apresentar, introduza um nome para a transferência, como My Transfer. O nome da transferência pode ser qualquer valor que lhe permita identificar facilmente a transferência se precisar de a modificar mais tarde.

     

   • Para Programação, deixe o valor predefinido (Começar agora) ou clique em Começar a uma hora definida.

     • Em Repetições, escolha uma opção para a frequência de execução da transferência. As opções incluem:

       • Diariamente (predefinição)
       • Semanalmente
       • Mensalmente
       • Personalizado
       • A pedido

       Se escolher uma opção diferente de Diário, estão disponíveis opções adicionais. Por exemplo, se escolher Semanalmente, é apresentada uma opção para selecionar o dia da semana.

     • Para Data de início e tempo de execução, introduza a data e a hora de início da transferência. Se escolher Começar agora, esta opção é desativada.

       

   • Para Conjunto de dados de destino, escolha o conjunto de dados que criou para armazenar os seus dados.

     

   • (Opcional) Na secção Opções de notificação:

     • Clique no botão para ativar as notificações por email. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução da transferência falha.
     • Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico para criar um. Esta opção configura notificações executadas pelo Pub/Sub para a transferência.

6. Clique em Associar origem.

   Nota: se não selecionou um conjunto de dados de destino, quando clica em Associar origem, é apresentado o seguinte erro: A selected destination dataset is required before connecting to the source.

7. Quando lhe for pedido, clique em Aceitar para conceder ao Serviço de transferência de dados do BigQuery autorização para se ligar à origem de dados e gerir os seus dados no BigQuery.

8. Siga as instruções nas páginas seguintes para configurar a associação à sua origem de dados externa.

9. Depois de concluir os passos de configuração, clique em Guardar.

Resolva problemas de configuração da transferência de terceiros

Se estiver a ter problemas com a configuração da transferência, consulte o fornecedor externo adequado. As informações de contacto estão disponíveis na página de documentação da transferência no Google Cloud Marketplace.

Consultar os seus dados

Quando os dados são transferidos para o BigQuery, são gravados em tabelas particionadas por tempo de ingestão. Para mais informações, consulte o artigo Introdução às tabelas particionadas.

Se consultar as tabelas diretamente em vez de usar as vistas geradas automaticamente, tem de usar a pseudocoluna _PARTITIONTIME na consulta. Para mais informações, consulte o artigo Consultar tabelas particionadas.

O que se segue?

• Para uma vista geral do Serviço de transferência de dados do BigQuery, consulte o artigo Introdução ao Serviço de transferência de dados do BigQuery.
• Para obter informações sobre a utilização de transferências, incluindo a obtenção de informações sobre uma configuração de transferência, a apresentação de configurações de transferência e a visualização do histórico de execução de uma transferência, consulte o artigo Trabalhar com transferências.