Como usar transferências de terceiros

As transferências de terceiros para o serviço de transferência de dados do BigQuery permitem que você agende e gerencie automaticamente jobs de carregamento recorrentes para fontes de dados externas, como Salesforce CRM, Adobe Analytics e Facebook Ads.

Antes de começar

Antes de criar uma transferência de dados de terceiros, siga estas recomendações:

  • Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar os dados.
  • Certifique-se de que a pessoa que está criando a transferência tenha as seguintes permissões obrigatórias no BigQuery:

    • Permissões bigquery.transfers.update para criar a transferência
    • Permissões bigquery.datasets.update no conjunto de dados de destino

    O papel predefinido do IAM bigquery.admin para envolvidos no projeto inclui as permissões bigquery.transfers.update e bigquery.datasets.update. Para mais informações sobre papéis do IAM no BigQuery, consulte Controle de acesso.

  • Consulte a documentação da fonte de dados de terceiros para verificar se você configurou as permissões necessárias para ativar a transferência.

  • As notificações de execução de transferência estão na versão Alfa. Se quiser configurar notificações de transferência do Cloud Pub/Sub, você precisará ter permissões pubsub.topics.setIamPolicy. As permissões do Cloud Pub/Sub não serão necessárias caso você configure notificações por e-mail. Para saber mais, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Limitações

As transferências de terceiros estão sujeitas às seguintes limitações:

  • Você precisa criar ou atualizar uma transferência de terceiros usando a IU da Web do BigQuery no Console do GCP. As transferências de terceiros não podem ser configuradas usando a IU da Web clássica.
  • Atualmente, não é possível configurar ou atualizar as transferências de terceiros usando a ferramenta de linha de comando.

Como configurar uma transferência de dados de terceiros

Para criar uma transferência de dados de terceiros usando o Console do GCP, faça o seguinte:

  1. Acesse o GCP Marketplace.

    Ir para o GCP Marketplace

  2. Clique no provedor terceirizado apropriado.

  3. Na página de documentação do provedor terceirizado, clique em Inscrever-se. O processo de inscrição pode demorar um pouco.

  4. Após a conclusão da inscrição, clique em Configurar transferência.

  5. Na página Criar transferência:

    • Para Origem, escolha a fonte de dados de terceiros apropriada. Você pode clicar em Explorar fontes de dados para ver a lista de provedores de terceiros no GCP Marketplace.

      Fonte de transferência

    • Em Nome de exibição, digite um nome para a transferência, como My Transfer. Esse nome pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.

      Nome da transferência

    • Para Agendar, deixe o valor padrão (Iniciar agora) ou clique em Iniciar em um horário definido.

      • Para Repetições, escolha uma opção para a frequência de execução da transferência. As opções são estas:

        • Diário (padrão)
        • Semanalmente
        • Mensalmente
        • Personalizada
        • Sob demanda

        Se você escolher uma opção diferente de "Diário", outras opções estarão disponíveis. Por exemplo, se você escolher "Semanal", aparecerá uma opção para selecionar o dia da semana.

      • Para Data de início e ambiente de execução, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção estará desativada.

        Programação de transferência

    • Para o Conjunto de dados de destino, escolha o conjunto de dados que você criou para armazenar seus dados.

      Transferir conjunto de dados

    • Opcional: na seção Opções de notificação, siga estas etapas:

      • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail quando uma execução de transferência falha.
      • Em Selecionar um tópico do Cloud Pub/Sub, escolha o nome do seu tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Cloud Pub/Sub para sua transferência. No momento, essas notificações estão na versão Alfa.
  6. Clique em Conectar origem.

  7. Quando solicitado, clique em Aceitar para permitir que o serviço de transferência de dados do BigQuery se conecte à fonte de dados e gerencie seus dados no BigQuery.

  8. Siga as instruções nas próximas páginas para configurar a conexão com sua fonte de dados externa.

  9. Depois de concluir as etapas de configuração, clique em Salvar.

Solução de problemas da configuração de transferência de terceiros

Se você tiver problemas ao configurar sua transferência, consulte o fornecedor terceirizado apropriado. Os dados de contato estão disponíveis na página de documentação da transferência no GCP Marketplace.

Como consultar dados

Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte Introdução às tabelas particionadas.

Use a pseudocoluna _PARTITIONTIME para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, consulte Como consultar tabelas particionadas.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.