Ative o serviço de transferência de dados do BigQuery.

Para usar o serviço de transferência de dados do BigQuery, você precisa seguir estas etapas como Proprietário do projeto:

• Crie um projeto e ative a API BigQuery.
• Ative o serviço de transferência de dados do BigQuery.

Para mais informações sobre os papéis do Identity and Access Management (IAM), consulte Noções básicas sobre papéis na documentação do IAM.

Observação: se você chamar a API BigQuery Data Transfer Service imediatamente após ativar o serviço de transferência de dados do BigQuery de maneira programática, implemente uma chamada recuperável com atrasos de espera entre chamadas consecutivas. Isso é necessário porque a ativação da API é assíncrona e está sujeita a atrasos de propagação causados por consistência posterior.

Crie um projeto e ative a API BigQuery.

Antes de usar o serviço de transferência de dados do BigQuery, você precisa criar um projeto e, na maioria dos casos, ativar o faturamento. É possível usar um projeto instalado que tenha o serviço de transferência de dados do BigQuery ativado ou criar um projeto. Para usar um projeto instalado, pode ser necessário ativar a API do BigQuery.

Para criar um projeto e ativar a API BigQuery:

1. No console do Google Cloud, acesse a página do seletor de projetos.

   Acessar o seletor de projetos

2. Selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

3. Ative o faturamento no seu projeto para todas as transferências. Você será cobrado US$ 0 pelas transferências gratuitas.

   A ativação do faturamento só é necessária uma vez por projeto, mesmo que você esteja transferindo dados de várias fontes. O faturamento também precisa estar ativado para consultar os dados no BigQuery depois que os dados são transferidos.

   Saiba como confirmar se o faturamento está ativado no seu projeto.

4. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery em um projeto atual, ative a API BigQuery.
   
   Ativar a API BigQuery

Ative o serviço de transferência de dados do BigQuery.

Antes de criar uma transferência, ative o serviço de transferência de dados do BigQuery. Para isso, é preciso ter o papel Proprietário do projeto.

Para ativar o serviço de transferência de dados do BigQuery:

1. Abra a página da API BigQuery Data Transfer na biblioteca de APIs.

2. No menu suspenso, selecione o projeto apropriado.

3. Clique no botão "ATIVAR".

   Ativar a API Data Transfer

Agente de serviço

O serviço de transferência de dados do BigQuery usa uma conta de serviço gerenciada pelo Google conhecida como um agente de serviço para acessar e gerenciar seus recursos. Isso inclui, sem limitação, os seguintes recursos:

• Recuperar um token de acesso da conta de serviço a ser usada ao autorizar a transferência de dados.
• Publicação de notificações no tópico do Pub/Sub fornecido, se ativado.
• Como iniciar jobs do BigQuery.

O agente de serviço é criado automaticamente em seu nome na primeira vez que você usa a API após ativar o serviço de transferência de dados do BigQuery. Após a criação do agente de serviço, o Google concede automaticamente o papel predefinido de agente de serviço.

Autorização de conta de serviço entre projetos

Se você autorizar a transferência de dados usando uma conta de serviço de um projeto diferente do projeto com o serviço de transferência de dados do BigQuery ativado, será necessário conceder o papel roles/iam.serviceAccountTokenCreator ao agente de serviço usando este comando da Google Cloud CLI:

gcloud iam service-accounts add-iam-policy-binding service_account \
--member serviceAccount:[e-mail] \
--role roles/iam.serviceAccountTokenCreator

Em que:

• service_account é a conta de serviço entre projetos usada para autorizar a transferência de dados.
• project_number é o número do projeto em que o serviço de transferência de dados do BigQuery está ativado.

Para mais informações sobre a configuração de recursos entre projetos, consulte Como configurar um recurso em um projeto diferente na documentação de representação da conta de serviço do Identity and Access Management.

Criação manual do agente de serviço

Se você quiser acionar a criação do agente de serviço antes de interagir com a API, por exemplo, se precisar conceder papéis extras a ele, use uma das seguintes abordagens:

• API: services.GenerateServiceIdentity
• CLI gcloud: gcloud beta services identity create
• Provedor do Terraform: google_project_service_identity

Quando você aciona manualmente a criação do agente de serviço, o Google não concede o papel de agente de serviço predefinido automaticamente. Você precisa conceder manualmente ao agente de serviço o papel predefinido usando o seguinte comando da Google Cloud CLI:

gcloud projects add-iam-policy-binding project_number \
--member serviceAccount:[e-mail] \
--role roles/bigquerydatatransfer.serviceAgent

Em que:

• project_number é o número do projeto em que o serviço de transferência de dados do BigQuery está ativado.

Aviso: não revogue o papel de agente de serviço. Se você revogar o papel, o serviço de transferência de dados do BigQuery não funcionará mais.

Permitir acesso de bigquery.admin

Recomendamos conceder o papel predefinido bigquery.admin do IAM aos usuários que criam transferências do serviço de transferência de dados do BigQuery. O papel bigquery.admin inclui as permissões do IAM necessárias para executar as tarefas mais comuns. O papel bigquery.admin inclui as seguintes permissões do serviço de transferência de dados do BigQuery:

• Permissões do serviço de transferência de dados do BigQuery:
  • bigquery.transfers.update
  • bigquery.transfers.get
• Permissões do BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.update
  • bigquery.jobs.create

Observação: se o papel bigquery.admin for muito amplo para um caso de uso específico, será possível criar um papel personalizado do IAM somente com as permissões necessárias.

Em alguns casos, as permissões necessárias podem diferir entre as fontes de dados. Consulte a seção "Permissões necessárias" em cada guia de transferência da fonte de dados para consultar informações específicas do IAM. Por exemplo, consulte Permissões de transferência do Amazon S3 ou Permissões de transferência do Cloud Storage.

Para conceder o papel bigquery.admin:

Console

1. Abra a página "IAM" no console do Google Cloud

   Abrir a página do IAM

2. Clique em Selecione um projeto.

3. Selecione um projeto e clique em Abrir.

4. Clique em Adicionar para incluir novos membros no projeto e defina as permissões deles.

5. Na caixa de diálogo Adicionar membros:

   • Em Membros, insira o endereço de e-mail do usuário ou grupo.
   • Na lista suspensa Selecionar um papel, clique em BigQuery > Administrador do BigQuery.

   • Clique em Adicionar.

     

gcloud

Use a CLI do Google Cloud para conceder a um usuário ou grupo o papel bigquery.admin.

Para adicionar uma única vinculação à política do IAM do projeto, digite o comando a seguir. Para incluir um usuário, forneça a sinalização --member no formato user:[e-mail]. Para incluir um grupo, forneça a sinalização --member no formato group:[e-mail].

gcloud projects add-iam-policy-binding project_id \
--member principal:address \
--role roles/bigquery.admin

Em que:

• project_id é o ID do projeto;
• principal é group ou user.
• address é o endereço de e-mail do usuário ou do grupo.

Por exemplo:

gcloud projects add-iam-policy-binding myproject \
--member group:[e-mail] \
--role roles/bigquery.admin

A política atualizada é exibida:

    bindings:
    - members:
      - group:[e-mail]
        role: roles/bigquery.admin
    

Para mais informações sobre os papéis do IAM no BigQuery, consulte Papéis e permissões predefinidos.

A seguir

Depois de ativar o serviço de transferência de dados do BigQuery, crie uma transferência para a fonte de dados.

• Amazon S3
• Amazon Redshift
• Armazenamento de blobs do Azure
• Campaign Manager
• Cloud Storage
• Display & Video 360 (pré-lançamento)
• Anúncios do Facebook (Prévia)
• Google Ad Manager
• Google Ads
• Google Merchant Center (pré-lançamento)
• Google Play
• Oracle (pré-lançamento)
• Salesforce (Pré-lançamento)
• Salesforce Marketing Cloud (Pré-lançamento)
• Search Ads 360
• ServiceNow (pré-lançamento)
• Teradata
• Canal do YouTube
• Proprietário do conteúdo no YouTube