Ative o Serviço de transferência de dados do BigQuery

Para usar o Serviço de transferência de dados do BigQuery, tem de concluir os seguintes passos como proprietário do projeto:

• Crie um projeto e ative a API BigQuery.
• Ative o Serviço de transferência de dados do BigQuery.

Para mais informações sobre as funções de gestão de identidade e de acesso (IAM), consulte o artigo Compreender as funções na documentação da IAM.

Nota: se chamar a API BigQuery Data Transfer Service imediatamente após ativar o BigQuery Data Transfer Service por programação, deve implementar um mecanismo de repetição com atrasos de recuo entre chamadas consecutivas. Isto é necessário porque a ativação da API é assíncrona e está sujeita a atrasos na propagação causados pela consistência eventual.

Crie um projeto e ative a API BigQuery

Antes de usar o Serviço de transferência de dados do BigQuery, tem de criar um projeto e, na maioria dos casos, ativar a faturação nesse projeto. Pode usar um projeto existente com o Serviço de transferência de dados do BigQuery ou criar um novo. Se estiver a usar um projeto existente, também pode ter de ativar a API BigQuery.

Para criar um projeto e ativar a API BigQuery:

1. In the Google Cloud console, go to the project selector page.

   Go to project selector

2. Select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

3. Ative a faturação no seu projeto para todas as transferências. São-lhe cobrados 0 € por transferências gratuitas.

   A ativação da faturação só é necessária uma vez por projeto, mesmo que esteja a transferir dados de várias origens. A faturação também tem de estar ativada para consultar os dados no BigQuery após a transferência dos dados.

   Saiba como confirmar que a faturação está ativada no seu projeto.

4. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery num projeto existente, ative a API BigQuery.
   
   Ative a API BigQuery

Ative o Serviço de transferência de dados do BigQuery

Antes de poder criar uma transferência, tem de ativar o Serviço de transferência de dados do BigQuery. Para ativar o Serviço de transferência de dados do BigQuery, tem de lhe ser atribuída a função de proprietário para o seu projeto.

Para ativar o Serviço de transferência de dados do BigQuery:

1. Abra a página da API BigQuery Data Transfer na biblioteca de APIs.

2. No menu pendente, selecione o projeto adequado.

3. Clique no botão ATIVAR.

   Ative a API Data Transfer

Agente do serviço

O Serviço de transferência de dados do BigQuery usa um agente de serviço para aceder e gerir os seus recursos. Isto inclui, entre outros, os seguintes recursos:

• Obter uma chave de acesso para a conta de serviço a usar ao autorizar a transferência de dados.
• Publicar notificações no tópico Pub/Sub fornecido, se estiver ativado.
• Iniciar tarefas do BigQuery.
• Obter eventos da subscrição do Pub/Sub fornecida para a transferência baseada em eventos do Cloud Storage

O agente de serviço é criado automaticamente em seu nome depois de ativar o Serviço de transferência de dados do BigQuery e usar a API pela primeira vez. Após a criação do agente de serviço, a Google concede automaticamente a função de agente de serviço predefinida.

Autorização de conta de serviço entre projetos

Se autorizar a transferência de dados através de uma conta de serviço de um projeto que seja diferente do projeto com o Serviço de transferência de dados do BigQuery ativado, tem de conceder a função roles/iam.serviceAccountTokenCreator ao agente de serviço através do seguinte comando da CLI do Google Cloud:

gcloud iam service-accounts add-iam-policy-binding service_account \
--member serviceAccount:[e-mail] \
--role roles/iam.serviceAccountTokenCreator

Onde:

• service_account é a conta de serviço entre projetos usada para autorizar a transferência de dados.
• project_number é o número do projeto onde o Serviço de transferência de dados do BigQuery está ativado.

Para mais informações sobre a configuração de recursos entre projetos, consulte o artigo Configurar para um recurso num projeto diferente na documentação sobre a representação de contas de serviço da gestão de identidades e acessos.

Criação manual de agentes de serviço

Se quiser acionar a criação do agente do serviço antes de interagir com a API, por exemplo, se precisar de conceder funções adicionais ao agente do serviço, pode usar uma das seguintes abordagens:

• API: services.GenerateServiceIdentity
• CLI gcloud: gcloud beta services identity create
• Fornecedor do Terraform: google_project_service_identity

Quando aciona manualmente a criação de um agente de serviço, a Google não concede automaticamente a função de agente de serviço predefinida. Tem de conceder manualmente ao agente de serviço a função predefinida através do seguinte comando da CLI Google Cloud:

gcloud projects add-iam-policy-binding project_number \
--member serviceAccount:[e-mail] \
--role roles/bigquerydatatransfer.serviceAgent

Onde:

• project_number é o número do projeto onde o Serviço de transferência de dados do BigQuery está ativado.

Aviso: não revogue a função de agente do serviço do agente do serviço. Se revogar a função, o Serviço de transferência de dados do BigQuery deixa de funcionar.

Conceda acesso bigquery.admin

Recomendamos que conceda a função de IAM predefinida bigquery.admin aos utilizadores que criam transferências do Serviço de transferência de dados do BigQuery. A função bigquery.admin inclui as autorizações de IAM necessárias para realizar as tarefas mais comuns. A função bigquery.admin inclui as seguintes autorizações do Serviço de transferência de dados do BigQuery:

• Autorizações do Serviço de transferência de dados do BigQuery:
  • bigquery.transfers.update
  • bigquery.transfers.get
• Autorizações do BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.update
  • bigquery.jobs.create

Nota: se a função bigquery.admin for demasiado abrangente para um exemplo de utilização específico, pode criar uma função de IAM personalizada apenas com as autorizações necessárias.

Em alguns casos, as autorizações necessárias podem diferir entre diferentes origens de dados. Consulte a secção "Autorizações necessárias" no guia de transferência de cada origem de dados para ver informações específicas do IAM. Por exemplo, consulte as autorizações de transferência do Amazon S3 ou as autorizações de transferência do Cloud Storage.

Para conceder a função de bigquery.admin:

Consola

1. Abra a página IAM na Google Cloud consola

   Abra a página do IAM

2. Clique em Selecionar um projeto.

3. Selecione um projeto e clique em Abrir.

4. Clique em Adicionar para adicionar novos membros ao projeto e definir as respetivas autorizações.

5. Na caixa de diálogo Adicionar membros:

   • Para Membros, introduza o endereço de email do utilizador ou do grupo.
   • No menu pendente Selecionar uma função, clique em BigQuery > BigQuery administrador.

   • Clique em Adicionar.

     

gcloud

Pode usar a CLI Google Cloud para conceder a um utilizador ou a um grupo a função bigquery.admin.

Nota: Ao gerir o acesso para utilizadores em fornecedores de identidade externos, substitua as instâncias de identificadores principais da Conta Google, como user:[e-mail], group:[e-mail] e domain:example.com, por identificadores principais da Workforce Identity Federation adequados.

Para adicionar uma única associação à política de IAM do seu projeto, escreva o seguinte comando. Para adicionar um utilizador, indique a flag --member no formato user:[e-mail]. Para adicionar um grupo, indique a flag --member no formato group:[e-mail].

gcloud projects add-iam-policy-binding project_id \
--member principal:address \
--role roles/bigquery.admin

Onde:

• project_id é o ID do seu projeto.
• principal é group ou user.
• address é o endereço de email do utilizador ou do grupo.

Por exemplo:

gcloud projects add-iam-policy-binding myproject \
--member group:[e-mail] \
--role roles/bigquery.admin

O comando produz a política atualizada:

    bindings:
    - members:
      - group:[e-mail]
        role: roles/bigquery.admin
    

Para mais informações sobre as funções de IAM no BigQuery, consulte o artigo Funções e autorizações predefinidas.

O que se segue?

Depois de ativar o Serviço de transferência de dados do BigQuery, crie uma transferência para a sua origem de dados.

• Amazon S3
• Amazon Redshift
• Armazenamento de blobs do Azure
• Campaign Manager
• Cloud Storage
• Centro para serviço de comparação de preços (SCP) (pré-visualização)
• Display & Video 360
• Anúncios do Facebook (pré-visualização)
• Google Ad Manager
• Google Ads
• Google Analytics 4 (pré-visualização)
• Google Merchant Center (pré-visualização)
• Google Play
• MySQL (pré-visualização)
• Oracle (pré-visualização)
• PostgreSQL (pré-visualização)
• Salesforce (pré-visualização)
• Salesforce Marketing Cloud (Pré-visualização)
• Search Ads 360
• ServiceNow (pré-visualização)
• Teradata
• Canal do YouTube
• Proprietário do conteúdo do YouTube