Como configurar a transferência de dados locais

Na primeira vez que você criar um job do Serviço de transferência de dados locais, será preciso ativar as APIs necessárias e garantir as permissões corretas.

Se você receber erros ao realizar a configuração inicial, confirme se o usuário que fez login tem permissão para executar as etapas de configuração. Em muitos casos, essas permissões não estão disponíveis para todos os usuários, e talvez seja necessário entrar em contato com um administrador do projeto para receber ajuda.

Para fazer a configuração inicial:

  1. Ative a API Pub/Sub

    1. Acesse a página Biblioteca de APIs no Console do Google Cloud.

    Acesse a página "Biblioteca de APIs"

    1. Na caixa de pesquisa, digite Pub/Sub API.

    2. Selecione API Pub/Sub

      A página da API Pub/Sub é exibida.

    3. Clique em Ativar.

      A visão geral da API Pub/Sub é exibida.

  2. Use o administrador de projetos do Google Cloud, um usuário com privilégios resourcemanager.projects.setIamPolicy, para conceder permissões ou papéis do gerenciamento de identidade e acesso a:
    • contas de administrador (admin) de transferência local: contas de superusuário compatíveis com colegas que realizam transferências. Os administradores gerenciam agentes de transferência local e definem limites de uso da largura de banda.
    • contas de usuário de transferência local: contas usadas para criar e executar transferências. Essas contas normalmente não têm acesso para excluir jobs de transferência.
    • conta de serviço de transferência local: a conta de serviço usada para realizar transferências locais.
    • identidade do agente de transferência local: a identidade usada para executar a transferência do agente local. Pode ser uma conta de serviço ou uma conta de usuário que configura os agentes locais.

    A conta de administrador do projeto do Google Cloud serve apenas para configurar usuários de transferência e conceder as permissões necessárias para a conta de serviço de transferência local. Não é necessário iniciar jobs de transferência.

    Para mais informações sobre como conceder permissões de gerenciamento de identidade e acesso, consulte Como conceder, alterar e revogar acesso a recursos.

    1. Para configurar uma conta de administrador de transferência local, atribua as seguintes permissões e papéis do IAM à conta:
      Papel / permissão Efeitos Observações
      resourcemanager.projects.getIamPolicy Usada para confirmar que a conta de serviço de transferência local tem as permissões necessárias para realizar uma transferência.
      roles/storagetransfer.admin Permite ações administrativas no projeto de transferência, como configuração do projeto e monitoramento do agente. Para ver uma lista detalhada das permissões concedidas, consulte Papéis predefinidos.
    2. Para configurar uma conta de usuário de transferência local, atribua as seguintes permissões e papéis à conta:
      Papel / permissão Efeitos Observações
      resourcemanager.projects.getIamPolicy Usada para confirmar que a conta de serviço de transferência local tem as permissões necessárias do Pub/Sub para realizar uma transferência.
      roles/storagetransfer.user Permite que o usuário crie, receba, atualize e liste transferências. Para ver uma lista detalhada das permissões concedidas, consulte Papéis predefinidos.
      roles/storage.objectAdmin Permite que o usuário crie, atualize e exclua objetos do Cloud Storage como parte de uma transferência. É preciso conceder todos os buckets do Cloud Storage que essa conta usará nas transferências.

      Para ver uma lista detalhada das permissões concedidas, consulte Papéis predefinidos.
    3. Para permitir que a conta de serviço de transferência local acesse os recursos necessários para concluir transferências, atribua os seguintes papéis ou permissões equivalentes a essa conta de serviço cloud-ingest-dcp@cloud-ingest-prod.iam.gserviceaccount.com:
      Papel / permissão Efeitos Observações
      roles/storage.objectCreator Permite que a transferência local crie registros de transferência no bucket do Cloud Storage de destino. Conceda a todos os buckets do Cloud Storage usados em uma transferência. Se for indicado para seu caso, é possível conceder esse papel (no nível do projeto) ao projeto de onde a transferência local é executada.

      Para uma lista detalhada das permissões que esses papéis concedem, consulte Papéis predefinidos.
      roles/storage.objectViewer Permite que a transferência local determine se um arquivo já foi enviado para o Cloud Storage.
      roles/pubsub.editor Permite que a transferência local crie e modifique tópicos do Pub/Sub automaticamente para a comunicação entre o Google Cloud e os agentes locais de transferência. Aplique o papel no nível do projeto em que a transferência local está sendo executada.

      Para ver uma lista detalhada das permissões concedidas por esse papel, consulte Papéis.
      storage.buckets.get Essa permissão permite a leitura dos metadados do bucket do Cloud Storage.
    4. Para configurar uma conta de usuário ou de serviço de agente de transferência local que execute os agentes de transferência local, atribua as seguintes permissões e papéis:
      Papel / permissão Efeitos Observações
      roles/storage.objectAdmin Permite que agentes de transferência local criem, atualizem e excluam objetos do Cloud Storage como parte de uma transferência. Conceda a todos os buckets do Cloud Storage usados em uma transferência. Se for indicado para seu caso, é possível conceder esse papel (no nível do projeto) ao projeto de onde a transferência local é executada.

      Para ver uma lista detalhada de permissões que esse papel concede, consulte Papéis.
      roles/pubsub.publisher Permite que agentes de transferência local compartilhem informações com o Google Cloud usando tópicos do Pub/Sub. Para uma lista detalhada das permissões que este papel concede, consulte Papéis.
      roles/pubsub.subscriber Permite que o Google Cloud compartilhe informações com agentes de transferência local usando tópicos do Pub/Sub. Para uma lista detalhada das permissões que este papel concede, consulte Papéis.
      pubsub.subscriptions.create Essa permissão possibilita que os agentes de transferência local criem assinaturas do Pub/Sub para o tópico do Pub/Sub usado na comunicação entre o Google Cloud e os agentes de transferência local.
      pubsub.subscriptions.delete Essa permissão ativa os agentes de transferência local que normalmente limpam todas as assinaturas do Pub/Sub que eles criam.
  3. Instale e execute agentes locais em cada uma das suas máquinas.

A seguir

Como criar um job de transferência.