Requisitos para transferências do sistema de ficheiros

Antes de criar uma tarefa de transferência do sistema de ficheiros, tem de ativar as APIs necessárias e instalar o Docker.

Se receber erros ao realizar a configuração inicial, confirme que o utilizador com o qual iniciou sessão tem as autorizações necessárias para realizar os passos de configuração. Em muitos casos, estas autorizações não estão disponíveis para todos os utilizadores, e pode ter de contactar um administrador do projeto para receber assistência.

Requisitos de sistema

Para usar o Serviço de transferência de armazenamento para transferências de sistemas de ficheiros, precisa do seguinte:

Seguem-se os requisitos da máquina do agente de transferência:

  • Um servidor ou uma máquina virtual Linux de 64 bits compatível com o Docker que possa aceder aos dados que planeia transferir. O Docker Community Edition suporta os sistemas operativos CentOs, Debian, Fedora e Ubuntu.

    Para usar outros sistemas operativos Linux, consulte o Docker Enterprise.

  • Pelo menos, 8 GB de memória por contentor e, pelo menos, quatro CPUs para ser mais eficaz.

  • Quaisquer restrições ao nível do sistema ou do utilizador no número de IDs de processos permitidos, como os configurados com ulimit -u, têm de ter em conta o número de agentes que planeia executar. Cada processo de agente pode criar até várias centenas de threads. Recomendamos que remova os limites de ID do processo quando executar agentes de transferência.

    Os clientes que usam o Podman para criar contentores de agentes devem especificar um valor --pids-limit suficientemente elevado para acomodar as linhas do agente do serviço de transferência de armazenamento. O valor predefinido de --pids-limit é 2048, o que pode causar problemas quando executa mais do que um agente. Recomendamos que defina --pids-limit=-1 para permitir IDs de processos ilimitados por contentor.

Restrições de escalabilidade em tarefas e agentes

O Serviço de transferência de armazenamento tem as seguintes restrições de escala nas tarefas de transferência e nos agentes:

  • Menos de mil milhões de ficheiros por tarefa
  • O limite de largura de banda tem de ser superior a 1 MBps
  • Até 100 agentes por conjunto de agentes
  • Até 800 conjuntos de agentes por projeto

Ativar APIs

  1. Enable the Google Storage Transfer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

Instale o Docker

Se estiver a usar a CLI Google Cloud ou o Docker para instalar e executar agentes de transferência, instale o Docker Engine numa máquina Linux física ou virtual.

Se estiver a usar o Podman para instalar e executar agentes de transferência, avance diretamente para as instruções de instalação específicas do Podman. 

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker --now

Se encontrar um erro de instalação, consulte a secção Resolução de problemas.

Permita que o Docker se autentique

Para permitir que o contentor Docker se autentique com as suas gcloudcredenciais predefinidas, crie um volume Docker que contenha um ficheiro com as suas credenciais predefinidas da aplicação executando o seguinte comando:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

O que se segue?