Requisitos para transferências de sistema de arquivos

Antes de criar um job de transferência do sistema de arquivos, é necessário ativar as APIs necessárias e instalar o Docker.

Se você receber erros ao realizar a configuração inicial, confirme se o usuário que fez login tem permissão para executar as etapas de configuração. Em muitos casos, essas permissões não estão disponíveis para todos os usuários, e talvez seja necessário entrar em contato com um administrador do projeto para receber ajuda.

Requisitos do sistema

Para usar o Serviço de transferência do Cloud Storage em transferências do sistema de arquivos, você precisa do seguinte:

Uma origem e/ou destino compatível com POSIX.
Um bucket do Cloud Storage sem uma política de retenção. Para fazer a transferência para um bucket com uma política de retenção, consulte Transferir para um bucket com uma política de retenção.
As portas TCP 80 (HTTP) e 443 (HTTPS) estão abertas para conexões de saída.

Os requisitos de máquina do agente de transferência estão listados abaixo:

Um servidor Linux ou máquina virtual de 64 bits compatível com o Docker (em inglês) capaz de acessar os dados que você quer transferir. O Docker Community Edition é compatível com sistemas operacionais CentOs, Debian, Fedora e Ubuntu.

Para usar outros sistemas operacionais Linux, consulte Docker Enterprise (links em inglês).
Pelo menos 8 GB de memória por contêiner e pelo menos quatro CPUs para ser mais eficaz.
Qualquer restrição no nível do sistema ou do usuário no número de IDs de processos permitidos, como configurado com ulimit -u, precisa considerar o número de agentes que você planeja executar. Cada processo de agente pode criar até centenas de linhas de execução. Recomendamos remover os limites de ID do processo ao executar agentes de transferência.

Os clientes que usam o Podman para criar contêineres de agente precisam especificar um valor --pids-limit alto o suficiente para acomodar as linhas de execução do agente do Serviço de transferência do Cloud Storage. O valor padrão de --pids-limit é 2.048, o que pode causar problemas ao executar mais de um agente. Recomendamos definir --pids-limit=-1 para permitir IDs de processo ilimitados por contêiner.

Restrições de escalonamento em jobs e agentes

O Serviço de transferência do Cloud Storage tem as restrições de escala a seguir para jobs e agentes de transferência:

Menos de um bilhão de arquivos por job
O limite de largura de banda precisa ser maior que 1 MBps
Até 100 agentes por pool de agentes
Até 800 pools de agentes por projeto

Ativar APIs

Ative a Google Storage Transfer API.
Ative a API

Instalar o Docker

Instale o Docker Community Edition em uma máquina Linux física ou virtual:

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker

Se você encontrar um erro de instalação, consulte Solução de problemas.

Permitir a autenticação do Docker

Para permitir que o contêiner do Docker autentique com suas credenciais padrão do gcloud, execute o comando a seguir para criar um volume do Docker contendo um arquivo com suas credenciais padrão do aplicativo.

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login