Requisitos para las transferencias del sistema de archivos

Antes de crear un trabajo de transferencia del sistema de archivos, deberás habilitar las API necesarias y, luego, instalar Docker.

Si recibes errores durante la primera configuración, confirma que el usuario con el que accediste tenga los permisos necesarios para realizar los pasos de configuración. En muchos casos, estos permisos no están disponibles para todos los usuarios, por lo que es posible que debas comunicarte con un administrador del proyecto a fin de obtener asistencia.

Requisitos del sistema

Si quieres usar el Servicio de transferencia de almacenamiento para las transferencias del sistema de archivos, necesitas lo siguiente:

A continuación, se enumeran los requisitos de la máquina del agente de transferencia:

  • Un servidor Linux de 64 bits compatible con Docker o una máquina virtual que pueda acceder a los datos que planeas transferir Docker Community Edition es compatible con los sistemas operativos CentOs, Debian, Fedora y Ubuntu.

    Para usar otros sistemas operativos de Linux, consulta Docker Enterprise.

  • Al menos 8 GB de memoria por contenedor y al menos 4 CPU para que sean más eficaces.

  • Cualquier restricción a nivel del sistema o del usuario relacionada con la cantidad de IDs de procesos permitidos, como la configurada con ulimit -u, debe tener en cuenta la cantidad de agentes que planeas ejecutar. Cada proceso del agente puede crear hasta cientos de subprocesos. Recomendamos que quites los límites de ID de proceso cuando ejecutes agentes de transferencia.

    Los clientes que usan Podman para crear contenedores de agentes deben especificar un valor de --pids-limit lo suficientemente alto como para admitir subprocesos del agente del Servicio de transferencia de almacenamiento. El valor predeterminado --pids-limit es 2048, lo que puede causar problemas cuando se ejecuta más de un agente. Recomendamos configurar --pids-limit=-1 para permitir una cantidad ilimitada de ID de proceso por contenedor.

Restricciones de escalamiento en trabajos y agentes

El Servicio de transferencia de almacenamiento tiene las siguientes restricciones de escalamiento para trabajos y agentes de transferencia:

  • Menos de mil millones de archivos por trabajo
  • Hasta 100 agentes por grupo de agentes
  • El límite de ancho de banda debe ser superior a 1 MBps

Además, la cantidad de agentes y grupos de agentes por proyecto está limitada por la cantidad de suscripciones a Pub/Sub que consumen:

  • Cada proyecto admite hasta 10,000 suscripciones.
  • Un grupo de agentes requiere 20 suscripciones.
  • Cada agente requiere 1 suscripción.

Por ejemplo, un grupo de agentes que contiene 100 agentes requiere 120 suscripciones. Por lo tanto, un proyecto puede admitir 83 grupos de agentes de 100 agentes (10,000 / 120 = 83.3).

Habilite las API

  1. Habilita Google Storage Transfer API.

    Habilita la API

  2. Habilita Pub/Sub API.

    Habilita la API

Instala Docker

Instala Docker Community Edition en una máquina Linux virtual o física:

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker

Si se produce un error de instalación, consulta Solución de problemas.

Permitir que Docker se autentique

Para permitir que el contenedor de Docker se autentique con tus credenciales predeterminadas de gcloud, crea un volumen de Docker que contenga un archivo con las credenciales predeterminadas de tu aplicación. Para ello, ejecuta el siguiente comando:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Próximos pasos