Transfiere conjuntos de datos grandes de Cloud Storage a Filestore

Usa el Servicio de transferencia de almacenamiento para mover grandes conjuntos de datos de Cloud Storage a tus archivos compartidos de Filestore.

Servicio de transferencia de almacenamiento te ayuda a transferir con rapidez y seguridad grandes conjuntos de datos entre object y sistemas de almacenamiento de archivos, ya sea datos alojados en Cloud Storage, proveedores de servicios en la nube de terceros o de forma local.

El Servicio de transferencia de almacenamiento admite transferencias aceleradas de conjuntos de datos grandes, que pueden manejar cientos de TB de datos o más. Mueve tus grandes conjuntos de datos a la nube para aprovechar las operaciones de análisis y aprendizaje automático disponibles en las instancias de Compute Engine subyacentes en las que se activan tus instancias de Filestore.

Con el Servicio de transferencia de almacenamiento, puedes crear transferencias administradas por Google o configurar transferencias autoalojadas para tener control total sobre el enrutamiento de red y el uso del ancho de banda.

Nota: Para transferir menos de 1 TB de datos de buckets de Cloud Storage, usa la Google Cloud CLI. Para obtener más información, consulta Cómo copiar datos de un bucket de Cloud Storage a un recurso compartido de Filestore o Cuándo usar el Servicio de transferencia de almacenamiento.

Transfiere datos de un bucket de Cloud Storage a un archivo compartido de Filestore

Transferencia de datos de Cloud Storage a un archivo compartido de Filestore con El Servicio de transferencia de almacenamiento requiere las siguientes tareas:

1. Configurar el entorno
2. Configura Filestore.
3. Configura el Servicio de transferencia de almacenamiento.
4. Crea y, luego, inicia el trabajo de transferencia.

Las siguientes secciones te guiarán a través de cada tarea.

Configure su entorno

1. Selecciona o crea un proyecto.

   A los efectos de esta guía, asegúrate de que tus recursos de origen y destino residen en el mismo proyecto.

   En la página del selector de proyectos de la consola, selecciona o crea un proyecto de Google Cloud.

   Si estás probando Filestore y no planeas conservar los recursos, que crees, te recomendamos que crees un proyecto en lugar de seleccionar de un proyecto existente. Cuando termines de realizar las pruebas, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

2. Habilita la facturación.

   Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud. Descubre cómo confirmar que tienes habilitada la facturación en un proyecto.

3. Habilita las siguientes APIs:

   • API de Filestore

   • API de Resource Manager

   • API de Pub/Sub

   • API de Cloud Storage

   • API de Storage Transfer

   • API de Cloud Logging

   • API de Compute Engine

   • API de Service Usage

   • API de Identity and Access Management

4. Opcional: gcloud, un componente principal del SDK de Google Cloud, se instala en cada VM de Compute Engine. Si realizas alguno de los siguientes pasos desde la línea de comandos local, configura el SDK de Google Cloud.

   Instala y luego inicializa el SDK de Google Cloud.

   Si instalaste el SDK de Google Cloud con anterioridad, ejecuta el siguiente comando para asegurarte de tener la versión más reciente disponible:

   gcloud components update
   

5. Crea una cuenta de servicio. En la sección Otorga a esta cuenta de servicio acceso al proyecto, haz lo siguiente: asigna los siguientes roles:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Copia y guarda el nombre de la cuenta de servicio que creaste para un paso posterior.

   2. Crea una clave de cuenta de servicio para la cuenta que acabas de crear. A los efectos de esta guía, crear solo una clave. Descarga el archivo de claves y guárdalo para un paso posterior.

      Nota: Las claves de cuenta de servicio son un riesgo de seguridad si no se administran de forma adecuada. Debes elegir una alternativa más segura a las claves de la cuenta de servicio siempre que sea posible. Si te debes autenticar con una clave de cuenta de servicio, eres responsable de la seguridad de la clave privada y de otras operaciones que se describen en Prácticas recomendadas para administrar claves de cuenta de servicio. Si no se te permite crear una clave de cuenta de servicio, es posible que la creación de claves de cuentas de servicio esté inhabilitada para tu organización. Para obtener más información, consulta Administra los recursos de la organización con seguridad de forma predeterminada.

6. Asigna roles a una cuenta de usuario. En IAM , encuentra tu cuenta de usuario y asígnale los siguientes roles:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Para obtener más información, consulta Permisos del usuario.

Configura Filestore

1. Crea una instancia de Filestore. Cuando crees la instancia, aplica las siguientes especificaciones:

   1. Asegúrate de que el bucket de Cloud Storage, la VM del cliente y Filestore residen en la misma región.

   2. Selecciona una opción regional enterprise.

   3. Opcional: Para conjuntos de datos más grandes, solicita un aumento de la cuota.

   4. Copia el nombre de la instancia y la dirección IP, y guárdalos para un paso posterior.

2. Activa una instancia de Filestore en una máquina cliente.

   En esta guía, se describe una transferencia que usa cuatro VMs de Compute Engine como Máquinas cliente de NFS. Crearás una sola cuenta de servicio que opere en nombre de las cuatro máquinas cliente. Cada máquina cliente tendrá tres Se instalaron los agentes del Servicio de transferencia de almacenamiento.

   Nota: Para obtener un mejor rendimiento, los usuarios deben emplear, como mínimo, cuatro VMs de Compute Engine para este situación.

   1. Crea una instancia de VM de Compute Engine con acceso a otros servicios de Google Cloud.

      1. Configura una VM con las siguientes especificaciones:

         1. Cuando especifiques una ubicación, asegúrate de que el bucket de Google Cloud, la VM del cliente y la instancia de Filestore residen en la misma región.

         2. Cada agente del Servicio de transferencia de almacenamiento necesita 4 CPU virtuales y 8 GB de RAM Para obtener el mejor rendimiento, ejecuta varios agentes por VM. Para los fines de esta guía, aprovisiona un e2-standard-32. instancia de máquina virtual de Compute Engine.

         3. En la sección Identidad y acceso a la API, especifica lo siguiente:

            1. En el menú desplegable Cuentas de servicio, selecciona la cuenta de servicio cuenta que acabas de crear.

   2. Una vez creada la instancia de VM de Compute Engine, accede al con SSH. En la página Instancia de VM de Compute Engine, busca la instancia que creaste y haz clic en SSH.

   3. Usa un editor de texto, como Vim, para crear una copia de la clave de la cuenta de servicio. y guardarlos temporalmente en la VM de forma local. Por ejemplo, service-account-key.json.

   4. Instala Docker en la VM.

   5. gcloud ya es instalada en la instancia de VM de Compute Engine. Desde el comando de SSH ingresa el siguiente comando para autorizar que la cuenta de servicio use gcloud:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      Donde:

      • ACCOUNT es la dirección de correo electrónico de la cuenta de servicio que creaste. Por ejemplo, [e-mail]

      • KEY_FILE es la ruta de acceso local relativa al archivo de claves que copiaste antes. Por ejemplo, sa-key.json

   6. Desde la línea de comandos de SSH, instala NFS:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Crea un directorio local para asignar al archivo compartido de Filestore. Cuando repitas estos pasos para la VM de Compute Engine posterior instancias, usan el mismo nombre y ruta de acceso:

      sudo mkdir -p MY_DIRECTORY
      

      Donde:

      • MY_DIRECTORY es el nombre del directorio POSIX local del Instancia de VM de Compute Engine. Por ejemplo, /usr/local/my_dir

   8. Ejecuta el comando mount para activar el archivo compartido asociado con la instancia de Filestore. Puedes usar cualquiera de las opciones de activación de NFS. Para obtener el mejor rendimiento, consulta las recomendaciones de activación de NFS en Cómo activar un archivo compartido en una instancia de VM de Compute Engine:

      sudo mount -o rw IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      Donde:

      • IP_ADDRESS es la dirección IP para la instancia de Filestore. Puedes encontrar esta información en la página Instancias de Filestore.

      • FILE_SHARE es el nombre del archivo compartido de la instancia. Por ejemplo, my_fs_instance

      • MY_DIRECTORY es el nombre del directorio que asignaste. en el paso anterior. Es un directorio en la instancia de VM de Compute Engine en el que deseas activar la instancia de Filestore.

   9. Confirma el punto de activación:

      mount -l | grep nfs
      

      Esto muestra lo siguiente o uno similar:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Como alternativa, también puedes usar el siguiente comando:

      df -h --type=nfs
      

      Esto muestra lo siguiente o algo similar:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Toma nota de la ruta de acceso del directorio POSIX local y guárdala para un paso posterior.

   11. Repite los pasos anteriores para crear tres VM de Compute Engine más y activar la misma instancia de Filestore en cada una. Usa la misma cuenta de servicio para administrar las cuatro VMs de Compute Engine. Guarda temporalmente una copia local de la clave de la cuenta de servicio en cada VM.

Configura el Servicio de transferencia de almacenamiento

1. Crea un grupo de agentes.

2. Autorizar al agente de servicio para todo el Servicio de transferencia de almacenamiento de atributos.

   1. Ingresa el siguiente comando:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      Donde:

      • KEY_FILE es la ruta de acceso local relativa al archivo de claves que copiaste antes. Por ejemplo, sa-key.json

      Toma nota de la notificación mostrada en relación con el agente de servicio y guarda la dirección de correo electrónico asociada para el paso siguiente.

   2. Después de unos minutos, deberías ver el agente de servicio en la página IAM. Una vez propagado, verifica el se asignan los siguientes roles:

      • Pub/Sub Editor

      • Storage Admin

      Nota: Los permisos suelen tardar segundos en propagarse, pero, en algunos casos, puede tardar hasta siete minutos.

3. Instala agentes de transferencia.

   Cada agente del Servicio de transferencia de almacenamiento requiere 4 CPU virtuales y 8 GB de RAM.

   Nota: El Servicio de transferencia de almacenamiento conserva los atributos y los symlinks POSIX durante la transferencia. Para obtener más información, consulta conservación de metadatos.

   1. Recomendamos instalar varios agentes para maximizar la tolerancia a errores aprovechar el escalamiento dinámico del Servicio de transferencia de almacenamiento. En el siguiente ejemplo, se muestra cómo instalar tres agentes en una máquina cliente. En la línea de comandos de SSH, ejecuta el siguiente comando:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      Donde:

      • MY_AGENT_POOL es el nombre del grupo de agentes que crear. Por ejemplo, my-agent-pool

      • MY_SERVICE_ACCOUNT_KEY_FILE es la ruta de acceso relativa al clave de cuenta de servicio. Por ejemplo, /relative/path/to/service-account-key.json

   2. Repite estos pasos para cada máquina cliente.

Crea y, luego, inicia el trabajo de transferencia

1. Crea un trabajo de transferencia para mover datos de tu bucket de Cloud Storage a tu instancia de Filestore. Consulta el directorio POSIX local que guardaste antes para especificar el la ruta de acceso de destino. Por ejemplo, /home/usr/my_dir.

Supervisa el estado de la transferencia

Console

Supervisa el estado de la transferencia en la página Trabajos de transferencia de la consola de Google Cloud.

Línea de comandos

Puedes supervisar el estado con la línea de comandos:

gcloud transfer jobs monitor JOB_NAME

Donde:

• JOB_NAME es el nombre de tu trabajo de transferencia. Por ejemplo, transferJobs/OPI6300379522015192941

La respuesta muestra lo siguiente o algo similar:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Para obtener más información, consulta Supervisa la actividad del agente o Detalles de la transferencia del sistema de archivos.

¿Qué sigue?

• Mejora el rendimiento en los recursos de Google Cloud.
• Crea una instancia de VM de Compute Engine con acceso a otros servicios de Google Cloud.