Resumen

En esta página, se describe el Servicio de transferencia de almacenamiento.

Otras opciones de transferencia de Google Cloud incluyen las siguientes:

¿Qué es el Servicio de transferencia de almacenamiento?

El Servicio de transferencia de almacenamiento es un producto que te permite:

  • Trasladar los datos a un depósito de Cloud Storage o realizar una copia de seguridad de estos en un depósito de Cloud Storage, ya sea desde otros proveedores de almacenamiento en la nube o desde tu almacenamiento local.

  • Mover datos de un depósito de Cloud Storage a otro, de modo que estén disponibles para diferentes grupos de usuarios o aplicaciones.

  • Mover los datos periódicamente como parte de una canalización de procesamiento de datos o de un flujo de trabajo analítico.

El Servicio de transferencia de almacenamiento proporciona opciones que facilitan la transferencia y sincronización de datos. Por ejemplo, puedes hacer lo siguiente:

  • Programar operaciones de transferencia únicas o recurrentes

  • Borrar objetos existentes en el depósito de destino si no tienen un objeto correspondiente en la fuente

  • Borrar los objetos de la fuente de datos después de transferirlos.

  • Programar la sincronización periódica desde una fuente de datos a un receptor de datos con filtros avanzados en función de las fechas de creación de archivos, los nombres de archivos y las horas del día en que prefieres importar los datos.

De forma predeterminada, el Servicio de transferencia de almacenamiento realiza lo siguiente:

  • El Servicio de transferencia de almacenamiento copia un archivo de la fuente de datos si el archivo no existe en el receptor de datos o si difiere entre la versión de la fuente y el receptor.

  • Retiene los archivos en la fuente después de la operación de transferencia.

  • Usa el cifrado TLS para las conexiones HTTP. La única excepción es que especifiques una URL HTTP para una transferencia de lista de URL.

Permisos y requisitos de funciones para el Servicio de transferencia de almacenamiento

El Servicio de transferencia de almacenamiento usa la administración de identidades y accesos para controlar y administrar el acceso. Para obtener más información sobre IAM, consulta Descripción general de IAM.

Para usar el Servicio de transferencia de almacenamiento, debes tener al menos una de las funciones de IAM siguientes, según los tipos de tareas que realices:

Tipo de acceso Funciones de IAM
Acceso completo Administrador de transferencia de almacenamiento
Envío de transferencias Usuario de transferencia de almacenamiento
Visualización o enumeración de trabajos y operaciones de transferencia Visualizador de transferencia de almacenamiento

El proyecto que usas para crear un trabajo de transferencia no tiene que estar asociado con los depósitos que actúan como fuente de datos o receptor de datos, pero se requieren permisos adicionales para configurar y usar fuentes de datos y receptores de datos.

Para obtener más información sobre las funciones y los permisos del Servicio de transferencia de almacenamiento, consulta Configuración de acceso a fuentes de datos y receptores.

Interfaces disponibles

Hay varias formas de trabajar con el Servicio de transferencia de almacenamiento:

Integridad de los datos

El Servicio de transferencia de almacenamiento usa metadatos disponibles del sistema de almacenamiento de origen, como sumas de verificación y tamaños de archivos, para garantizar que los datos escritos en Cloud Storage sean los mismos que leen de la fuente.

Cuando los metadatos de la suma de verificación están disponibles

Si los metadatos de la suma de verificación en el sistema de almacenamiento de origen indican que el Servicio de transferencia de almacenamiento de datos que no coincide con los datos de origen, el Servicio de transferencia de almacenamiento registra un error para la operación de transferencia. Algunos ejemplos de sistemas de almacenamiento que incluyen metadatos de suma de verificación incluyen la mayoría de los objetos de Amazon Simple Storage Service (Amazon S3) y Microsoft Azure Blob Storage (con algunas excepciones) y transferencias HTTP (suma de verificación). metadatos proporcionados por el usuario).

Cuando los metadatos de la suma de verificación no están disponibles, pero los agentes pueden ejecutarse cerca de la fuente

Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente, pero los agentes pueden ejecutarse de forma local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento intenta leer los datos de origen y calcular una suma de verificación antes de enviar los datos a Cloud Storage. Esto ocurre con el servicio de transferencia de datos locales cuando se mueven datos de sistemas de archivos a Cloud Storage.

Cuando los metadatos de la suma de verificación no están disponibles, y los agentes no pueden ejecutarse cerca de la fuente.

Si los metadatos de suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente y los agentes no pueden ejecutarse de forma local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento no puede calcular una suma de verificación hasta que los datos lleguen a Cloud Storage. En esta situación, el Servicio de transferencia de almacenamiento copia los datos, pero no puede realizar verificaciones de integridad de datos de extremo a extremo para confirmar que los datos recibidos sean los mismos que los datos de origen. En cambio, el Servicio de transferencia de almacenamiento intenta usar un enfoque de “mejor esfuerzo” mediante el uso de metadatos disponibles, como el tamaño del archivo, para verificar que el archivo copiado en Cloud Storage coincida con el archivo de origen.

Por ejemplo, el Servicio de transferencia de almacenamiento usa tamaños de archivo para validar datos para los siguientes elementos:

Después de las verificaciones de transferencia

Una vez que se complete la transferencia, recomendamos realizar verificaciones adicionales de integridad de datos para validar:

  • Se copia la versión correcta de los archivos para los archivos que cambian en el origen.
  • Se copian el conjunto correcto y la cantidad de archivos, para verificar que hayas configurado correctamente los trabajos de transferencia.
  • Esos archivos se copiaron correctamente mediante la verificación de los metadatos en los archivos, como las sumas de verificación de archivos, el tamaño del archivo, etcétera.

¿Qué deberías usar: gsutil o el servicio de transferencia de almacenamiento?

La herramienta de línea de comandos de gsutil también te permite transferir datos entre Cloud Storage y otras ubicaciones. Si bien puedes usar gsutil para transferir desde otro proveedor de almacenamiento en la nube a Cloud Storage, se recomienda el Servicio de transferencia de almacenamiento para este caso práctico.

Sigue estas reglas generales cuando decidas si usarás gsutil o el Servicio de transferencia de almacenamiento:

Caso de transferencia Recomendación
Cómo transferir desde otro proveedor de almacenamiento en la nube Usar el Servicio de transferencia de almacenamiento
Transferencia de menos de 1 TB desde las instalaciones Usa gsutil
Transferencia de más de 1 TB desde las instalaciones Usa el Servicio de transferencia para datos locales

Usa esta guía como un punto de partida. Los detalles específicos de tu caso de transferencia también te ayudarán a determinar cuál herramienta es la más adecuada.

Acuerdo de Nivel de Servicio

El Servicio de transferencia de almacenamiento actualmente no proporciona un ANS y pueden ocurrir algunas fluctuaciones de rendimiento. Por ejemplo, no proporcionamos ANS para el rendimiento o la latencia de transferencia.