En esta página, se describe el Servicio de transferencia de almacenamiento.
Otras opciones de transferencia de Google Cloud incluyen las siguientes:
Transfer Appliance para mover datos sin conexión, grandes conjuntos de datos o datos de una fuente con ancho de banda limitado
Servicio de transferencia de datos de BigQuery para mover datos de aplicaciones de SaaS a BigQuery
Servicio de transferencia de datos locales para mover datos de tus máquinas locales a Cloud Storage
¿Qué es el Servicio de transferencia de almacenamiento?
El Servicio de transferencia de almacenamiento es un producto que te permite:
Trasladar los datos a un depósito de Cloud Storage o realizar una copia de seguridad de estos en un bucket de Cloud Storage, ya sea desde otros proveedores de almacenamiento en la nube o desde tu almacenamiento local
Mover datos de un bucket de Cloud Storage a otro, de modo que estén disponibles para diferentes grupos de usuarios o aplicaciones.
Mover los datos periódicamente como parte de una canalización de procesamiento de datos o de un flujo de trabajo analítico.
El Servicio de transferencia de almacenamiento proporciona opciones que facilitan la transferencia y sincronización de datos. Por ejemplo, puedes hacer lo siguiente:
Programar operaciones de transferencia únicas o recurrentes
Borrar objetos existentes en el depósito de destino si no tienen un objeto correspondiente en la fuente
Borrar los objetos de la fuente de datos después de transferirlos.
Programar la sincronización periódica desde una fuente de datos a un receptor de datos con filtros avanzados en función de las fechas de creación de archivos, los nombres de archivos y las horas del día en que prefieres importar los datos.
De forma predeterminada, el Servicio de transferencia de almacenamiento realiza lo siguiente:
El Servicio de transferencia de almacenamiento copia un archivo de la fuente de datos si el archivo no existe en el receptor de datos o si difiere entre la versión de la fuente y el receptor.
Retiene los archivos en la fuente después de la operación de transferencia.
Usa el cifrado TLS para las conexiones HTTP. La única excepción es que especifiques una URL HTTP para una transferencia de lista de URL.
Permisos y requisitos de funciones para el Servicio de transferencia de almacenamiento
El Servicio de transferencia de almacenamiento usa administración de identidades y accesos para controlar y administrar el acceso. Para obtener más información sobre IAM, consulta Descripción general de IAM.
Para usar el Servicio de transferencia de almacenamiento, debes tener al menos una de las siguientes funciones de IAM, según los tipos de tareas que realizas:
| Tipo de acceso | Funciones de IAM |
|---|---|
| Acceso completo | Administrador de transferencia de almacenamiento |
| Envío de transferencias | Usuario de transferencia de almacenamiento |
| Visualización o enumeración de trabajos y operaciones de transferencia | Visualizador de transferencia de almacenamiento
|
El proyecto que usas para crear un trabajo de transferencia no tiene que estar asociado con los depósitos que actúan como fuente de datos o receptor de datos, pero se requieren permisos adicionales para configurar y usar fuentes de datos y receptores de datos.
Para obtener más información sobre las funciones y los permisos del Servicio de transferencia de almacenamiento, consulta Configuración de acceso a fuentes de datos y receptores.
Interfaces disponibles
Puedes trabajar con el Servicio de transferencia de almacenamiento de las siguientes maneras:
Usa Google Cloud Console para crear y administrar trabajos de transferencia. Esta suele ser la forma más fácil y rápida de comenzar a usar el Servicio de transferencia de almacenamiento. Para obtener más información, consulta Crea y administra transferencias con Console.
Usa las API de REST para trabajar directamente con la API del Servicio de transferencia de almacenamiento. Consulta Crea un cliente del Servicio de transferencia de almacenamiento para obtener más información sobre cómo habilitar la API y obtener tokens de autenticación para usar tus solicitudes.
Integridad de los datos
El Servicio de transferencia de almacenamiento usa metadatos disponibles del sistema de almacenamiento de origen, como sumas de verificación y tamaños de archivos, para garantizar que los datos escritos en Cloud Storage sean los mismos datos leídos de la fuente.
Cuando los metadatos de la suma de verificación están disponibles
Si los metadatos de la suma de verificación en el sistema de almacenamiento de origen indican que los datos recibidos por el Servicio de transferencia de almacenamiento no coinciden con los datos de origen, el Servicio de transferencia de almacenamiento registra un error para la operación de transferencia. Algunos ejemplos de sistemas de almacenamiento que incluyen metadatos de suma de verificación incluyen la mayoría de los objetos de Amazon Simple Storage Service (Amazon S3) y Microsoft Azure Blob Storage (con algunas excepciones) y transferencias HTTP (los metadatos de suma de verificación los proporciona el usuario).
Cuando los metadatos de la suma de verificación no están disponibles, pero los agentes pueden ejecutarse cerca de la fuente
Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente, pero los agentes pueden ejecutarse de forma local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento intenta leer los datos de origen y calcular una suma de verificación antes de enviar los datos a Cloud Storage. Esto ocurre con el servicio de transferencia de datos locales cuando se mueven datos de sistemas de archivos a Cloud Storage.
Cuando los metadatos de la suma de verificación no están disponibles y los agentes no pueden ejecutarse cerca de la fuente
Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente y los agentes no pueden ejecutarse de manera local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento no puede calcular una suma de verificación hasta que los datos lleguen a Cloud Storage. En esta situación, el Servicio de transferencia de almacenamiento copia los datos, pero no puede realizar verificaciones de integridad de los datos de extremo a extremo para confirmar que los datos recibidos son los mismos que los datos de origen. En cambio, el Servicio de transferencia de almacenamiento intenta usar un enfoque de “mejor esfuerzo” mediante el uso de metadatos disponibles, como el tamaño del archivo, para verificar que el archivo copiado en Cloud Storage coincida con el archivo de origen.
Por ejemplo, el Servicio de transferencia de almacenamiento usa tamaños de archivo para validar los datos de los siguientes elementos:
Después de las verificaciones de transferencias
Una vez que se complete la transferencia, recomendamos realizar verificaciones de integridad de los datos adicionales para validar lo siguiente:
- Que se haya copiado la versión correcta de los archivos, para los archivos que cambian en el origen.
- Que se hayan copiado el conjunto y la cantidad correctos de archivos para verificar que configuraste los trabajos de transferencia de forma correcta.
- Que los archivos se hayan copiado correctamente mediante la verificación de los metadatos en los archivos, como las sumas de verificación de los archivos, el tamaño de los archivos, etcétera.
¿Qué deberías usar: gsutil o el servicio de transferencia de almacenamiento?
La herramienta de línea de comandos de gsutil también te permite transferir datos entre Cloud Storage y otras ubicaciones. Si bien puedes usar gsutil para transferir datos de otro proveedor de almacenamiento en la nube a Cloud Storage, se recomienda el Servicio de transferencia de almacenamiento para este caso de uso. También puedes usar gsutil para transferir entre buckets de Cloud Storage. Esto puede ser útil para mover datos entre ubicaciones de buckets.
Sigue estas reglas generales cuando decidas si usarás gsutil o el Servicio de transferencia de almacenamiento:
| Caso de transferencia | Recomendación |
|---|---|
| Transferencia desde otro proveedor de almacenamiento en la nube | Usar el Servicio de transferencia de almacenamiento y |
| Transferencia de menos de 1 TB desde las instalaciones | Usa gsutil |
| Transferencia de más de 1 TB desde las instalaciones | Usa el Servicio de transferencia para datos locales |
| Transfiere menos de 1 TB desde otra región de Cloud Storage | Usa gsutil |
| Transfiere más de 1 TB desde otra región de Cloud Storage | Usar el Servicio de transferencia de almacenamiento y |
Usa esta guía como un punto de partida. Los detalles específicos de tu caso de transferencia también te ayudarán a determinar cuál herramienta es la más adecuada.
Acuerdo de Nivel de Servicio
El Servicio de transferencia de almacenamiento actualmente no proporciona un ANS y pueden ocurrir algunas fluctuaciones de rendimiento. Por ejemplo, no proporcionamos ANS para el rendimiento o la latencia de transferencia.