Limitaciones conocidas

En esta página, se documentan las limitaciones conocidas de Cloud Storage y la transferencia de datos locales.

Limitaciones comunes

Límite de tamaño de los objetos de Cloud Storage de 5 TB

Cloud Storage admite un tamaño máximo de hasta 5 terabytes para un solo objeto. Si tienes objetos de más de 5 TB, su transferencia fallará, ya sea para Cloud Storage o la transferencia de datos locales.

Requisitos para nombrar objetos de Cloud Storage

Cloud Storage impone requisitos para nombrar objetos que se aplican a todas las transferencias del Servicio de transferencia de almacenamiento.

Los objetos modificados no se transfieren

Si los datos de un objeto se actualizan durante una transferencia, lo siguiente describe cómo responde el Servicio de transferencia de almacenamiento:

  • Transferencias desde nubes que no son de Google a Google Cloud: Si los datos de un objeto se actualizan durante una transferencia, el Servicio de transferencia de almacenamiento falla en la transferencia de ese objeto en particular y el objeto no se transfiere.

  • Transferencias de datos locales a Google Cloud: Si los datos de un objeto se actualizan durante una transferencia, el Servicio de transferencia de datos locales vuelve a intentar la carga. Si la carga falla varias veces, este servicio registra un FILE_MODIFIED_FAILURE. Para obtener más información, consulta Solución de problemas del Servicio de transferencia de datos locales.

  • Transferencias de datos locales a Google Cloud: Si los datos de un objeto se actualizan durante una transferencia, el Servicio de transferencia de datos locales vuelve a intentar la descarga. Si la descarga falla varias veces, este servicio registra un PRECONDITION_FAILURE. Para obtener más información, consulta Solución de problemas del Servicio de transferencia de datos locales.

Para solucionar el error, sigue estos pasos:

  1. Reintenta la transferencia.
  2. Si la transferencia del objeto vuelve a fallar, asegúrate de que sus datos no se puedan actualizar durante la transferencia:

  3. Una vez que se completa la transferencia, puedes volver a habilitar las actualizaciones del objeto.

Carpetas en Cloud Storage

Los objetos de Cloud Storage residen en un espacio de nombres fijo dentro de un bucket. Para obtener más información, consulta Consideraciones sobre los nombres de objetos. Debido a esto, el Servicio de transferencia de almacenamiento no crea espacios de nombres jerárquicos dentro de Cloud Storage. Por ejemplo, si transfieres desde Azure Date Lake Storage (ADLS) Gen 2, el Servicio de transferencia de almacenamiento no recrea los espacios de nombres de ADLS Gen 2 en Cloud Storage.

Borra objetos en buckets de Amazon S3 con control de versiones suspendido

Cuando se usan los objetos de eliminación del Servicio de transferencia de almacenamiento de la fuente después de la función de transferencia en un bucket de Amazon S3 con control de versiones suspendido, el Servicio de transferencia de almacenamiento quita el objeto con un ID de versión nulo, no el que tiene la versión actual.

Ubicación de los trabajos del Servicio de transferencia de almacenamiento

El Servicio de transferencia de almacenamiento elige tu ubicación en función de la región del bucket de origen de Cloud Storage. Por el momento, solo creamos trabajos del Servicio de transferencia de almacenamiento en las ubicaciones que se enumeran a continuación. Esta lista puedes cambiar a medida que el Servicio de transferencia de almacenamiento agrega compatibilidad para regiones nuevas.

  • ASIA-EAST1
  • ASIA-EAST2
  • ASIA-SOUTHEAST1
  • EUROPE-WEST1
  • EUROPE-WEST4
  • EUROPE-NORTH1
  • US-CENTRAL1
  • US-CENTRAL2
  • US-EAST1
  • US-EAST4
  • US-WEST1
  • US-WEST2
  • US-WEST3
  • US-WEST4
  • NAM4

Si tu bucket de origen de Cloud Storage no se encuentra en la misma región que los mencionados anteriormente, elegiremos la región predeterminada dentro de su región externa.

Limitaciones conocidas de la transferencia de datos locales

Sin admisión en tiempo real

El servicio de transferencia de datos locales no admite la detección de cambios cada hora. El servicio de transferencia de datos locales es un servicio de movimiento de datos por lotes que puede escanear la fuente con una frecuencia de hasta una vez por hora.

Opciones de configuración del sistema operativo compatibles

Los agentes del servicio de transferencia de datos locales requieren que se instale Docker y se ejecute en servidores Linux o máquinas virtuales (VM). Para copiar datos en un sistema de archivos CIFS o SMB, puedes activar el volumen en un servidor Linux o una VM y, luego, ejecutar el agente desde allí.

Requisitos de la memoria

Los siguientes son requisitos de memoria para los agentes del servicio de transferencia de datos locales:
  • Memoria mínima: 1 GiB
  • Memoria mínima para admitir cargas de alto rendimiento: 6 GiB

Limitaciones de escalamiento

El servicio de transferencia de datos locales admite las siguientes transferencias individuales:

  • Cientos de terabytes de tamaño
  • Hasta mil millones de archivos
  • Varios 10 s de Gbps en velocidad de transferencia

Las transferencias individuales superiores a estos tamaños son confiables, pero no se ha probado su rendimiento.

Si tienes un conjunto de datos que supera estos límites, te recomendamos que dividas los datos en varios trabajos de transferencia.

En la actualidad, admitimos directorios de gran tamaño, siempre que cada agente tenga al menos 1 GB de memoria disponible por cada millón de archivos en el directorio de mayor tamaño, por lo que podemos iterar sobre el contenido del directorio sin exceder la memoria.

Admitimos hasta 100 agentes para un solo proyecto de transferencia. Es poco probable que necesites más agentes para lograr un mejor rendimiento dados los entornos locales típicos.

Directorio único por trabajo

Admitimos transferir solo el contenido completo de un directorio del sistema de archivos (de manera recurrente). Puedes dividir la transferencia mediante la creación de varios trabajos que transfieran diferentes subdirectorios del conjunto de datos, pero, en este momento, no admitimos el globalizado de archivos o la compatibilidad de filtrado en un solo trabajo.

Para obtener más información acerca de la diferenciación entre el servicio de transferencia de datos locales y Cloud Storage, consulta Diferencias entre las opciones de transferencia de Cloud Storage.

Nombres de archivos admitidos

Suponemos que los nombres de los archivos son compatibles con Unicode y que no contienen saltos de líneas. Si el directorio de código fuente contiene nombres de archivo con saltos de líneas, la tarea de enumeración de archivos de ese directorio falla.

Si esto ocurre, reemplaza los saltos de línea en los nombres de archivo y vuelve a ejecutar el trabajo.

Tipos de archivos admitidos

El servicio de transferencia para datos locales admite la transferencia de archivos regulares y archivos ocultos similares a los de Unix. Los archivos ocultos similares a los de Unix son archivos que comienzan con un carácter .. Cuando el servicio de transferencia de datos locales encuentra un archivo irregular, como un dispositivo, una canalización con nombre o un socket, genera un error UNSUPPORTED_FILE_MODE.

Los directorios vacíos no se crean en Cloud Storage, ya que los objetos no residen en subdirectorios dentro de un bucket. Para obtener más información, consulta Consideraciones sobre los nombres de objetos.

Longitud máxima de la ruta

El servicio de transferencia de datos locales cumple con la longitud máxima de ruta de 1024 bytes que establece Cloud Storage. El prefijo del objeto para el objeto de destino se incluye en la limitación de la longitud, ya que se incorpora en el nombre del objeto en Cloud Storage.

Metadatos de archivo admitidos

Consulta Conservación de metadatos para obtener detalles sobre los metadatos que se conservan, ya sea de forma predeterminada o opcional.

Detenciones de trabajos prolongadas

Los trabajos que se detienen durante más de 30 días se consideran inactivos. Cuando un trabajo está inactivo, se cancela y se inhabilita la programación de configuración del trabajo. No volverá a ejecutarse a menos que habilites el trabajo de nuevo de forma explícita.

Seguridad de la fuente