En esta página, se documentan las limitaciones conocidas de Cloud Storage y el Servicio de transferencia de almacenamiento.
Limitaciones comunes
Límite de tamaño de los objetos de 5 TiB de Cloud Storage
Cloud Storage admite un tamaño máximo de un solo objeto 5 tebibytes. Si tienes objetos de más de 5 TiB, su transferencia fallará ya sea para Cloud Storage o el Servicio de transferencia de almacenamiento.
Requisitos para nombrar objetos de Cloud Storage
Cloud Storage impone requisitos para nombrar objetos que se aplican a todas las transferencias del Servicio de transferencia de almacenamiento.
Los objetos modificados no se transfieren
El Servicio de transferencia de almacenamiento no bloquea los archivos de origen durante una transferencia.
Si los datos de un objeto se actualizan durante una transferencia, lo siguiente describe cómo responde el Servicio de transferencia de almacenamiento:
Transferencias desde nubes que no son de Google a Google Cloud: Si los datos de un objeto se actualizan durante una transferencia, el Servicio de transferencia de almacenamiento falla en la transferencia de ese objeto en particular y el objeto no se transfiere.
Transferencias de sistemas de archivos a Google Cloud: Si los datos de un objeto se actualizan durante una transferencia, el Servicio de transferencia de almacenamiento intenta realizar la carga de nuevo. Si el botón la carga falla varias veces, el Servicio de transferencia de almacenamiento registra
FILE_MODIFIED_FAILURESi deseas obtener más información, consulta Solución de problemas.Transferencias de Google Cloud a un sistema de archivos: Si los datos de un objeto se actualizan durante una transferencia, el Servicio de transferencia de almacenamiento intenta realizar la descarga de nuevo. Si la descarga falla varias veces, el Servicio de transferencia de almacenamiento registra un
PRECONDITION_FAILURE. Si deseas obtener más información, consulta Solución de problemas.
Para solucionar el error, sigue estos pasos:
- Reintenta la transferencia.
Si la transferencia del objeto vuelve a fallar, asegúrate de que sus datos no se puedan actualizar durante la transferencia:
- Fuente de Cloud Storage: Coloca una retención de objetos
- Fuente de Amazon S3: Establece un bloqueo de objetos de S3
- Fuente de Microsoft Azure Storage: Establece una política de inmutabilidad para el almacenamiento de BLOB
- Fuente del sistema de archivos: Configura los archivos en modo de solo lectura o limita las operaciones de escritura a los archivos que se transfieren.
Una vez que se completa la transferencia, puedes volver a habilitar las actualizaciones del objeto.
Carpetas en Cloud Storage
Los objetos de Cloud Storage residen en un espacio de nombres fijo dentro de un bucket. Para Para obtener más información, consulta Espacio de nombres del objeto. Debido a esto, el Servicio de transferencia de almacenamiento no crea espacios de nombres jerárquicos dentro de Cloud Storage. Por ejemplo, si transfieres desde Azure Date Lake Storage (ADLS) Gen 2, el Servicio de transferencia de almacenamiento no recrea los espacios de nombres de ADLS Gen 2 en Cloud Storage.
Borra objetos en buckets de Amazon S3 con control de versiones suspendido
Cuando se usan los objetos de eliminación del Servicio de transferencia de almacenamiento de la fuente después de la función de transferencia en un bucket de Amazon S3 con control de versiones suspendido, el Servicio de transferencia de almacenamiento quita el objeto con un ID de versión nulo, no el que tiene la versión actual.
Ubicación de los trabajos del Servicio de transferencia de almacenamiento
El Servicio de transferencia de almacenamiento elige tu ubicación en función de la región del bucket de origen de Cloud Storage. Por el momento, creamos trabajos del Servicio de transferencia de almacenamiento en las siguientes ubicaciones. Esta lista puede cambiar a medida que el Servicio de transferencia de almacenamiento agrega compatibilidad para regiones nuevas.
Si tu bucket de origen de Cloud Storage se encuentra en una región que no aparece en la lista, elegiremos la región predeterminada dentro de la región externa de la fuente.
- ASIA-EAST1
- ASIA-EAST2
- ASIA-NORTHEAST1
- ASIA-NORESTE2
- ASIA-NORTHEAST3
- ASIA-SOUTH1
- ASIA-SOUTH2
- ASIA-SOUTHEAST1
- ASIA-SOUTHEAST2
- AUSTRALIA-SOUTHEAST1
- AUSTRALIA-SOUTHEAST2
- EUROPE-WEST1
- EUROPE-WEST2
- EUROPA-OESTE3
- EUROPE-WEST4
- EUROPA-OESTE9
- EUROPE-NORTH1
- EUROPA - SOUTHWEST1
- NORTHAMERICA-NORTHEAST1
- NORTHAMERICA-NORTHEAST2
- US-CENTRAL1
- US-CENTRAL2
- US-EAST1
- US-EAST4
- US-WEST1
- US-WEST2
- US-WEST3
- US-WEST4
- NAM4
Limitaciones conocidas de las transferencias del sistema de archivos
Sin admisión en tiempo real
El Servicio de transferencia de almacenamiento no admite la detección de cambios cada hora. El Servicio de transferencia de almacenamiento es un servicio de movimiento de datos por lotes que puede escanear la fuente con una frecuencia de hasta una vez por hora.
Opciones de configuración del sistema operativo compatibles
Los agentes de transferencia requieren que se instale Docker y se ejecute en servidores Linux o máquinas virtuales (VM). Para copiar datos en un sistema de archivos CIFS o SMB, puedes activar el volumen en un servidor Linux o una VM y, luego, ejecutar el agente desde allí.
Requisitos de la memoria
Los siguientes son requisitos de memoria para los agentes del servicio de transferencia de datos locales:- Memoria mínima: 1 GiB
- Memoria mínima para admitir cargas de alto rendimiento: 6 GiB
Limitaciones de escalamiento
El Servicio de transferencia de almacenamiento admite transferencias individuales que son:
- Cientos de terabytes de tamaño
- Hasta mil millones de archivos
- Varios 10 s de Gbps en velocidad de transferencia
Las transferencias individuales superiores a estos tamaños son confiables, pero no se ha probado su rendimiento.
Si tienes un conjunto de datos que supera estos límites, te recomendamos que dividas los datos en varios trabajos de transferencia.
En la actualidad, admitimos directorios de gran tamaño, siempre que cada agente tenga al menos 1 GB de memoria disponible por cada millón de archivos en el directorio de mayor tamaño, por lo que podemos iterar sobre el contenido del directorio sin exceder la memoria.
Limitaciones de los agentes y los grupos de agentes
Admitimos hasta 100 agentes para un solo grupo de agentes. Es poco probable que necesites más agentes para lograr un mejor rendimiento dados los entornos típicos.
Se admiten hasta 800 grupos de agentes por proyecto.
Directorio único por trabajo
Admitimos transferir solo el contenido completo de un directorio del sistema de archivos (de manera recurrente). Puedes dividir la transferencia mediante la creación de varios trabajos que transfieran diferentes subdirectorios del conjunto de datos, pero, en este momento, no admitimos el globalizado de archivos o la compatibilidad de filtrado en un solo trabajo.
Nombres de archivos admitidos
Las siguientes reglas se aplican a todos los nombres de archivos que forman parte de una transferencia:
- Los nombres de los archivos deben usar la codificación UTF8.
- Los nombres de archivo deben ser compatibles con Unicode.
- No deben contener saltos de línea (
\n) ni retornos de carro (\r).
Si el directorio de origen contiene nombres de archivo no compatibles, la tarea de enumeración de archivos de ese directorio falla.
Si esto ocurre, actualiza los nombres de archivo no admitidos y vuelve a ejecutar el trabajo.
Tipos de archivos admitidos
El Servicio de transferencia de almacenamiento permite transferir archivos normales y archivos ocultos similares a los de Unix.
Los archivos ocultos similares a los de Unix son archivos que comienzan con un carácter .. Cuando el Servicio de transferencia de almacenamiento encuentra un archivo irregular, como un dispositivo, una canalización con nombre o un socket, genera un error UNSUPPORTED_FILE_MODE.
Los directorios vacíos no se crean en Cloud Storage, ya que los objetos no residen en subdirectorios dentro de un bucket. Para obtener más información, consulta Espacio de nombres del objeto.
Longitud máxima de la ruta
El servicio de transferencia de almacenamiento cumple con la longitud máxima de ruta de 1024 bytes que establece Cloud Storage. El prefijo del objeto para el objeto de destino se incluye en la limitación de la longitud, ya que se incorpora en el nombre del objeto en Cloud Storage.
Metadatos de archivo admitidos
Consulta Conservación de metadatos para obtener detalles sobre los metadatos que se conservan, ya sea de forma predeterminada o opcional.
Detenciones de trabajos prolongadas
Los trabajos que se detienen durante más de 30 días se consideran inactivos. Cuando un trabajo está inactivo, se cancela y se inhabilita la programación de configuración del trabajo. No volverá a ejecutarse a menos que habilites el trabajo de nuevo de forma explícita.
Seguridad de la fuente del sistema de archivos
Acceso del agente
Los usuarios que pueden crear trabajos de transferencia pueden recuperar datos y descargarlos Es cualquier directorio del sistema de archivos al que pueda acceder el agente. Si los agentes se ejecutan como usuario raíz y se les otorga acceso a todo el sistema de archivos, es posible que un agente malicioso pueda apropiarse del host. Te recomendamos que lo hagas restringir el acceso de agentes solo en los directorios necesarios.