Limitaciones conocidas

En esta página, se documentan las limitaciones conocidas de Cloud Storage y la transferencia de datos locales.

Limitaciones comunes

Límite de tamaño de los objetos de Cloud Storage de 5 TB

Cloud Storage admite un tamaño máximo de hasta 5 terabytes para un solo objeto. Si tienes objetos de más de 5 TB, su transferencia fallará ya sea para Cloud Storage o la transferencia de datos locales.

Requisitos para nombrar objetos de Cloud Storage

Cloud Storage impone requisitos para nombrar objetos que se aplican a todas las transferencias del Servicio de transferencia de almacenamiento.

Los objetos modificados no se transfieren

Si los datos de un objeto se actualizan durante una transferencia, falla la transferencia del Servicio de transferencia de almacenamiento de ese objeto en particular y no se transfiere.

Para solucionar el error, sigue estos pasos:

  1. Reintenta la transferencia.
  2. Si la transferencia del objeto vuelve a fallar, asegúrate de que sus datos no se puedan actualizar durante la transferencia:

  3. Una vez que se completa la transferencia, puedes volver a habilitar las actualizaciones del objeto.

Limitaciones conocidas de la transferencia de datos locales

Sin API

Solo se puede acceder al servicio de transferencia de datos locales a través de Google Cloud Console. En este momento, no ofrecemos una interfaz de API para el servicio de transferencia de trabajos de datos locales.

Sin admisión en tiempo real

El servicio de transferencia de datos locales no admite la detección de cambios cada hora. El servicio de transferencia de datos locales es un servicio de movimiento de datos por lotes que puede escanear la fuente con una frecuencia de hasta una vez por hora.

Opciones de configuración del sistema operativo compatibles

Los agentes del servicio de transferencia de datos locales requieren que se instale Docker y se ejecute en servidores Linux o máquinas virtuales (VM). Para copiar datos en un sistema de archivos CIFS o SMB, puedes activar el volumen en un servidor Linux o una VM y, luego, ejecutar el agente desde allí.

Requisitos de la memoria

Los siguientes son requisitos de memoria para los agentes del servicio de transferencia de datos locales:
  • Memoria mínima: 1 GiB
  • Memoria mínima para admitir cargas de alto rendimiento: 6 GiB

Limitaciones de escalamiento

El servicio de transferencia de datos locales admite las siguientes transferencias individuales:

  • Cientos de terabytes de tamaño
  • Hasta mil millones de archivos
  • Varios 10 s de Gbps en velocidad de transferencia

Las transferencias individuales superiores a estos tamaños serán confiables, pero no se probó su rendimiento.

Si tienes un conjunto de datos que supera estos límites, te recomendamos que dividas los datos en varios trabajos de transferencia.

En la actualidad, admitimos directorios de gran tamaño, siempre que cada agente tenga al menos 1 GB de memoria disponible por cada millón de archivos en el directorio de mayor tamaño, por lo que podemos iterar sobre el contenido del directorio sin exceder la memoria.

Admitimos hasta 100 agentes para un solo proyecto de transferencia. Es poco probable que necesites más agentes para lograr un mejor rendimiento dados los entornos locales típicos.

Directorio único por trabajo

Admitimos transferir solo el contenido completo de un directorio del sistema de archivos (de manera recurrente). Puedes dividir la transferencia mediante la creación de varios trabajos que transfieran diferentes subdirectorios del conjunto de datos, pero, en este momento, no admitimos el globalizado de archivos o la compatibilidad de filtrado en un solo trabajo.

Para obtener más información acerca de la diferenciación entre el servicio de transferencia de datos locales y Cloud Storage, consulta Diferencias entre las opciones de transferencia de Cloud Storage.

Acceso uniforme al sistema de archivos para agentes

El servicio de transferencia de datos locales supone que todos los agentes en ejecución tienen los mismos permisos para leer datos del sistema de archivos de origen y que el acceso a este es el mismo para todos los trabajos dentro de un proyecto de Google Cloud.

Si necesitas ejecutar agentes en varios centros de datos que tienen diferentes permisos establecidos en los directorios de origen, debes segregar los trabajos y los agentes a diferentes proyectos de Google Cloud. A su vez, cada trabajo tendrá una suscripción y un tema de Pub/Sub diferentes para comunicarse con el conjunto de agentes de ese trabajo.

Nombres de archivos admitidos

Suponemos que los nombres de los archivos son compatibles con Unicode y que no contienen saltos de líneas. Si el directorio de origen contiene nombres de archivo con saltos de líneas, la tarea de enumeración de archivos de ese directorio fallará.

Si esto ocurre, reemplaza los saltos de línea en los nombres de archivo y vuelve a ejecutar el trabajo.

Tipos de archivos admitidos

El servicio de transferencia de datos locales admite la transferencia de archivos regulares. Cuando el servicio de transferencia de datos locales encuentra un archivo irregular, como un dispositivo, una canalización con nombre o un socket, genera un error UNSUPPORTED_FILE_MODE.

Los directorios vacíos no se crean en Cloud Storage, ya que los objetos no residen en subdirectorios dentro de un depósito. Para obtener más información, consulta Consideraciones sobre los nombres de objetos.

Longitud máxima de la ruta

El servicio de transferencia de datos locales cumple con la longitud máxima de ruta de 1024 bytes que establece Cloud Storage. El prefijo del objeto para el objeto de destino se incluye en la limitación de la longitud, ya que se incorpora en el nombre del objeto en Cloud Storage.

Metadatos de archivo admitidos

El servicio de transferencia de datos locales extrae la hora de la última modificación (mtime) del archivo de origen para copiarlo en el objeto de destino de Cloud Storage correspondiente. No se conservan otros metadatos de archivo en la transferencia.

Detenciones de trabajos prolongadas

Los trabajos que se detienen durante más de 30 días se consideran inactivos. Cuando un trabajo está inactivo, se cancela y se inhabilita la programación de configuración del trabajo. No volverá a ejecutarse a menos que habilites el trabajo de nuevo de forma explícita.

Seguridad de la fuente