Limitations connues

Cette page décrit les limitations connues de Cloud Storage et du service de transfert de stockage.

Limitations courantes

Taille de l'objet Cloud Storage limitée à 5 To

Cloud Storage accepte une taille d'objet unique maximale de 5 téraoctets. Si vos objets dépassent 5 To, leur transfert échoue pour Cloud Storage ou le service de transfert de stockage.

Exigences de dénomination des objets Cloud Storage

Cloud Storage impose des exigences de nom d'objet qui s'appliquent à tous les transferts du service de transfert de stockage.

Les objets modifiés ne sont pas transférés

Le service de transfert de stockage ne verrouille pas les fichiers sources lors d'un transfert.

Si les données d'un objet sont mises à jour pendant un transfert, la section suivante décrit comment le service de transfert de stockage répond :

• Transferts depuis des clouds autres que Google vers Google Cloud : si les données d'un objet sont mises à jour lors d'un transfert, le service de transfert de stockage fait échouer le transfert de cet objet et celui-ci n'est pas transféré.

• Transferts depuis des systèmes de fichiers vers Google Cloud : si les données d'un objet sont mises à jour pendant un transfert, le service de transfert de stockage tente à nouveau d'importer les données. Si l'importation échoue plusieurs fois, le service de transfert de stockage enregistre un FILE_MODIFIED_FAILURE. Pour en savoir plus, consultez la section Dépannage.

• Transferts depuis Google Cloud vers un système de fichiers : si les données d'un objet sont mises à jour pendant un transfert, le service de transfert de stockage tente à nouveau de procéder au téléchargement. Si le téléchargement échoue plusieurs fois, le service de transfert de stockage enregistre un PRECONDITION_FAILURE. Pour en savoir plus, consultez la section Dépannage.

Pour remédier à cet échec, procédez comme suit :

1. Réessayez d'effectuer le transfert.

2. Si le transfert de l'objet continue d'échouer, assurez-vous que ses données ne peuvent pas être mises à jour lors du transfert :

   • Source Cloud Storage : placez une préservation à titre conservatoire sur l'objet.
   • Source Amazon S3 : définissez un verrouillage d'objet S3.
   • Source Microsoft Azure Storage : définissez une règle d'immuabilité pour le stockage de blobs.
   • Source du système de fichiers : définissez les fichiers en mode lecture seule ou limitez les écritures aux fichiers en cours de transfert.

3. Une fois le transfert terminé, vous pouvez réactiver les mises à jour de l'objet.

Dossiers dans Cloud Storage

Les objets Cloud Storage se trouvent dans un espace de noms unique au sein d'un bucket. Pour en savoir plus, consultez la section Espace de noms de l'objet. Par conséquent, le service de transfert de stockage ne crée pas d'espaces de noms hiérarchiques dans Cloud Storage. Par exemple, si vous effectuez un transfert à partir d'Azure Data Lake Storage (ADLS) de deuxième génération, le service de transfert de stockage ne recrée pas les espaces de noms ADLS Gen 2 dans Cloud Storage.

Supprimer des objets dans des buckets Amazon S3 dont le versionnement est suspendu

Lorsque vous utilisez la suppression d'objets de la source dans le service de transfert de stockage après la fonctionnalité de transfert sur un bucket Amazon S3 dont le versionnement est suspendu, le service de transfert de stockage supprime l'objet avec un ID de version nul, et non avec la version actuelle.

Emplacement des tâches du service de transfert de stockage

Le service de transfert de stockage choisit son emplacement en fonction de la région du bucket Cloud Storage source. À ce jour, nous créons des tâches de service de transfert de stockage dans les emplacements suivants. Cette liste est susceptible de changer à mesure que le service de transfert de stockage prend en charge de nouvelles régions.

Si votre bucket Cloud Storage source se trouve dans une région non répertoriée, nous choisissons la région par défaut dans la région externe de la source.

• ASIA-EAST1
• ASIA-EAST2
• ASIE-NORTHEAST1
• ASIE-NORTHEAST2
• ASIE-NORD-EST3
• ASIE-SUD1
• ASIE-SUD2
• ASIA-SOUTHEAST1
• ASIE-SUTHEAST2
• AUSTRALIA-SOUTHEAST1
• AUSTRALIE-SOUTHEAST2
• EUROPE-WEST1
• EUROPE-OUEST2
• EUROPE-WEST3
• EUROPE-WEST4
• EUROPE-WEST9
• EUROPE-NORTH1
• EUROPE-SUD-OUEST1
• NORTHAMERICA-NORTHEAST1
• NORTHAMERICA-NORTHEAST2
• US-CENTRAL1
• US-CENTRAL2
• US-EAST1
• US-EAST4
• US-WEST1
• US-WEST2
• US-WEST3
• US-WEST4
• NAM4

Limitations connues des transferts de système de fichiers

Aucune assistance en temps réel

Le service de transfert de stockage ne prend pas en charge la détection des modifications sub-horaires. Le service de transfert de stockage est un service de déplacement des données par lot qui peut analyser la source à une fréquence allant jusqu'à une fois par heure.

Configurations du système d'exploitation compatibles

Les agents de transfert nécessitent l'installation de Docker et s'exécutent sur des serveurs Linux ou sur des machines virtuelles (VM). Pour copier des données sur un système de fichiers CIFS ou SMB, vous pouvez installer le volume sur un serveur ou une VM Linux, puis exécuter l'agent à partir de ce serveur ou de cette VM Linux.

Exigences relatives à la mémoire

Voici les exigences de mémoire pour les agents du service de transfert des données sur site :

• Mémoire minimale : 1 Gio
• Mémoire minimale pour effectuer des importations hautes performances : 6 Gio

Limitations de scaling

Le service de transfert de stockage prend en charge les transferts individuels qui représentent :

• Des centaines de téraoctets
• Jusqu'à 1 milliard de fichiers
• Plusieurs dizaines de Gbit/s en vitesse de transfert

Les transferts individuels supérieurs à ces tailles sont fiables, mais leur performance n'a pas été testée.

Si vous disposez d'un ensemble de données d'une taille supérieure à ces limites, nous vous recommandons de répartir vos données sur plusieurs tâches de transfert.

Nous prenons actuellement en charge les répertoires volumineux, à condition que chaque agent dispose d'au moins 1 Go de mémoire pour chaque million de fichiers du répertoire le plus volumineux, ce qui nous permet d'itérer le contenu du répertoire sans dépasser la mémoire.

Limites des pools d'agents et d'agents

Nous acceptons jusqu'à 100 agents pour un seul pool d'agents. Il est peu probable que vous ayez besoin de plus d'agents pour obtenir de meilleures performances dans les environnements classiques.

Jusqu'à 800 pools d'agents sont acceptés par projet.

Un seul répertoire par tâche

Nous ne prenons en charge que le transfert du contenu complet d'un répertoire de système de fichiers (de manière récursive). Vous pouvez partitionner le transfert en créant plusieurs tâches qui transfèrent différents sous-répertoires de votre ensemble de données, mais nous ne prenons actuellement pas en charge le globbing ou le filtrage de fichiers dans une seule tâche.

Noms de fichiers pris en charge

Les règles suivantes s'appliquent à tous les noms de fichiers faisant partie d'un transfert:

• Les noms de fichiers doivent utiliser l'encodage UTF8.
• Les noms de fichiers doivent être compatibles Unicode.
• Ils ne doivent pas contenir de sauts de ligne (\n) ni de retours chariot (\r).

Si votre répertoire source contient des noms de fichiers non compatibles, la tâche de listage des fichiers pour ce répertoire échoue.

Dans ce cas, mettez à jour les noms de fichiers non compatibles et exécutez à nouveau le job.

Types de fichiers compatibles

Le service de transfert de stockage permet de transférer des fichiers standards et des fichiers cachés de type Unix. Les fichiers cachés de type Unix sont des fichiers commençant par le caractère .. Lorsque le service de transfert de stockage rencontre un fichier non standard, tel qu'un appareil, un pipeline nommé ou un socket, il génère une erreur UNSUPPORTED_FILE_MODE.

Les répertoires vides ne sont pas créés dans Cloud Storage, car les objets ne font pas partie de sous-répertoires au sein d'un bucket. Pour en savoir plus, consultez la section Espace de noms de l'objet.

Longueur de chemin maximale

Le service de transfert de stockage suit la longueur de chemin maximale de Cloud Storage, qui est de 1 024 octets. Le préfixe d'objet pour l'objet de destination est inclus dans la limite de longueur, car le préfixe est incorporé dans le nom de l'objet dans Cloud Storage.

Métadonnées de fichiers prises en charge

Consultez la section Conservation des métadonnées pour en savoir plus sur les métadonnées conservées, par défaut ou en option.

Mises en veille de tâches étendues

Les tâches mises en pause pendant plus de 30 jours sont considérées comme inactives. Lorsqu'une tâche est inactive, le tâche mise en pause est abandonnée, et la planification de la configuration de la tâche est désactivée. Aucune nouvelle exécution de la tâche ne démarre sauf si vous réactivez explicitement cette tâche.

Sécurité de la source du système de fichiers

Accès de l'agent

Les utilisateurs autorisés à créer des tâches de transfert peuvent récupérer des données et les télécharger dans n'importe quel répertoire de système de fichiers accessible par l'agent. Si les agents sont exécutés en mode root et qu'ils ont accès à l'ensemble du système de fichiers, un individu malveillant peut être en mesure de prendre le contrôle de l'hôte. Nous vous recommandons vivement de restreindre l'accès de l'agent aux seuls répertoires nécessaires.