Limitations connues

Cette page décrit les limitations connues de Cloud Storage et du transfert sur site.

Limitations courantes

Taille de l'objet Cloud Storage limitée à 5 To

Cloud Storage accepte une taille d'objet unique maximale de 5 téraoctets. Si vos objets dépassent 5 To, leur transfert échouera pour Cloud Storage ou le transfert sur site.

Exigences de dénomination des objets Cloud Storage

Cloud Storage impose des exigences de nom d'objet qui s'appliquent à tous les transferts du service de transfert de stockage.

Les objets modifiés ne sont pas transférés

Si les données d'un objet sont mises à jour pendant un transfert, le service de transfert de stockage fait échouer le transfert de cet objet et celui-ci n'est pas transféré.

Pour remédier à cet échec, procédez comme suit :

  1. Réessayez d'effectuer le transfert.
  2. Si le transfert de l'objet continue d'échouer, assurez-vous que ses données ne peuvent pas être mises à jour lors du transfert :

  3. Une fois le transfert terminé, vous pouvez réactiver les mises à jour de l'objet.

Limitations connues du transfert sur site

Aucune API

Le service de transfert des données sur site est accessible uniquement via Google Cloud Console. Actuellement, nous ne proposons pas d'interface API pour les tâches du service de transfert des données sur site.

Aucune assistance en temps réel

Le service de transfert des données sur site ne prend pas en charge la détection des modifications sub-horaires. Le service de transfert des données sur site est un service de déplacement des données par lot qui peut analyser la source à une fréquence allant jusqu'à une fois par heure.

Configurations du système d'exploitation compatibles

Les agents de transfert sur site nécessitent l'installation de Docker et s'exécutent sur des serveurs Linux ou sur des machines virtuelles (VM). Pour copier des données sur un système de fichiers CIFS ou SMB, vous pouvez installer le volume sur un serveur ou une VM Linux, puis exécuter l'agent à partir de ce serveur ou de cette VM Linux.

Exigences relatives à la mémoire

Voici les exigences de mémoire pour les agents du service de transfert des données sur site :
  • Mémoire minimale : 1 Gio
  • Mémoire minimale pour effectuer des importations hautes performances : 6 Gio

Limitations de scaling

Le service de transfert des données sur site prend en charge les transferts individuels qui représentent :

  • Des centaines de téraoctets
  • Jusqu'à 1 milliard de fichiers
  • Plusieurs dizaines de Gbit/s en vitesse de transfert

Les transferts individuels supérieurs à ces tailles seront fiables, mais leur performance n'a pas été testée.

Si vous disposez d'un ensemble de données d'une taille supérieure à ces limites, nous vous recommandons de répartir vos données sur plusieurs tâches de transfert.

Nous prenons actuellement en charge les répertoires volumineux, à condition que chaque agent dispose d'au moins 1 Go de mémoire pour chaque million de fichiers du répertoire le plus volumineux, ce qui nous permet d'itérer le contenu du répertoire sans dépasser la mémoire.

Nous acceptons jusqu'à 100 agents pour un seul projet de transfert. Il est peu probable que vous ayez besoin de plus d'agents pour obtenir de meilleures performances dans les environnements sur site classiques.

Un seul répertoire par tâche

Nous ne prenons en charge que le transfert du contenu complet d'un répertoire de système de fichiers (de manière récursive). Vous pouvez partitionner le transfert en créant plusieurs tâches qui transfèrent différents sous-répertoires de votre ensemble de données, mais nous ne prenons actuellement pas en charge le globbing ou le filtrage de fichiers dans une seule tâche.

Pour plus d'informations sur les différences entre le service de transfert des données sur site et Cloud Storage, consultez la page Différences entre les options de transfert Cloud Storage.

Accès uniforme au système de fichiers pour les agents

Le service de transfert des données sur site suppose que tous les agents en cours d'exécution ont les mêmes autorisations pour lire les données du système de fichiers source et que l'accès est identique au système de fichiers source pour toutes les tâches au sein d'un projet Google Cloud.

Si vous devez exécuter des agents sur plusieurs centres de données avec des autorisations différentes définies sur des répertoires sources, vous devez séparer les tâches et les agents en fonction des différents projets Google Cloud. Chaque tâche possède un sujet et un abonnement Pub/Sub différents pour communiquer avec l'ensemble des agents de cette tâche.

Noms de fichiers pris en charge

Les noms de fichiers devraient logiquement être compatibles avec Unicode et ne pas contenir de sauts de ligne. Si votre répertoire source contient des noms de fichiers avec des sauts de ligne, la tâche visant à répertorier les fichiers de ce répertoire échouera.

Le cas échéant, remplacez tous les sauts à la ligne dans vos noms de fichiers et réexécutez la tâche.

Types de fichiers compatibles

Le service de transfert des données sur site est compatible avec le transfert de fichiers standards. Lorsque le service de transfert des données sur site rencontre un fichier non standard, tel qu'un appareil, un pipeline nommé ou un socket, il génère une erreur UNSUPPORTED_FILE_MODE.

Les répertoires vides ne sont pas créés dans Cloud Storage, car les objets ne font pas partie de sous-répertoires au sein d'un bucket. Pour en savoir plus, consultez la section Remarques relatives aux noms d'objet.

Longueur de chemin maximale

Le service de transfert des données sur site suit la longueur de chemin maximale de Cloud Storage, qui est de 1 024 octets. Le préfixe d'objet pour l'objet de destination est inclus dans la limite de longueur, car le préfixe est incorporé dans le nom de l'objet dans Cloud Storage.

Métadonnées de fichiers prises en charge

Le service de transfert des données sur site extrait la date et l'heure de la dernière modification (mtime) du fichier source pour la copier dans l'objet de destination Cloud Storage correspondant. Les autres métadonnées du fichier ne sont pas conservées dans le transfert.

Mises en veille de tâches étendues

Les tâches mises en pause pendant plus de 30 jours sont considérées comme inactives. Lorsqu'une tâche est inactive, le tâche mise en pause est abandonnée, et la planification de la configuration de la tâche est désactivée. Aucune nouvelle exécution de la tâche ne démarrera sauf si vous réactivez explicitement cette tâche.

Sécurité de la source