Format du journal de transfert sur site

Ce document décrit le format actuel des journaux du service de transfert des données sur site.

Description du format

Les journaux du service de transfert des données sur site sont enregistrés au format TSV et contiennent une ligne d'en-tête avec des noms de champs. L'ordre d'affichage des champs est généralement stable, mais cela n'est pas garanti et doit être déduit de la ligne d'en-tête.

Chaque ligne représente un enregistrement de journal unique, c'est-à-dire une mise à jour de l'état d'une partie de l'opération de transfert globale.

Le tableau suivant décrit les champs du fichier journal :

Champ du journal Description
Temporel Horodatage conforme à la norme ISO 8601 lors de l'enregistrement de l'événement.
Nom de l'opération Nom complet de l'opération.
Action Décrit l'action de cette tâche particulière. Choisissez l'une des options suivantes :
  • FIND : Rechercher des tâches à effectuer, comme répertorier les fichiers sur site
  • TRANSFER : Importer des fichiers
  • DELETE : Supprimer des fichiers à l'emplacement de destination
ActionStatus État d'avancement général de l'action. Choisissez l'une des options suivantes :
  • SUCCEEDED : L'opération s'est déroulée avec succès.
  • FAILED : L'action a échoué. Plus de détails sur cet échec sont disponibles dans les champs FailureDetails.
FailureDetails.ErrorType Chaîne représentant le type d'erreur rencontrée. Par exemple, FILE_NOT_FOUND. Renseigné uniquement en cas d'erreur.
FailureDetails.GrpcCode Valeur de chaîne du code Google RPC. Par exemple, FAILED_PRECONDITION. Renseigné uniquement en cas d'erreur.
FailureDetails.Message Message d'erreur lisible par l'utilisateur pour cet échec. Renseigné uniquement en cas d'erreur.
Src.Type Chaîne décrivant le type de système de stockage de la source. Il s'agit toujours de ON_PREM.
Src.File.Path Chemin du fichier sur site transféré.
Src.File.LastModified Date et heure de modification POSIX (mtime) du fichier sur site.
Src.FileSize Taille du fichier, en octets.
Src.File.Crc32C Somme de contrôle CRC32C du contenu du fichier.
Dst.Type Chaîne décrivant le type de système de stockage de destination. Il s'agit toujours de GCS.
Dst.Gcs.BucketName Nom du bucket Cloud Storage de destination.
Dst.Gcs.ObjectName Préfixe d'objet pour l'objet de destination.
Dst.Gcs.LastModified Date et heure de modification POSIX (mtime) de l'objet de destination.
Dst.Gcs.Size Taille de l'objet en octets.
Dst.Gcs.Crc23C Somme de contrôle CRC32C du contenu de l'objet.
Dst.Md5 Somme de contrôle MD5 de l'objet final dans Cloud Storage.

Exemple d'entrée de journal

Voici un exemple de deux lignes de résultat de journal, l'en-tête et une ligne de données :

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==