Journaux de transfert du système de fichiers

Ce document décrit le format actuel des journaux de transfert du système de fichiers.

Remarque : Le format de journal décrit sur cette page est susceptible de changer. Nous vous déconseillons d'écrire des scripts, des programmes ou des processus de conception qui dépendent de l'ordre, du nom ou de la présence des colonnes ou des valeurs dans ce journal. Reportez-vous à cette page et consultez les notes de version du service de transfert de stockage pour obtenir les mises à jour du format de journal.

Afficher les journaux de transfert

Les transferts du système de fichiers génèrent des journaux de transfert détaillés qui vous permettent de vérifier les résultats de votre tâche de transfert. Chaque job génère un ensemble les journaux stockés dans le bucket Cloud Storage du transer: la source bucket, bucket de destination ou bucket intermédiaire, en fonction du transfert dans la direction souhaitée.

Les journaux sont générés pendant l'exécution de la tâche de transfert. Les journaux complets sont généralement disponibles dans les 15 minutes suivant la fin du travail.

Important :Toute personne ayant accès au bucket Cloud Storage dispose l'accès aux journaux de transfert.

Afficher les journaux dans le bucket Cloud Storage

Les journaux de transfert sont stockés dans le bucket Cloud Storage du transfert au chemin suivant :

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

où :

• bucket-name est le nom du bucket Cloud Storage impliqué dans ce transfert.
• job-name correspond au nom de la tâche, tel qu'il apparaît dans la liste des tâches.
• operation-name correspond au nom de l'opération de transfert individuelle, composé de l'horodatage IS08601 et de l'ID généré.

Les journaux sont agrégés et stockés en tant qu'objets. Chaque lot de journaux est nommé en fonction de sa date de création. Exemple :

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Exécuter des requêtes BigQuery sur les journaux de transfert

Pour exécuter des requêtes BigQuery sur vos journaux de transfert, procédez comme suit :

1. Chargez les données de journal au format CSV dans BigQuery.

2. Exécutez votre requête BigQuery.

Exemples de requêtes

Afficher le nombre de fichiers ayant tenté d'être transférés et indiquant s'ils ont réussi ou échoué

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.

Afficher tous les fichiers dont le transfert a échoué

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.

Afficher la somme de contrôle et l'horodatage pour chaque fichier transféré

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.

Afficher tous les détails des erreurs pour les répertoires dont le transfert a échoué

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.

Description du format

Les journaux de transfert du système de fichiers sont enregistrés au format TSV (tab-separated values, valeurs séparées par une tabulation) et contiennent une ligne d'en-tête avec des noms de champs. L'ordre d'affichage des champs est généralement stable, mais cela n'est pas garanti et doit être déduit de la ligne d'en-tête.

Chaque ligne représente un enregistrement de journal unique, c'est-à-dire une mise à jour de l'état d'une partie de l'opération de transfert globale.

Remarque :Le service de transfert de stockage n'enregistre pas les entrées de journal pour les fichiers ignorés.

Le tableau suivant décrit les champs du fichier journal :

Champ du journal	Description
Temporel	Horodatage conforme à la norme ISO 8601 lors de l'enregistrement de l'événement.
Nom de l'opération	Nom complet de l'opération.
Action	Décrit l'action de cette tâche particulière. Choisissez l'une des options suivantes : FIND : Rechercher des tâches à effectuer, comme répertorier les fichiers sur site TRANSFER : Transférer des fichiers DELETE : Supprimer des fichiers à l'emplacement de destination
ActionStatus	État d'avancement général de l'action. Choisissez l'une des options suivantes : SUCCEEDED : L'opération s'est déroulée avec succès. FAILED : L'action a échoué. Plus de détails sur cet échec sont disponibles dans les champs FailureDetails.
FailureDetails.ErrorType	Chaîne représentant le type d'erreur rencontrée. Par exemple, FILE_NOT_FOUND. Renseigné uniquement en cas d'erreur.
FailureDetails.GrpcCode	Valeur de chaîne du code Google RPC. Par exemple, FAILED_PRECONDITION. Renseigné uniquement en cas d'erreur.
FailureDetails.Message	Message d'erreur lisible par l'utilisateur pour cet échec. Renseigné uniquement en cas d'erreur.
Src.Type	Chaîne décrivant le type de système de stockage de la source. Il s'agit toujours de ON_PREM.
Src.File.Path	Chemin du fichier sur site transféré.
Src.File.LastModified	Date et heure de modification POSIX (mtime) du fichier sur site.
Src.FileSize	Taille du fichier, en octets.
Src.File.Crc32C	Somme de contrôle CRC32C du contenu du fichier.
Dst.Type	Chaîne décrivant le type de système de stockage de destination. Il s'agit toujours de GCS.
Dst.Gcs.BucketName	Nom du bucket Cloud Storage de destination.
Dst.Gcs.ObjectName	Préfixe d'objet pour l'objet de destination.
Dst.Gcs.LastModified	Date et heure de modification POSIX (mtime) de l'objet de destination.
Dst.Gcs.Size	Taille de l'objet en octets.
Dst.Gcs.Crc23C	Somme de contrôle CRC32C du contenu de l'objet.
Dst.Md5	Somme de contrôle MD5 de l'objet final dans Cloud Storage.

Exemple d'entrée de journal

Voici un exemple de deux lignes de résultat de journal, l'en-tête et une ligne de données :

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==