Surveiller les tâches de transfert

Cloud Monitoring collecte et stocke automatiquement des informations pour les jobs du service de transfert de stockage. Vous pouvez utiliser Cloud Monitoring pour représenter graphiquement et surveiller un éventail de métriques :

  • Nombre d'objets et d'octets trouvés
  • Nombre d'objets et d'octets copiés
  • Nombre d'objets et d'octets supprimés
  • Le nombre d'erreurs et les codes d'erreur associés

Cloud Monitoring est automatiquement activé pour le service de transfert de stockage. La collecte de données et l'affichage des métriques dans la console Google Cloud ne sont pas facturés. Les appels d'API peuvent entraîner des frais. Pour en savoir plus, consultez la page Tarifs de Cloud Monitoring.

Rôle IAM requis

Vous devez disposer du rôle Lecteur Monitoring (roles/monitoring.viewer) ou d'autorisations équivalentes pour afficher les métriques dans Cloud Monitoring.

Découvrez comment attribuer un rôle IAM.

Afficher les métriques

Les métriques Cloud Monitoring sont disponibles à partir de deux emplacements dans le Console Google Cloud:

  • La page d'informations de la tâche du service de transfert de stockage affiche les métriques d'une tâche spécifique de transfert. En plus des métriques listées ci-dessous, il calcule la bande passante des copies d'octets et le taux d'objets copiés.

  • La page Cloud Monitoring peut afficher les métriques d'un seul job de transfert, plusieurs tâches ou toutes les tâches d'un projet. Il propose plusieurs options de graphiques et de personnalisations.

Afficher les métriques sur la page "Détails du job"

Pour afficher les métriques d'un job spécifique :

  1. Accédez à la page Tâches de transfert dans la console Google Cloud.

    Accéder à la page "Transferts de tâches"

  2. Cliquez sur la tâche pour laquelle vous souhaitez afficher les métriques. La page Détails de la tâche s'affiche.

  3. Cliquez sur l'onglet Surveillance. Le tableau de bord par défaut s'affiche.

Afficher les métriques dans Cloud Monitoring

Pour afficher les métriques du service de transfert de stockage dans Cloud Monitoring, procédez comme suit:

  1. Accédez à la page Explorateur de métriques dans la console Google Cloud.

    Accéder à "Monitoring : Explorateur de métriques"

  2. Suivez les instructions fournies dans l'article Créer des graphiques avec l'Explorateur de métriques pour sélectionner et afficher vos métriques.

Détails de la ressource

Nom de la ressource surveillée: storage_transfer_job

Champ de ressource/Champ cible Ressource REST et champ utilisés pour renseigner ce champ Description
project_id TransferJob.project_id Identifiant du projet associé avec cette ressource
job_id TransferJob.name Nom unique global du transfert
emplacement Sera toujours défini sur global depuis le transfert les offres d'emploi ne sont pas associées avec une région ou lieu Emplacement de la tâche de transfert

Détails de la métrique

Toutes les métriques du service de transfert de stockage sont des métriques delta. Elles mesurent la variation depuis la dernière enregistrement de la métrique. Par exemple, les métriques mesurant le nombre de requêtes sont des métriques delta. Chaque valeur enregistre le nombre de requêtes reçues depuis l'enregistrement du dernier point de données.

Les données sont échantillonnées toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un 180 secondes.

Les noms de métriques commencent tous par storagetransfer.googleapis.com/transferjob/. Exemple : storagetransfer.googleapis.com/transferjob/found_bytes_count.

Nom de la métrique Étiquettes Description
found_bytes_count
origin=[source | sink]

Nombre d'octets trouvés qui sont programmés pour être transférés ou supprimés, à l'exception de ceux qui sont filtrés en fonction des conditions des objets ou parce qu'ils existent déjà à la destination. Voir TransferOptions pour obtenir des informations sur l'écrasement de données dans le récepteur.

Correspondant TransferCounters : bytesFoundFromSource, bytesFoundOnlyFromSink

found_objects_count
origin=[source | sink]

Nombre d'objets trouvés qui sont programmés pour être transférés ou supprimés, à l'exception de ceux qui sont filtrés en fonction des conditions des objets ou ignorés en raison de la synchronisation.

Campagne TransferCounters: objectsFoundFromSource, objectsFoundOnlyFromSink

copied_bytes_count
status=[succeeded | skipped | failed]

Nombre d'octets copiés.

TransferCounters correspondant : bytesCopiedToSink, bytesFromSourceSkippedBySync, bytesFromSourceFailed

La valeur de copied_bytes_count avec l'état succeeded ne correspond pas toujours à la bytesCopiedToSink, car cette métrique comptabilise aussi les octets copiés avec succès qui sont rejetés en cas d'échec. Par exemple, si le service de transfert de stockage copie 100 octets d'un objet supprimés en cours de transfert, les 100 octets copiés sont enregistrés Moins de copied_bytes_count avec état succeeded Les octets de l'objet complet sont également enregistrés sous copied_bytes_count avec l'état failed.

copied_objects_count
status=[succeeded | skipped | failed]

Nombre d'objets copiés.

Campagne TransferCounters: des objets copiésToSink, objetsFromSourceSkippedBySync, objectsFromSourceFailed

deleted_bytes_count
origin=[source | sink]
status=[succeeded | failed]

Nombre d'octets supprimés. Le service de transfert de stockage peut être configuré pour supprimer les données à la source et/ou à la destination. Pour en savoir plus sur la configuration du comportement de suppression, consultez la section TransferOptions.

Correspondant TransferCounters : bytesDeletedFromSource, bytesDeletedFromSink, bytesFromSourceFailed, bytesFailedToDeleteFromSink

Remarque: Ce compteur est la somme des deleted_bytes_count:status=failed,origin=source et copied_bytes_count:status=failed

deleted_objects_count
origin=[source | sink]
status=[succeeded | failed]

Nombre d'objets supprimés.

Campagne TransferCounters: ObjectsRemoveFromSource (objets supprimésFromSource), ObjectsDeleteFromSink, ObjectsFromSourceFailed objectsFailedToDeleteFromSink

Remarque : Ce compteur correspond à la somme de deleted_objects_count:status=failed,origin=source et copied_objects_count:status=failed.

error_count
code=error code

Le nombre d'erreurs signalées dans ErrorSummary.