Ce document explique comment surveiller et essayer d'optimiser les ressources d'un job par lot en affichant les métriques dans Cloud Monitoring. Pour en savoir plus sur les ressources sur lesquelles une tâche s'exécute, consultez la section Ressources de la tâche.
Pour chaque tâche, Monitoring fournit des métriques de base telles que l'utilisation du processeur et le trafic réseau. Cependant, certaines métriques, telles que l'utilisation de la mémoire et des processus, ne peuvent être collectées que si un job installe l'agent Ops. Les métriques associées aux ressources d'un job vous aident à évaluer les performances et l'utilisation de chaque ressource. Ces informations peuvent vous aider à identifier les améliorations à apporter aux futures itérations du job. Par exemple, vous pouvez supprimer les ressources inutilisées pour optimiser les coûts, ou améliorer ou augmenter les ressources surchargées pour améliorer les performances.
Avant de commencer
- Si vous n'avez jamais utilisé Batch auparavant, consultez la page Premiers pas avec Batch et activez Batch en remplissant les conditions préalables pour les projets et les utilisateurs.
- Facultatif: Pour collecter des métriques supplémentaires pour une tâche, créez et exécutez une tâche qui installe automatiquement l'agent Ops.
- Si ce n'est pas déjà fait, activez l'API Monitoring :
-
Pour obtenir les autorisations nécessaires pour afficher les métriques d'observabilité, demandez à votre administrateur de vous attribuer le rôle IAM Lecteur de métriques Monitoring (
roles/monitoring.metricViewer
) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Afficher les métriques des ressources de jobs
La section Observer et surveiller les VM de la documentation Compute Engine fournit des informations conceptuelles pertinentes sur les métriques de VM. Toutefois, différentes méthodes sont recommandées pour afficher les métriques de VM pour les tâches Batch. Plus précisément, la documentation Compute Engine explique comment afficher les métriques à l'aide des tableaux de bord Monitoring prédéfinis pour Compute Engine ou des pages Compute Engine dans la console Google Cloud. Mais surtout, ces méthodes n'affichent pas d'informations sur les VM qui ont été supprimées. Par conséquent, n'utilisez ces méthodes que si vous souhaitez afficher les métriques des tâches Batch pendant leur exécution.
Affichez les métriques des jobs Batch exécutés et terminés à l'aide des graphiques de l'Explorateur de métriques, comme expliqué dans cette section. Les graphiques sont par exemple temporaires, sauf si vous les enregistrez dans des tableaux de bord personnalisés.
Pour créer un graphique permettant d'afficher une ou plusieurs métriques, procédez comme suit:
- Facultatif: Si vous prévoyez d'enregistrer le graphique, identifiez ou créez un tableau de bord personnalisé pour celui-ci.
Créez un graphique de l'Explorateur de métriques pour une ou plusieurs métriques.
Sans filtres, chaque métrique de VM d'un graphique inclut les données de toutes les VM de votre projet. Si vous souhaitez filtrer le graphique pour n'inclure que les métriques de toutes les tâches Batch ou de tâches Batch spécifiques, ajoutez le filtre suivant:
group=RESOURCE_GROUP_NAME
Remplacez
RESOURCE_GROUP_NAME
par le nom d'un groupe de ressources pour les tâches Batch. Pour en savoir plus, consultez la section Créer des groupes de ressources pour filtrer les métriques de ce document.
Créer des groupes de ressources pour filtrer les métriques
Vous pouvez utiliser des groupes de ressources comme filtres personnalisables pour les graphiques de l'Explorateur de métriques. Pour créer un groupe de ressources pour l'ensemble des jobs Batch ou des jobs Batch spécifiques de votre projet, procédez comme suit:
Sélectionnez un libellé à utiliser comme critère d'appartenance en fonction des tâches que vous souhaitez inclure dans le groupe:
- Toutes les tâches Batch:utilisez l'étiquette
batch-node
prédéfinie, qui est automatiquement appliquée à toutes les ressources pour toutes les tâches Batch et présente une valeur nulle. Jobs Batch spécifiques:utilisez un libellé appliqué aux ressources uniquement pour des jobs Batch spécifiques.
Par exemple, si vous souhaitez créer un groupe basé sur des noms de tâches complets ou partiels, utilisez le nom de l'étiquette
batch-job-id
prédéfinie avec une valeur spécifique. Le libellébatch-job-id
est automatiquement appliqué à toutes les ressources de tous les jobs Batch et défini avec le nom du job.Si vous utilisez une étiquette personnalisée, vous devez également l'appliquer à toutes les ressources des jobs Batch que vous souhaitez inclure dans le groupe lors de la création des jobs.
- Toutes les tâches Batch:utilisez l'étiquette
Assurez-vous que votre projet comporte au moins une tâche avec l'étiquette que vous avez sélectionnée et que cette tâche présente l'état
RUNNING
. Sinon, ce libellé n'apparaîtra pas comme option lorsque vous tenterez de créer le groupe de ressources.Créez un groupe de ressources. Lorsque vous spécifiez les critères d'appartenance, procédez comme suit:
- Définissez le Type sur Tag.
Définissez le champ Tag sur le nom du libellé sélectionné. Définissez ensuite les champs suivants en fonction des valeurs d'étiquette que le groupe doit inclure.
Par exemple, si vous souhaitez que ce groupe inclue toutes les tâches Batch, définissez Tag sur
batch-node
et Opérateur sur Exists. Vous souhaitez également que ce groupe inclue des tâches Batch dont les noms commencent partest
, que vous définissez Tag surbatch-job-id
, Opérateur sur Commence par et Valeur surtest
.
Étapes suivantes
- Apprenez-en plus sur les métriques de ressources de job :
- Découvrez d'autres méthodes de surveillance et d'optimisation des jobs Batch :