L'interface de surveillance Web de Dataflow comprend un tableau de bord qui surveille vos jobs Dataflow au niveau du projet. Les graphiques affichent les données de toutes les jobs d'un projet.
Le tableau de bord peut vous aider dans les tâches suivantes :
- Détecter et identifier la source des erreurs de quota.
- Détecter l'autoscaling horizontal anormal dans un job.
- Identifier les jobs de traitement par flux lents ou bloqués.
Le tableau de bord utilise Cloud Monitoring pour accéder aux métriques de jobs Dataflow. Pour personnaliser les informations affichées dans les graphiques, utilisez l'explorateur de métriques.
Fonctionnalités
Le tableau de bord inclut les fonctionnalités suivantes :
- Choisissez les jobs qui apparaissent dans le tableau de bord à l'aide d'expressions régulières.
- Accédez à la page des détails du job à partir de graphiques individuels.
- Personnalisez les widgets et les graphiques du tableau de bord.
Rôles requis
Pour obtenir l'autorisation dont vous avez besoin pour afficher les données du graphique, demandez à votre administrateur de vous accorder le rôle IAM Lecteur Monitoring (roles/monitoring.viewer).
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Ce rôle prédéfini contient l'autorisation monitoring.timeSeries.list, qui est nécessaire pour afficher les données du graphique.
Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.
Métriques
Par défaut, les graphiques suivants s'affichent dans votre tableau de bord. Pour en savoir plus sur les métriques affichées, consultez la page Métriques du job.
| Chart | Description | Assistance |
|---|---|---|
| Tâches en cours d'exécution | Graphique de séries temporelles indiquant le nombre de jobs en cours d'exécution dans le projet. | Jobs par lot et de traitement par flux |
| Nœuds de calcul par job | Graphique de séries temporelles indiquant le nombre de nœuds de calcul utilisés par job. Utilisez ce graphique pour comprendre le comportement de l'autoscaling dans le projet.
Vous pouvez voir si les jobs présentent un comportement de scaling inattendu ou inhabituel. Utilisez ce graphique avec les graphiques de quota et de processeur pour identifier les jobs dont le scaling est limité par des erreurs de quota. |
Jobs par lot et de traitement par flux |
| Erreurs de dépassement de quota | Graphique de séries temporelles indiquant l'historique des erreurs de dépassement de quota dans le projet, limitées aux quotas de processeurs Compute Engine. Compute Engine a des quotas de processeurs totaux par région et, pour certaines familles de machines, des quotas par région et par type. Chacun de ces quotas peut empêcher le démarrage ou le scaling d'un job. Utilisez ce graphique avec les graphiques de quota et de processeur pour identifier la source des erreurs de quota. |
Jobs par lot et de traitement par flux |
| Processeurs par job | Graphique de séries temporelles indiquant le nombre de processeurs utilisés par les nœuds de calcul de chaque job. Ce graphique indique également le type de machine et l'emplacement de chaque job. Les types de machines d'une même famille ont un nombre différent de processeurs. Le nombre total de processeurs affecte les quotas Compute Engine. Ce graphique vous permet d'identifier la source des erreurs de quota. |
Jobs par lot et de traitement par flux |
| Latence du système | Graphique de séries temporelles indiquant le nombre maximal de secondes pendant lesquelles un élément de données a été traité ou en attente pour chaque job. Utilisez ce graphique pour identifier les jobs de traitement par flux qui présentent un délai inhabituel entre le moment où les données apparaissent dans une source et qui sont écrites dans tous les récepteurs. |
Tâches traitées par flux |
| Fraîcheur des données | Graphique de séries temporelles qui indique la fraîcheur maximale des données pour n'importe quelle étape de chaque job. Utilisez ce graphique pour identifier les jobs de traitement par flux qui peuvent être lents ou bloqués. |
Tâches traitées par flux |
| Nombre maximal d'octets en attente | Graphique de séries temporelles indiquant le nombre maximal d'octets en attente pour n'importe quelle étape de chaque job. Ce graphique vous permet d'identifier les anomalies indiquant un goulot d'étranglement au niveau du traitement. |
Tâches traitées par flux |
Accéder au tableau de bord
Pour accéder au tableau de bord, procédez comme suit :
- Connectez-vous à la console Google Cloud.
- Sélectionnez votre projet Google Cloud.
- Ouvrez le menu de navigation.
- Dans Analyse, cliquez sur Dataflow.
Dans le menu de navigation Dataflow, cliquez sur Surveillance.
Personnaliser le tableau de bord
Vous pouvez personnaliser le contenu du tableau de bord et les informations affichées dans les graphiques. Lorsque vous modifiez le tableau de bord, un tableau de bord personnalisé est créé.
Le tableau de bord utilise Cloud Monitoring pour accéder aux métriques de jobs Dataflow. Utilisez les outils Cloud Monitoring pour personnaliser les graphiques.
- Ouvrez le tableau de bord, puis cliquez sur Personnaliser le tableau de bord.
- Modifier votre tableau de bord
- Pour filtrer les jobs qui s'affichent sur le tableau de bord, consultez les sections Ajouter des filtres temporaires à un tableau de bord personnalisé et Ajouter des filtres permanents à un tableau de bord personnalisé.
- Pour modifier ou supprimer des widgets, consultez la page Gérer les widgets du tableau de bord.
- Pour modifier le contenu des graphiques, consultez la page Sélectionner des métriques pour les graphiques des tableaux de bord.
- Pour ajouter des graphiques au tableau de bord, consultez la page Ajouter des graphiques et des tableaux à un tableau de bord personnalisé.
- Cliquez sur Enregistrer, puis sur Afficher le tableau de bord personnalisé.
Après avoir créé un tableau de bord personnalisé, pour revenir au tableau de bord par défaut, sélectionnez Prédéfini dans le menu Tableau de bord.
Dépannage
Cette section fournit des instructions permettant de résoudre des problèmes courants.
Aucune donnée disponible
Lorsque vous ouvrez votre tableau de bord, un ou plusieurs graphiques affichent le message suivant :
No data is available for the selected time frame.
Ce message s'affiche lorsque la période couverte dans les graphiques ne comporte aucune donnée. Pour résoudre ce problème, modifiez ou étendez la période.
Pour modifier la période affichée, cliquez sur Explorer les données sur le graphique, puis utilisez le sélecteur de période.
Impossible de restaurer les widgets supprimés
Lorsque vous supprimez un widget du tableau de bord, vous créez un tableau de bord personnalisé. Après avoir créé un tableau de bord personnalisé, pour revenir au tableau de bord par défaut, sélectionnez Prédéfini dans le menu Tableau de bord.
Impossible d'afficher les graphiques
Pour afficher les données du graphique, vous devez disposer de l'autorisation monitoring.timeSeries.list. Pour en savoir plus, consultez la section Rôles requis.
Étapes suivantes
- Apprenez-en plus sur les métriques de job individuel.
- Explorez les métriques avec Cloud Monitoring.
- Résolvez les problèmes liés aux jobs lents ou bloqués.