Cette page a été traduite par l'API Cloud Translation.

Surveiller les journaux Dataplex

Vous pouvez consulter, rechercher, filtrer et archiver les journaux de jobs Dataplex dans Cloud Logging :

Consultez les tarifs de Google Cloud Observability pour comprendre vos coûts.
Consultez la section Durée de conservation des journaux pour obtenir plus d'informations sur la conservation des journaux.
Consultez la page Filtres d'exclusion pour désactiver tous les journaux ou en exclure de Logging.
Consultez la page Présentation du routage et du stockage pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub.

Accéder aux journaux du service Dataplex dans Logging

Dataplex publie les journaux de service suivants dans Cloud Logging.

Type de journal	Nom du journal	`logName` requête	Description du journal
Journaux des événements d'analyse des données	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Journaux d'événements pour les jobs d'analyse de données indiquant l'état, les résultats et les statistiques des jobs
Journaux des résultats de la règle d'analyse de la qualité des données	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Résultats des règles d'analyse de la qualité des données dans un job d'évaluation de la qualité des données
Journaux de découverte	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Progression de la découverte et mises à jour des éléments d'une zone
Journaux des tâches de métadonnées	`dataplex.googleapis.com/metadata_job`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)`	Journaux sur les jobs d'importation de métadonnées et les éléments d'importation dans le fichier d'importation de métadonnées
Journaux de processus	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Exécutions de tâches résultant de tâches de traitement des données

Vous pouvez accéder à Logging Explorateur de journaux dans la section la console Google Cloud, Commandes gcloud logging l'API Logging.

Interroger les journaux d'événements d'analyse de données

Lorsque vous utilisez Dataplex pour créer et exécuter une analyse de données, un journal des événements d'analyse de données est généré dans Logging pour le job obtenu.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, recherchez l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdata_scan. Sélectionnez data_scan et cliquez sur Appliquer.
Facultatif : Filtrez les journaux en fonction d'un ID ou d'un emplacement d'analyse de données spécifique en ajoutant les filtres suivants dans la requête de journal :
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal des événements d'analyse de données, utilisez la classe Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux des résultats des règles d'analyse de la qualité des données

Lorsque vous utilisez Dataplex pour créer et exécuter une analyse de la qualité des données, un journal des résultats d'une règle d'analyse de la qualité des données est généré dans Logging pour le job obtenu.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, recherchez l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Sélectionner data_quality_scan_rule_result, puis cliquez sur Appliquer.
Facultatif : Filtrez les journaux en fonction d'un ID ou d'un emplacement d'analyse de données spécifique en ajoutant les filtres suivants dans la requête de journal :
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal des résultats de la règle d'analyse de la qualité des données, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Journaux de découverte de requêtes

Lorsque vous utilisez Dataplex pour découvrir des données dans des éléments, un journal de découverte est généré dans Logging.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, accédez à l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Zone Cloud Dataplex. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdiscovery. Sélectionnez discovery et cliquez sur Appliquer.

(Facultatif) Filtrez les journaux sur un composant spécifique en ajoutant les filtres suivants dans la requête de journal :

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de votre journal de découverte, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Journaux des jobs de métadonnées de requête

Lorsque vous exécutez une tâche d'importation de métadonnées, des journaux de tâches de métadonnées sont générés dans Logging.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, recherchez l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Cloud Dataplex Metadata Job (Tâche de métadonnées Cloud Dataplex).
Facultatif: Pour filtrer les journaux selon un emplacement ou un ID de job de métadonnées spécifique, sélectionnez un lieu ou un ID de job.
Cliquez sur Appliquer.
Cliquez sur le menu Nom du journal.
Saisissez dataplex.googleapis.com%2Fmetadata_job, puis sélectionnez metadata_job.
Cliquez sur Appliquer.

gcloud

Pour lire les entrées de journal de vos tâches de métadonnées, exécutez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Journaux de traitement des requêtes

Lorsque vous utilisez Dataplex pour planifier et exécuter des tâches, un processus journal est généré dans Logging pour le job obtenu.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, accédez à l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Tâche Cloud Dataplex. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fprocess. Sélectionnez process (traitement), puis cliquez sur Apply (Appliquer).
Facultatif : Filtrez les journaux pour une tâche spécifique en ajoutant le code suivant : dans la requête de journal:
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal de processus, utilisez la méthode Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Étape suivante

Apprenez-en plus sur Cloud Logging.
En savoir plus sur la surveillance Dataplex