Surveiller les journaux Dataplex

Vous pouvez afficher, rechercher, filtrer et archiver les journaux de tâches Dataplex dans Cloud Logging.

Pour en savoir plus sur les coûts, consultez la page Tarifs de Google Cloud Observability.

Pour en savoir plus sur la conservation des journaux, consultez la section Durée de conservation des journaux.

Pour désactiver tous les journaux ou en exclure de Logging, consultez la section Filtres d'exclusion.

Pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub, consultez la page Présentation du routage et du stockage.

Accéder aux journaux du service Dataplex dans Logging

Dataplex publie les journaux de service suivants dans Cloud Logging.

Type de journal Nom du journal Requête logName Description du journal
Journaux des événements d'analyse des données dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Journaux des événements pour les tâches d'analyse des données indiquant l'état, les résultats et les statistiques de la tâche
Journaux des résultats des règles d'analyse de la qualité des données dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Résultats des règles d'analyse de la qualité des données dans un job d'évaluation de la qualité des données
Journaux de découverte dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progression de la découverte et mises à jour des éléments d'une zone
Journaux des tâches de métadonnées dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Journaux sur les tâches d'importation de métadonnées et les éléments importés dans le fichier d'importation de métadonnées
Journaux de processus dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Exécutions de tâches résultant de tâches de traitement des données

Remplacez les éléments suivants :

  • PROJECT_ID : ID de votre projet

Pour accéder à Logging, vous pouvez utiliser l'explorateur de journaux dans la consoleGoogle Cloud , les commandes gcloud logging ou l'API Logging.

Interroger les journaux des événements d'analyse des données

Lorsque vous utilisez Dataplex pour créer et exécuter une analyse des données, un journal des événements d'analyse des données est généré dans Logging pour la tâche générée.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdata_scan. Sélectionnez data_scan, puis cliquez sur Appliquer.

  7. Facultatif: filtrez les journaux sur un ID ou un emplacement d'analyse de données spécifique en ajoutant les filtres suivants dans la requête de journal:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal des événements d'analyse des données, utilisez la commande gcloud logging read avec la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux des résultats des règles d'analyse de la qualité des données

Lorsque vous utilisez Dataplex pour créer et exécuter une analyse de la qualité des données, un journal des résultats des règles d'analyse de la qualité des données est généré dans la journalisation pour le job généré.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Sélectionnez data_quality_scan_rule_result, puis cliquez sur Appliquer.

  7. Facultatif: filtrez les journaux sur un ID ou un emplacement d'analyse de données spécifique en ajoutant les filtres suivants dans la requête de journal:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal des résultats de la règle d'analyse de la qualité des données, utilisez la commande gcloud logging read avec la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux de découverte

Lorsque vous utilisez Dataplex pour découvrir des données dans des éléments, un journal de découverte est généré dans Logging.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Zone Cloud Dataplex. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdiscovery. Sélectionnez Découverte, puis cliquez sur Appliquer.

  7. (Facultatif) Filtrez les journaux sur un composant spécifique en ajoutant les filtres suivants dans la requête de journal :

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de votre journal de découverte, utilisez la commande gcloud logging read avec la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux des tâches de métadonnées

Lorsque vous exécutez une tâche d'importation de métadonnées, des journaux de tâches de métadonnées sont générés dans Logging.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Job de métadonnées Cloud Dataplex.

  5. Facultatif: Pour filtrer les journaux en fonction d'un emplacement ou d'un ID de tâche de métadonnées spécifiques, sélectionnez un emplacement ou un ID de tâche.

  6. Cliquez sur Appliquer.

  7. Cliquez sur le menu Nom du journal.

  8. Saisissez dataplex.googleapis.com%2Fmetadata_job, puis sélectionnez metadata_job.

  9. Cliquez sur Appliquer.

gcloud

Pour lire les entrées de journal de vos tâches de métadonnées, exécutez la commande gcloud logging read avec la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux de processus

Lorsque vous utilisez Dataplex pour planifier et exécuter des tâches, un journal de processus est généré dans Logging pour la tâche générée.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Tâche Cloud Dataplex. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fprocess. Sélectionnez process (traitement), puis cliquez sur Apply (Appliquer).

  7. Facultatif: Filtrez les journaux sur une tâche spécifique en ajoutant les filtres suivants dans la requête de journal:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal de votre processus, utilisez la commande gcloud logging read avec la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Étape suivante