监控 Dataplex 日志

您可在以下位置查看、搜索、过滤和归档 Dataplex 作业日志 Cloud Logging

在 Logging 中访问 Dataplex 服务日志

Dataplex 将以下服务日志发布到 Cloud Logging。

日志类型 日志名称 logName 条查询 日志说明
数据扫描事件日志 dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) 数据扫描作业的事件日志,其中显示作业状态、结果和统计信息
数据质量扫描规则结果日志 dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) 数据质量作业中数据质量扫描规则的结果
发现日志 dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) 可用区中资产的发现进度和更新
元数据作业日志 dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) 元数据导入文件中与元数据导入作业和导入项相关的日志
进程日志 dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) 由数据处理任务导致的作业运行

您可以使用 Logs Explorer Google Cloud 控制台、 gcloud logging 命令Logging API

查询数据扫描事件日志

当您使用 Dataplex 创建和运行数据扫描时,系统会在 Logging 中为生成的作业生成数据扫描事件日志。

控制台

  1. 在 Google Cloud 控制台中,转到日志浏览器页面。

    转到日志浏览器

  2. 日志浏览器视图中,找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex DataScan。点击应用

  5. 点击日志名称菜单。

  6. 搜索日志名称字段中,输入 dataplex.googleapis.com%2Fdata_scan。选择 data_scan 并 点击应用

  7. 可选:在日志查询中添加以下过滤条件,将日志过滤到特定的数据扫描 ID 或位置:

    resource.labels.location="LOCATION"
    resource.labels.datascan_id="DATA_SCAN_ID"
    
  8. 点击运行查询

gcloud

如需读取数据扫描事件日志条目,请将 gcloud logging read 命令与以下查询搭配使用:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

如需列出日志条目,请使用 entries.list 方法

查询数据质量扫描规则结果日志

当您使用 Dataplex 创建和运行数据质量扫描时,系统会在“日志记录”中为生成的作业生成数据质量扫描规则结果日志。

控制台

  1. 在 Google Cloud 控制台中,转到日志浏览器页面。

    转到日志浏览器

  2. 日志浏览器视图中,找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex DataScan。点击应用

  5. 点击日志名称菜单。

  6. 搜索日志名称字段中,输入 dataplex.googleapis.com%2Fdata_quality_scan_rule_result。选择 data_quality_scan_rule_result,然后点击 Apply

  7. 可选:通过在日志查询中添加以下过滤条件,按特定数据扫描 ID 或位置过滤日志:

    resource.labels.location="LOCATION"
    resource.labels.datascan_id="DATA_SCAN_ID"
    
  8. 点击运行查询

gcloud

如需读取数据质量扫描规则结果日志条目,请将 gcloud logging read 命令与以下查询搭配使用:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

如需列出日志条目,请使用 entries.list 方法

查询发现日志

当您使用 Dataplex 发现资产中的数据时,Logging 中会生成发现日志。

控制台

  1. 在 Google Cloud 控制台中,转到日志浏览器页面。

    转到日志浏览器

  2. 日志浏览器视图中,找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex Zone。点击应用

  5. 点击日志名称菜单。

  6. 搜索日志名称字段中,输入 dataplex.googleapis.com%2Fdiscovery。选择发现,然后点击应用

  7. 可选:在日志查询中添加以下过滤条件,以过滤出特定资产的日志:

    resource.labels.location="LOCATION"
    resource.labels.lake_id="LAKE_ID"
    resource.labels.zone_id="ZONE_ID"
    jsonPayload.assetId="ASSET_ID"
    
  8. 点击运行查询

gcloud

如需读取发现日志条目,请将 gcloud logging read 命令与以下查询搭配使用:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

如需列出日志条目,请使用 entries.list 方法

查询元数据作业日志

运行元数据导入作业时,Logging 中会生成元数据作业日志。

控制台

  1. 在 Google Cloud 控制台中,转到日志浏览器页面。

    转到日志浏览器

  2. Logs Explorer 视图中,找到 Query(查询)标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex 元数据作业

  5. 可选:如需将日志过滤到特定位置或元数据作业 ID,请选择相应位置或作业 ID。

  6. 点击应用

  7. 点击日志名称菜单。

  8. 输入 dataplex.googleapis.com%2Fmetadata_job,然后选择 metadata_job

  9. 点击应用

gcloud

如需读取元数据作业日志条目,请使用 gcloud logging read 命令 替换为以下查询:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

如需列出日志条目,请使用 entries.list 方法

查询进程日志

使用 Dataplex 进行 调度和运行任务 在 Logging 中为生成的作业生成日志。

控制台

  1. 在 Google Cloud 控制台中,转到日志浏览器页面。

    转到日志浏览器

  2. Logs Explorer 视图中,找到 Query(查询)标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex 任务。点击应用

  5. 点击日志名称菜单。

  6. 搜索日志名称字段中,输入 dataplex.googleapis.com%2Fprocess。选择进程,然后点击应用

  7. 可选:通过添加以下代码来过滤特定任务的日志 过滤条件:

    resource.labels.location="LOCATION"
    resource.labels.lake_id="LAKE_ID"
    resource.labels.task_id="TASK_ID"
    
  8. 点击运行查询

gcloud

如需读取您的进程日志条目,请使用 gcloud logging read 命令 替换为以下查询:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

如需列出日志条目,请使用 entries.list 方法

后续步骤