监控 Dataplex 日志

您可在以下位置查看、搜索、过滤和归档 Dataplex 作业日志 Cloud Logging。

在 Logging 中访问 Dataplex 服务日志

Dataplex 将以下服务日志发布到 Cloud Logging。

日志类型 日志名称 logName 条查询 日志说明
数据扫描事件日志 dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) 数据扫描作业的事件日志，其中显示作业状态、结果和统计信息
数据质量扫描规则结果日志 dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) 数据质量作业中数据质量扫描规则的结果
发现日志 dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) 可用区中资产的发现进度和更新
元数据作业日志 dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) 元数据导入文件中与元数据导入作业和导入项相关的日志
进程日志 dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) 由数据处理任务导致的作业运行

您可以使用 Logs Explorer Google Cloud 控制台、 gcloud logging 命令或 Logging API。

查询数据扫描事件日志

当您使用 Dataplex 创建和运行数据扫描时，系统会在 Logging 中为生成的作业生成数据扫描事件日志。

控制台

  1. 在 Google Cloud 控制台中，转到日志浏览器页面。

    转到日志浏览器

  2. 在日志浏览器视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex DataScan。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fdata_scan。选择 data_scan 并 点击应用。

  7. 可选：在日志查询中添加以下过滤条件，将日志过滤到特定的数据扫描 ID 或位置：

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. 点击运行查询。

gcloud

如需读取数据扫描事件日志条目，请将 gcloud logging read 命令与以下查询搭配使用：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询数据质量扫描规则结果日志

当您使用 Dataplex 创建和运行数据质量扫描时，系统会在“日志记录”中为生成的作业生成数据质量扫描规则结果日志。

控制台

  1. 在 Google Cloud 控制台中，转到日志浏览器页面。

    转到日志浏览器

  2. 在日志浏览器视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex DataScan。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fdata_quality_scan_rule_result。选择 data_quality_scan_rule_result，然后点击 Apply。

  7. 可选：通过在日志查询中添加以下过滤条件，按特定数据扫描 ID 或位置过滤日志：

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. 点击运行查询。

gcloud

如需读取数据质量扫描规则结果日志条目，请将 gcloud logging read 命令与以下查询搭配使用：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询发现日志

当您使用 Dataplex 发现资产中的数据时，Logging 中会生成发现日志。

控制台

  1. 在 Google Cloud 控制台中，转到日志浏览器页面。

    转到日志浏览器

  2. 在日志浏览器视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex Zone。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fdiscovery。选择发现，然后点击应用。

  7. 可选：在日志查询中添加以下过滤条件，以过滤出特定资产的日志：

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. 点击运行查询。

gcloud

如需读取发现日志条目，请将 gcloud logging read 命令与以下查询搭配使用：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询元数据作业日志

运行元数据导入作业时，Logging 中会生成元数据作业日志。

控制台

  1. 在 Google Cloud 控制台中，转到日志浏览器页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到 Query（查询）标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex 元数据作业。

  5. 可选：如需将日志过滤到特定位置或元数据作业 ID，请选择相应位置或作业 ID。

  6. 点击应用。

  7. 点击日志名称菜单。

  8. 输入 dataplex.googleapis.com%2Fmetadata_job，然后选择 metadata_job。

  9. 点击应用。

gcloud

如需读取元数据作业日志条目，请使用 gcloud logging read 命令 替换为以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询进程日志

使用 Dataplex 进行 调度和运行任务 在 Logging 中为生成的作业生成日志。

控制台

  1. 在 Google Cloud 控制台中，转到日志浏览器页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到 Query（查询）标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex 任务。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fprocess。选择进程，然后点击应用。

  7. 可选：通过添加以下代码来过滤特定任务的日志 过滤条件：

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. 点击运行查询。

gcloud

如需读取您的进程日志条目，请使用 gcloud logging read 命令 替换为以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

后续步骤