您可在以下位置查看、搜索、过滤和归档 Dataplex 作业日志 Cloud Logging。
如需了解您的费用，请参阅 Google Cloud Observability 价格。
如需了解日志保留，请参阅日志保留期限。
请参阅排除项过滤器以停用所有日志或进行排除 日志。
如需将日志从 Logging 路由到 Cloud Storage、BigQuery 或 Pub/Sub，请参阅路由和存储概览。
在 Logging 中访问 Dataplex 服务日志
Dataplex 将以下服务日志发布到 Cloud Logging。
| 日志类型 | 日志名称 | logName 条查询 |
日志说明 |
|---|---|---|---|
| 数据扫描事件日志 | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
数据扫描作业的事件日志，指示了作业状态、结果和统计信息 |
| 数据质量扫描规则结果日志 | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
数据质量作业中数据质量扫描规则的结果 |
| 发现日志 | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
区域中资产的发现进度和更新 |
| 处理日志 | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
由数据处理任务产生的作业运行 |
您可以使用
Logs Explorer
Google Cloud 控制台、
gcloud logging 命令或
Logging API。
查询数据扫描事件日志
当您使用 Dataplex 创建和运行数据扫描时，会在 Logging 中为生成的作业生成数据扫描事件日志。
控制台
在 Google Cloud 控制台中，转到日志浏览器页面。
在日志浏览器视图中，找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex DataScan。点击应用。
点击日志名称菜单。
在搜索日志名称字段中，输入
dataplex.googleapis.com%2Fdata_scan.选择 data_scan 并 点击应用。可选：通过在日志查询中添加以下过滤条件，按特定数据扫描 ID 或位置过滤日志：
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
点击运行查询。
gcloud
如需读取您的数据扫描事件日志条目，请使用
gcloud logging read 命令
替换为以下查询：
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
如需列出日志条目，请使用
entries.list 方法。
查询数据质量扫描规则结果日志
当您使用 Dataplex 创建并运行数据质量扫描时，系统会在 Logging 中为生成的作业生成数据质量扫描规则结果日志。
控制台
在 Google Cloud 控制台中，转到日志浏览器页面。
在日志浏览器视图中，找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex DataScan。点击应用。
点击日志名称菜单。
在搜索日志名称字段中，输入
dataplex.googleapis.com%2Fdata_quality_scan_rule_result.选择 data_quality_scan_rule_result，然后点击应用。可选：通过在日志查询中添加以下过滤条件，按特定数据扫描 ID 或位置过滤日志：
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
点击运行查询。
gcloud
如需读取数据质量扫描规则结果日志条目，请使用
gcloud logging read 命令
替换为以下查询：
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
如需列出日志条目，请使用
entries.list 方法。
查询发现日志
使用 Dataplex 发现资产中的数据时，发现日志 都是在 Logging 中生成的。
控制台
在 Google Cloud 控制台中，转到日志浏览器页面。
在日志浏览器视图中，找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex Zone。点击应用。
点击日志名称菜单。
在搜索日志名称字段中，输入
dataplex.googleapis.com%2Fdiscovery.选择 discovery（发现）并 点击应用。可选：在日志查询中添加以下过滤条件，以过滤出特定资产的日志：
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
点击运行查询。
gcloud
如需读取发现日志条目，请使用
gcloud logging read 命令
替换为以下查询：
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
如需列出日志条目，请使用
entries.list 方法。
查询进程日志
使用 Dataplex 进行 调度和运行任务是一个过程， 在 Logging 中为生成的作业生成日志。
控制台
在 Google Cloud 控制台中，转到日志浏览器页面。
在日志浏览器视图中，找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex Task。点击应用。
点击日志名称菜单。
在搜索日志名称字段中，输入
dataplex.googleapis.com%2Fprocess.选择 process（流程），然后点击 应用。可选：通过添加以下代码来过滤特定任务的日志 过滤条件：
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
点击运行查询。
gcloud
如需读取您的进程日志条目，请使用
gcloud logging read 命令
替换为以下查询：
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
如需列出日志条目，请使用
entries.list 方法。
后续步骤
- 详细了解 Cloud Logging。
- 了解 Dataplex 监控。