您可在以下位置查看、搜索、过滤和归档 Dataplex 作业日志 Cloud Logging。
如需了解费用,请参阅 Google Cloud Observability 价格。
如需了解日志保留,请参阅日志保留期限。
请参阅排除项过滤器以停用所有日志或进行排除 日志。
如需将日志从 Logging 路由到 Cloud Storage、BigQuery 或 Pub/Sub,请参阅路由和存储概览。
在 Logging 中访问 Dataplex 服务日志
Dataplex 将以下服务日志发布到 Cloud Logging。
日志类型 | 日志名称 | logName 条查询 |
日志说明 |
---|---|---|---|
数据扫描事件日志 | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
数据扫描作业的事件日志,其中显示作业状态、结果和统计信息 |
数据质量扫描规则结果日志 | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
数据质量作业中数据质量扫描规则的结果 |
发现日志 | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
可用区中资产的发现进度和更新 |
元数据作业日志 | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
元数据导入文件中与元数据导入作业和导入项相关的日志 |
进程日志 | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
由数据处理任务导致的作业运行 |
您可以使用
Logs Explorer
Google Cloud 控制台、
gcloud logging
命令或
Logging API。
查询数据扫描事件日志
当您使用 Dataplex 创建和运行数据扫描时,系统会在 Logging 中为生成的作业生成数据扫描事件日志。
控制台
在 Google Cloud 控制台中,转到日志浏览器页面。
在日志浏览器视图中,找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex DataScan。点击应用。
点击日志名称菜单。
在搜索日志名称字段中,输入
dataplex.googleapis.com%2Fdata_scan
。选择 data_scan 并 点击应用。可选:在日志查询中添加以下过滤条件,将日志过滤到特定的数据扫描 ID 或位置:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
点击运行查询。
gcloud
如需读取数据扫描事件日志条目,请将 gcloud logging read
命令与以下查询搭配使用:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
如需列出日志条目,请使用 entries.list
方法。
查询数据质量扫描规则结果日志
当您使用 Dataplex 创建和运行数据质量扫描时,系统会在“日志记录”中为生成的作业生成数据质量扫描规则结果日志。
控制台
在 Google Cloud 控制台中,转到日志浏览器页面。
在日志浏览器视图中,找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex DataScan。点击应用。
点击日志名称菜单。
在搜索日志名称字段中,输入
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
。选择 data_quality_scan_rule_result,然后点击 Apply。可选:通过在日志查询中添加以下过滤条件,按特定数据扫描 ID 或位置过滤日志:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
点击运行查询。
gcloud
如需读取数据质量扫描规则结果日志条目,请将 gcloud logging read
命令与以下查询搭配使用:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
如需列出日志条目,请使用
entries.list
方法。
查询发现日志
当您使用 Dataplex 发现资产中的数据时,Logging 中会生成发现日志。
控制台
在 Google Cloud 控制台中,转到日志浏览器页面。
在日志浏览器视图中,找到查询标签页。
点击资源菜单。
选择 Cloud Dataplex Zone。点击应用。
点击日志名称菜单。
在搜索日志名称字段中,输入
dataplex.googleapis.com%2Fdiscovery
。选择发现,然后点击应用。可选:在日志查询中添加以下过滤条件,以过滤出特定资产的日志:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
点击运行查询。
gcloud
如需读取发现日志条目,请将 gcloud logging read
命令与以下查询搭配使用:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
如需列出日志条目,请使用
entries.list
方法。
查询元数据作业日志
运行元数据导入作业时,Logging 中会生成元数据作业日志。
控制台
在 Google Cloud 控制台中,转到日志浏览器页面。
在 Logs Explorer 视图中,找到 Query(查询)标签页。
点击资源菜单。
选择 Cloud Dataplex 元数据作业。
可选:如需将日志过滤到特定位置或元数据作业 ID,请选择相应位置或作业 ID。
点击应用。
点击日志名称菜单。
输入
dataplex.googleapis.com%2Fmetadata_job
,然后选择 metadata_job。点击应用。
gcloud
如需读取元数据作业日志条目,请使用
gcloud logging read
命令
替换为以下查询:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/MetadataJob" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND resource.labels.location=LOCATION AND resource.labels.metadata_job_id=METADATA_JOB_ID --limit 10
REST
如需列出日志条目,请使用
entries.list
方法。
查询进程日志
使用 Dataplex 进行 调度和运行任务 在 Logging 中为生成的作业生成日志。
控制台
在 Google Cloud 控制台中,转到日志浏览器页面。
在 Logs Explorer 视图中,找到 Query(查询)标签页。
点击资源菜单。
选择 Cloud Dataplex 任务。点击应用。
点击日志名称菜单。
在搜索日志名称字段中,输入
dataplex.googleapis.com%2Fprocess
。选择进程,然后点击应用。可选:通过添加以下代码来过滤特定任务的日志 过滤条件:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
点击运行查询。
gcloud
如需读取您的进程日志条目,请使用
gcloud logging read
命令
替换为以下查询:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
如需列出日志条目,请使用
entries.list
方法。
后续步骤
- 详细了解 Cloud Logging。
- 了解 Dataplex 监控。