Dataplex ジョブのログは、Cloud Logging で表示、検索、フィルタ、アーカイブを行えます。
費用については、Google Cloud Observability の料金をご覧ください。
ログの保持期間については、ログの保持期間をご覧ください。
すべてのログを無効にするか、Logging からログを除外するには、除外フィルタをご覧ください。
Logging から Cloud Storage、BigQuery、Pub/Sub にログを転送するには、ルーティングとストレージの概要をご覧ください。
Logging で Dataplex サービスログにアクセスする
Dataplex は、次のサービスログを Cloud Logging に公開します。
ログタイプ | ログ名 | logName クエリ | ログの説明 |
---|---|---|---|
データスキャンのイベントログ | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
ジョブの状態、結果、統計情報を示すデータスキャン ジョブのイベントログ |
データ品質スキャンルールの結果ログ | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
データ品質ジョブにおけるデータ品質スキャンルールの結果 |
検出ログ | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
ゾーン内のアセットの検出の進行状況と更新 |
プロセスログ | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
データ処理タスクの結果、ジョブを実行する |
データスキャン イベントログをクエリする
Dataplex を使用してデータスキャンを作成して実行すると、結果のジョブに対して、データスキャンのイベントログが Logging に生成されます。
Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。
コンソール
Google Cloud コンソールで、[Cloud Logging] > [Logs](ログ エクスプローラ)に移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] プルダウンをクリックします。
[Cloud Dataplex DataScan] を選択します。[適用] をクリックします。
[ログ名] プルダウンをクリックします。
[ログ名を検索] フィールドに「
dataplex.googleapis.com%2Fdata_scan
」と入力します。[data_scan] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、特定のデータスキャン ID または場所にログをフィルタします。
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
[クエリを実行] をクリックします。
gcloud
Google Cloud SDK には、コマンドのグループである gcloud logging
があり、Cloud Logging API にコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
API Explorer を使用し、Logging API の手順に従ってログエントリ(entries.list)を一覧表示します。
データ品質スキャンルールの結果ログをクエリする
Dataplex を使用してデータ品質スキャンを作成して実行すると、結果のジョブに対して、データ品質スキャンルールの結果ログが Logging に生成されます。
Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。
コンソール
Google Cloud コンソールで、[Cloud Logging] > [Logs](ログ エクスプローラ)に移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] プルダウンをクリックします。
[Cloud Dataplex DataScan] を選択します。[適用] をクリックします。
[ログ名] プルダウンをクリックします。
[ログ名を検索] フィールドに「
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
」と入力します。[data_quality_scan_rule_result] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、特定のデータスキャン ID または場所にログをフィルタします。
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
[クエリを実行] をクリックします。
gcloud
Google Cloud SDK には、コマンドのグループである gcloud logging
があり、Cloud Logging API にコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
API Explorer を使用し、Logging API の手順に従ってログエントリ(entries.list)を一覧表示します。
クエリ検出ログ
Dataplex を使用してアセット内のデータを検出すると、Logging に検出ログが生成されます。
Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。
コンソール
Google Cloud コンソールで、[Cloud Logging] > [Logs](ログ エクスプローラ)に移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] プルダウンをクリックします。
[Cloud Dataplex ゾーン] を選択します。[Add] をクリックします。
[ログ名] プルダウンをクリックします。
タイプ
dataplex.googleapis.com%2Fdiscovery
。[検出] を選択し、[追加] をクリックします。(省略可)ログクエリに次のフィルタを追加して、ログを特定のアセットにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
[クエリを実行] をクリックします。
gcloud
Google Cloud CLI にあるコマンドグループ gcloud logging
は、Cloud Logging API のコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
API Explorer を使用し、Logging API の手順に従ってログエントリ(entries.list)を一覧表示します。
クエリプロセスのログ
Dataplex を使用してタスクをスケジューリングして実行すると、結果のジョブに対して、プロセスログが Logging に生成されます。
Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。
コンソール
Google Cloud コンソールで、[Cloud Logging] > [Logs](ログ エクスプローラ)に移動します。
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] プルダウンをクリックします。
[Cloud Dataplex タスク] を選択します。[Add] をクリックします。
[ログ名] プルダウンをクリックします。
タイプ
dataplex.googleapis.com%2Fprocess
。[プロセス] を選択し、[追加] をクリックします。(省略可)ログクエリに次のフィルタを追加して、ログを特定のタスクにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
[クエリを実行] をクリックします。
gcloud
Google Cloud SDK には、コマンドのグループである gcloud logging
があり、Cloud Logging API にコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
API Explorer を使用し、Logging API の手順に従ってログエントリ(entries.list)を一覧表示します。
次のステップ
- Cloud Logging の詳細を確認します。
- Dataplex のモニタリングを確認します。