Dataplex ジョブのログは、Cloud Logging で表示、検索、フィルタ、アーカイブを行えます。
費用については、Google Cloud Observability の料金をご覧ください。
ログの保持期間については、ログの保持期間をご覧ください。
すべてのログを無効にするか、Logging からログを除外するには、除外フィルタをご覧ください。
Logging から Cloud Storage、BigQuery、Pub/Sub にログを転送するには、ルーティングとストレージの概要をご覧ください。
Logging の Dataplex サービスログにアクセスする
Dataplex は、次のサービスログを Cloud Logging に公開します。
| ログタイプ | ログ名 | logName クエリ |
ログの説明 |
|---|---|---|---|
| データスキャンのイベントログ | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
ジョブの状態、結果、統計情報を示すデータスキャン ジョブのイベントログ |
| データ品質スキャンルールの結果ログ | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
データ品質ジョブのデータ品質スキャンルールの結果 |
| 検出ログ | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
ゾーン内のアセットの検出の進行状況と更新情報 |
| プロセスログ | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
データ処理タスクの結果、ジョブを実行する |
Logging にアクセスするには、Google Cloud コンソールの ログ エクスプローラ、gcloud logging コマンド、または Logging API を使用します。
データスキャン イベントログをクエリする
Dataplex を使用してデータスキャンを作成して実行すると、その結果となるジョブのデータスキャン イベントログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] に移動
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex DataScan] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名を検索] フィールドに「
dataplex.googleapis.com%2Fdata_scan」と入力します。[data_scan] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
[クエリを実行] をクリックします。
gcloud
データスキャンのイベント ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
データ品質スキャンルールの結果ログをクエリする
Dataplex を使用してデータ品質スキャンを作成して実行すると、その結果となるジョブのデータ品質スキャンルールの結果ログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] に移動
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex DataScan] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名を検索] フィールドに「
dataplex.googleapis.com%2Fdata_quality_scan_rule_result」と入力します。[data_quality_scan_rule_result] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
[クエリを実行] をクリックします。
gcloud
データ品質スキャンルールの結果ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
クエリ検出ログ
Dataplex を使用してアセット内のデータを検出すると、Logging に検出ログが生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] に移動
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex ゾーン] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名を検索] フィールドに「
dataplex.googleapis.com%2Fdiscovery」と入力します。[検出] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のアセットにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
[クエリを実行] をクリックします。
gcloud
検出ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
プロセスログをクエリする
Dataplex を使用してタスクをスケジューリングして実行すると、その結果となるジョブのプロセスログが Logging に生成されます。
コンソール
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
[ログ エクスプローラ] に移動
[ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。
[リソース] メニューをクリックします。
[Cloud Dataplex タスク] を選択します。[適用] をクリックします。
[ログ名] メニューをクリックします。
[ログ名を検索] フィールドに「
dataplex.googleapis.com%2Fprocess」と入力します。[プロセス] を選択し、[適用] をクリックします。省略可: ログクエリに次のフィルタを追加して、ログを特定のタスクにフィルタリングします。
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
[クエリを実行] をクリックします。
gcloud
プロセスのログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
ログエントリを一覧表示するには、entries.list メソッドを使用します。
次のステップ
- Cloud Logging の詳細を確認します。
- Dataplex のモニタリングを確認します。