Dataplex のログをモニタリングする

Dataplex ジョブのログは、Cloud Logging で表示、検索、フィルタ、アーカイブを行えます。

• 費用については、Google Cloud Observability の料金をご覧ください。

• ログの保持期間については、ログの保持期間をご覧ください。

• すべてのログを無効にするか、Logging からログを除外するには、除外フィルタをご覧ください。

• Logging から Cloud Storage、BigQuery、Pub/Sub にログを転送するには、ルーティングとストレージの概要をご覧ください。

Logging で Dataplex サービスログにアクセスする

Dataplex は、次のサービスログを Cloud Logging に公開します。

ログタイプ	ログ名	logName クエリ	ログの説明
データスキャンのイベントログ	dataplex.googleapis.com/data_scan	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)	ジョブの状態、結果、統計情報を示すデータスキャン ジョブのイベントログ
データ品質スキャンルールの結果ログ	dataplex.googleapis.com/data_quality_scan_rule_result	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)	データ品質ジョブにおけるデータ品質スキャンルールの結果
検出ログ	dataplex.googleapis.com/discovery	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)	ゾーン内のアセットの検出の進行状況と更新
プロセスログ	dataplex.googleapis.com/process	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)	データ処理タスクの結果、ジョブを実行する

データスキャン イベントログをクエリする

Dataplex を使用してデータスキャンを作成して実行すると、結果のジョブに対して、データスキャンのイベントログが Logging に生成されます。

Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。

コンソール

1. Google Cloud コンソールで、[Cloud Logging] > [Logs]（ログ エクスプローラ）に移動します。

   [ログ エクスプローラ] に移動

2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

3. [リソース] プルダウンをクリックします。

4. [Cloud Dataplex DataScan] を選択します。[適用] をクリックします。

5. [ログ名] プルダウンをクリックします。

6. [ログ名を検索] フィールドに「dataplex.googleapis.com%2Fdata_scan」と入力します。[data_scan] を選択し、[適用] をクリックします。

7. 省略可: ログクエリに次のフィルタを追加して、特定のデータスキャン ID または場所にログをフィルタします。

   resource.labels.location="LOCATION"
   resource.labels.datascan_id="DATA_SCAN_ID"
   

8. [クエリを実行] をクリックします。

gcloud

Google Cloud SDK には、コマンドのグループである gcloud logging があり、Cloud Logging API にコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

API Explorer を使用し、Logging API の手順に従ってログエントリ（entries.list）を一覧表示します。

データ品質スキャンルールの結果ログをクエリする

Dataplex を使用してデータ品質スキャンを作成して実行すると、結果のジョブに対して、データ品質スキャンルールの結果ログが Logging に生成されます。

Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。

コンソール

1. Google Cloud コンソールで、[Cloud Logging] > [Logs]（ログ エクスプローラ）に移動します。

   [ログ エクスプローラ] に移動

2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

3. [リソース] プルダウンをクリックします。

4. [Cloud Dataplex DataScan] を選択します。[適用] をクリックします。

5. [ログ名] プルダウンをクリックします。

6. [ログ名を検索] フィールドに「dataplex.googleapis.com%2Fdata_quality_scan_rule_result」と入力します。[data_quality_scan_rule_result] を選択し、[適用] をクリックします。

7. 省略可: ログクエリに次のフィルタを追加して、特定のデータスキャン ID または場所にログをフィルタします。

   resource.labels.location="LOCATION"
   resource.labels.datascan_id="DATA_SCAN_ID"
   

8. [クエリを実行] をクリックします。

gcloud

Google Cloud SDK には、コマンドのグループである gcloud logging があり、Cloud Logging API にコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

API Explorer を使用し、Logging API の手順に従ってログエントリ（entries.list）を一覧表示します。

クエリ検出ログ

Dataplex を使用してアセット内のデータを検出すると、Logging に検出ログが生成されます。

Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。

コンソール

1. Google Cloud コンソールで、[Cloud Logging] > [Logs]（ログ エクスプローラ）に移動します。

   [ログ エクスプローラ] に移動

2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

3. [リソース] プルダウンをクリックします。

4. [Cloud Dataplex ゾーン] を選択します。[Add] をクリックします。

5. [ログ名] プルダウンをクリックします。

6. タイプ dataplex.googleapis.com%2Fdiscovery。[検出] を選択し、[追加] をクリックします。

7. （省略可）ログクエリに次のフィルタを追加して、ログを特定のアセットにフィルタリングします。

   resource.labels.location="LOCATION"
   resource.labels.lake_id="LAKE_ID"
   resource.labels.zone_id="ZONE_ID"
   jsonPayload.assetId="ASSET_ID"
   

8. [クエリを実行] をクリックします。

gcloud

Google Cloud CLI にあるコマンドグループ gcloud logging は、Cloud Logging API のコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

API Explorer を使用し、Logging API の手順に従ってログエントリ（entries.list）を一覧表示します。

クエリプロセスのログ

Dataplex を使用してタスクをスケジューリングして実行すると、結果のジョブに対して、プロセスログが Logging に生成されます。

Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。

コンソール

1. Google Cloud コンソールで、[Cloud Logging] > [Logs]（ログ エクスプローラ）に移動します。

   [ログ エクスプローラ] に移動

2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

3. [リソース] プルダウンをクリックします。

4. [Cloud Dataplex タスク] を選択します。[Add] をクリックします。

5. [ログ名] プルダウンをクリックします。

6. タイプ dataplex.googleapis.com%2Fprocess。[プロセス] を選択し、[追加] をクリックします。

7. （省略可）ログクエリに次のフィルタを追加して、ログを特定のタスクにフィルタリングします。

   resource.labels.location="LOCATION"
   resource.labels.lake_id="LAKE_ID"
   resource.labels.task_id="TASK_ID"
   

8. [クエリを実行] をクリックします。

gcloud

Google Cloud SDK には、コマンドのグループである gcloud logging があり、Cloud Logging API にコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

API Explorer を使用し、Logging API の手順に従ってログエントリ（entries.list）を一覧表示します。

次のステップ

• Cloud Logging の詳細を確認します。
• Dataplex のモニタリングを確認します。