Dataplex ログをモニタリングする

Dataplex ジョブのログは、Cloud Logging で表示、検索、フィルタ、アーカイブを行えます。

Logging の Dataplex サービスログにアクセスする

Dataplex は、次のサービスログを Cloud Logging に公開します。

ログタイプ ログ名 logName クエリ ログの説明
データスキャンのイベントログ dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) ジョブの状態、結果、統計情報を示すデータスキャン ジョブのイベントログ
データ品質スキャンルールの結果ログ dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) データ品質ジョブのデータ品質スキャンルールの結果
検出ログ dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) ゾーン内のアセットの検出の進行状況と更新情報
プロセスログ dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) データ処理タスクの結果、ジョブを実行する

Logging にアクセスするには、Google Cloud コンソールの ログ エクスプローラgcloud logging コマンド、または Logging API を使用します。

データスキャン イベントログをクエリする

Dataplex を使用してデータスキャンを作成して実行すると、その結果となるジョブのデータスキャン イベントログが Logging に生成されます。

コンソール

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex DataScan] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [ログ名を検索] フィールドに「dataplex.googleapis.com%2Fdata_scan」と入力します。[data_scan] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。

    resource.labels.location="LOCATION"
    resource.labels.datascan_id="DATA_SCAN_ID"
    
  8. [クエリを実行] をクリックします。

gcloud

データスキャンのイベント ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

データ品質スキャンルールの結果ログをクエリする

Dataplex を使用してデータ品質スキャンを作成して実行すると、その結果となるジョブのデータ品質スキャンルールの結果ログが Logging に生成されます。

コンソール

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex DataScan] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [ログ名を検索] フィールドに「dataplex.googleapis.com%2Fdata_quality_scan_rule_result」と入力します。[data_quality_scan_rule_result] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。

    resource.labels.location="LOCATION"
    resource.labels.datascan_id="DATA_SCAN_ID"
    
  8. [クエリを実行] をクリックします。

gcloud

データ品質スキャンルールの結果ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

クエリ検出ログ

Dataplex を使用してアセット内のデータを検出すると、Logging に検出ログが生成されます。

コンソール

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex ゾーン] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [ログ名を検索] フィールドに「dataplex.googleapis.com%2Fdiscovery」と入力します。[検出] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のアセットにフィルタリングします。

    resource.labels.location="LOCATION"
    resource.labels.lake_id="LAKE_ID"
    resource.labels.zone_id="ZONE_ID"
    jsonPayload.assetId="ASSET_ID"
    
  8. [クエリを実行] をクリックします。

gcloud

検出ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

プロセスログをクエリする

Dataplex を使用してタスクをスケジューリングして実行すると、その結果となるジョブのプロセスログが Logging に生成されます。

コンソール

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex タスク] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [ログ名を検索] フィールドに「dataplex.googleapis.com%2Fprocess」と入力します。[プロセス] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のタスクにフィルタリングします。

    resource.labels.location="LOCATION"
    resource.labels.lake_id="LAKE_ID"
    resource.labels.task_id="TASK_ID"
    
  8. [クエリを実行] をクリックします。

gcloud

プロセスのログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

次のステップ