このドキュメントでは、Cloud Data Fusion のパイプライン ログとサービスログにアクセスして表示する方法について説明します。
Cloud Data Fusion バージョン 6.11 以降では、パイプライン ログとサービスログが Cloud Logging で使用できます。
ログタイプについて
Cloud Data Fusion は、データ統合プロセスのモニタリングとトラブルシューティングに役立つさまざまな種類のログを生成します。
料金
Cloud Logging と Cloud Monitoring の使用には料金が発生します。詳細については、Google Cloud Observability の料金をご覧ください。
省略可: Cloud Data Fusion Logging ダッシュボードをインポートする
Cloud Data Fusion ロギング ダッシュボードを使用してパイプライン ログとサービスログを表示するには、ダッシュボードをインポートします。
Google Cloud コンソールで、Cloud Monitoring の [ダッシュボード] ページに移動します。
[ダッシュボード テンプレートを表示] をクリックします。
Cloud Data Fusion Logging を検索して、ダッシュボードを選択します。
[ Cloud Data Fusion ロギング ダッシュボードをリストに追加] をクリックします。
パイプライン ログを表示する
パイプライン ログは、Cloud Data Fusion Logging ダッシュボードまたはログ エクスプローラで直接表示できます。
ダッシュボードを使用してパイプライン ログを表示する
まだ行っていない場合は、Cloud Data Fusion Logging ダッシュボードをインポートします。
[マイ ダッシュボード] セクションで、[Cloud Data Fusion Logging] をクリックします。
[パイプライン ログ] セクションで、パイプライン ログのリストを表示します。ログは、重大度、フィールド名、値でフィルタできます。
クエリを使用して検索を絞り込むには、ログ エクスプローラを使用します。
ログ エクスプローラでパイプライン ログを表示する
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
次のクエリを入力します。
resource.type="datafusion.googleapis.com/PipelineV2"パイプライン ログのリストが表示されます。フィルタを使用して結果を絞り込むことができます。
パイプライン ログをフィルタする
パイプライン ログは、実行 ID、インスタンス ID、パイプライン ID、ロケーション、Namespace、カスタムラベルでフィルタできます。
Cloud Data Fusion パイプラインのすべての実行には、一意の RunID が割り当てられます。パイプラインをデプロイして実行すると、パイプラインの RunID を確認し、対応するパイプライン ログを表示できます。
RunID でパイプライン ログをフィルタするには、次の操作を行います。
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
次のクエリを入力します。
resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
サービスログを表示する
サービスログは、Cloud Data Fusion ロギング ダッシュボードまたはログ エクスプローラで確認できます。
ダッシュボードを使用してサービスログを表示する
まだ行っていない場合は、Cloud Data Fusion Logging ダッシュボードをインポートします。
[マイ ダッシュボード] セクションで、[Cloud Data Fusion Logging] をクリックします。
[サービスログ] セクションで、サービスログのリストを表示します。ログは、重大度、フィールド名、値でフィルタできます。
クエリを使用して検索を絞り込むには、ログ エクスプローラを使用します。
ログ エクスプローラでサービスログを表示する
Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。
サービス固有のクエリを入力して、サービスログを見つけます。
サービス名 ログクエリ Appfabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
AppFabric プロセッサ resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
データセット エグゼキュータ resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
ログの保存 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
メタデータ サービス resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
指標 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
Pipeline Studio resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
ランタイム resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
Wrangler サービス resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
Cloud Data Fusion で構成可能なロギング
Cloud Data Fusion 6.11.0 では、構成可能なロギングが提供され、Cloud Logging がデフォルトで有効になっています。Cloud Logging を無効にすることは可能ですが、重要なパイプラインとインスタンスのログにアクセスできるように、有効にしておくことを強くおすすめします。
Cloud Logging を無効にするには、次のコマンドを実行します。
echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
--data @- \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"
次のように置き換えます。
PROJECT_ID: Google Cloud プロジェクト IDLOCATION: インスタンスのロケーションINSTANCE_ID: Cloud Data Fusion インスタンスの ID。
次のステップ
- Cloud Data Fusion の監査ロギングの詳細を確認する。
- 高度なパイプライン ログを表示する方法を学習する。