このページでは、Cloud Data Fusion インスタンスで Cloud Logging を有効にする方法と、パイプライン ログを表示する方法について説明します。
始める前に
Cloud Data Fusion インスタンスを作成する。 インスタンスの作成プロセスが完了するまで 30 分ほどかかります。
Cloud Logging を有効にする
Cloud Data Fusion パイプラインで Cloud Logging を使用するには、Cloud Data Fusion インスタンスを作成する際に Cloud Logging を有効にします。
- Google Cloud コンソールで [インスタンス] ページを開きます。
- [インスタンスを作成] をクリックします。
- [詳細設定を表示] をクリックします。
[ロギングとモニタリング] で、[Stackdriver Logging サービスを有効にする] をクリックします。
インスタンスを作成した後に、Google Cloud コンソールで Cloud Logging を有効にすることはできません。その代わりに、次の gcloud CLI コマンドを実行します。
gcloud beta data-fusion instances update INSTANCE_NAME \
--project=PROJECT_ID \
--location=LOCATION \
--enable_stackdriver_logging
ログを表示
Cloud Data Fusion パイプラインのすべての実行には、一意の RunID
が割り当てられます。パイプラインをデプロイして実行した後、その RunID
を調べます。次に、Logging で RunID
を使用してパイプライン ログを表示します。
パイプラインの RunID を取得する
- インスタンスに移動します:
Google Cloud コンソールで、Cloud Data Fusion のページに移動します。
Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。
- [Summary] > [Table] をクリックします。
コピーする
RunId
リンクをクリックします。
ログ エクスプローラでログを表示する
Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] ページに移動します。
フィルタ メニューで、[Cloud Dataproc Cluster] > [
cdap-PIPELINE_NAME-YOUR_RUNID
] を選択します。
省略可: ログをフィルタする
フィルタ メニューを使用してログをフィルタします。さまざまなログの重大度レベルや、datafusion-pipeline-logs
などのコンポーネントでフィルタリングできます。
(省略可)ログをダウンロードする
[ログのダウンロード] をクリックします。
詳細については、Cloud Logging のドキュメントでログエントリのダウンロードをご覧ください。
次のステップ
- 監査ログを表示する方法を学習する。
- Cloud Data Fusion Pipeline Studio からパイプライン ログを表示する方法を学習する。