Cloud Logging でパイプライン ログを表示する

このページでは、Cloud Data Fusion インスタンスで Cloud Logging を有効にする方法と、パイプライン ログを表示する方法について説明します。

始める前に

Cloud Data Fusion インスタンスを作成する。 インスタンスの作成プロセスが完了するまで 30 分ほどかかります。

注: Cloud Data Fusion を使用する際は、Google Cloud コンソールと個別の Cloud Data Fusion UI の両方を使用します。Google Cloud コンソールでは、Google Cloud プロジェクトの作成、Cloud Data Fusion インスタンスの作成と削除、インスタンスの詳細の表示を行うことができます。Cloud Data Fusion UI では、Pipeline Studio や Wrangler などのさまざまなページを使用して Cloud Data Fusion の機能を使用できます。

Cloud Logging を有効にする

Cloud Data Fusion パイプラインで Cloud Logging を使用するには、Cloud Data Fusion インスタンスを作成する際に Cloud Logging を有効にします。

1. Google Cloud コンソールで [インスタンス] ページを開きます。
2. [インスタンスを作成] をクリックします。
3. [詳細設定を表示] をクリックします。

4. [ロギングとモニタリング] で、[Stackdriver Logging サービスを有効にする] をクリックします。

   

インスタンスを作成した後に、Google Cloud コンソールで Cloud Logging を有効にすることはできません。その代わりに、次の gcloud CLI コマンドを実行します。

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

ログを表示

Cloud Data Fusion パイプラインのすべての実行には、一意の RunID が割り当てられます。パイプラインをデプロイして実行した後、その RunID を調べます。次に、Logging で RunID を使用してパイプライン ログを表示します。

パイプラインの RunID を取得する

1. インスタンスに移動します:

   1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

   2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

2. [Summary] > [Table] をクリックします。

3. コピーする RunId リンクをクリックします。

   

ログ エクスプローラでログを表示する

1. Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] ページに移動します。

   [ログ エクスプローラ] に移動

2. フィルタ メニューで、[Cloud Dataproc Cluster] > [cdap-PIPELINE_NAME-YOUR_RUNID] を選択します。

   

省略可: ログをフィルタする

フィルタ メニューを使用してログをフィルタします。さまざまなログの重大度レベルや、datafusion-pipeline-logs などのコンポーネントでフィルタリングできます。

（省略可）ログをダウンロードする

[ログのダウンロード] をクリックします。

詳細については、Cloud Logging のドキュメントでログエントリのダウンロードをご覧ください。

次のステップ

• 監査ログを表示する方法を学習する。
• Cloud Data Fusion Pipeline Studio からパイプライン ログを表示する方法を学習する。