Cloud Pub/Sub シンクにログを転送する

パイプライン ログを Cloud Pub/Sub シンクに転送して、イベント ドリブン アーキテクチャを構築できます。パイプライン ログをオブザーバビリティ ツールに同期することもできます。Cloud Pub/Sub シンクへのログの転送については、Pub/Sub に転送されたログを表示するをご覧ください。

このセクションでは、Pub/Sub トピックを作成し、パイプライン ジョブのログを Pub/Sub トピックに転送(またはシンク)して、Pub/Sub トピックに公開されたログの検証方法について説明します。その後、ダウンストリーム アプリケーションを Pub/Sub トピックに登録します。これにより、イベント ドリブン アーキテクチャを強化したり、オブザーバビリティ ツールによってパイプライン ログをほぼリアルタイムで同期できます。

次の手順で Pub/Sub シンクを設定し、そこに転送されたログを Google Cloud コンソールで表示します。

  1. Pub/Sub トピックを作成します。詳細については、Cloud Pub/Sub ドキュメントのトピックの作成をご覧ください。

  2. Google Cloud コンソールの [サブスクリプション] ページで、Pub/Sub トピックの pull サブスクリプションを作成します。詳細については、pull サブスクリプションを作成するをご覧ください。

  3. ナビゲーション メニューから [ロギング] を選択し、[ログルーターに移動] をクリックします。

    ログルーターに移動

  4. 転送するログを含むプロジェクトで、[シンクを作成] をクリックします。

  5. シンクの名前と説明を入力し、[次へ] をクリックします。

  6. [サービス] リストで [Cloud Pub/Sub トピック] を選択します。

  7. [送信先] リストで、作成した Pub/Sub トピックを選択し、[次へ] をクリックします。

  8. [シンクに含めるログの選択] で、次の一致フィルタを指定します。

    resource.type="aiplatform.googleapis.com/PipelineJob"
    
  9. [シンクを作成] をクリックします。

  10. [サブスクリプション] ページでサブスクリプション ID をクリックします。

    [サブスクリプション] ページに移動

  11. 作成したサブスクリプション ID をクリックします。

  12. サブスクリプションの詳細ページで、[メッセージ] タブをクリックします。

  13. パイプライン ジョブのログを pull して表示するには、[pull] をクリックします。