データ処理パイプラインを設定して管理する

以下でサポートされています。

データ処理パイプライン機能を使用すると、Google Security Operations のデータ取り込みを強力に制御できます。データ処理パイプラインを使用すると、Google Security Operations で解析される前に受信データを操作できます。たとえば、イベントのフィルタリングと変換、機密性の高い値の編集などです。このプロセスは、Google SecOps のデータを最適化し、コストを削減し、機密情報を保護し、互換性を向上させるのに役立ちます。

このドキュメントでは、Bindplane コンソールを使用して Google SecOps の宛先インスタンスへの接続を構成し、新しいストリームを作成し、データ処理パイプライン（ソースとプロセッサ）を設定して、データ処理を開始するためにロールアウトし、Google SecOps コンソールでパイプラインのソースとプロセッサを表示する方法について説明します。たとえば、次のような場合があります。

  • 未加工のログから空の Key-Value ペアを削除します。
  • 機密データを秘匿化する
  • 未加工のログコンテンツから取り込みラベルを追加します。
  • マルチインスタンス環境では、直接取り込みログデータに取り込みラベルを適用して、データの取得元インスタンス（ Google Cloud、Workspace など）を示します。
  • フィールド値で Palo Alto Cortex データをフィルタします。
  • カテゴリ別に SentinelOne データを削減します。
  • フィードと直接取り込みログからホストを解析し、Cloud Monitoring の ingestion_source フィールドに転送します。

オンプレミスとクラウドの両方のデータソースに対して、Bindplane 管理コンソールを使用するか、公開されている Google SecOps Data Pipeline API を直接使用して、データ処理パイプラインを構成できます。

データ処理パイプラインは、次の要素で構成されます。

  • ソース: 1 つ以上のデータソースがデータ処理パイプラインにデータを供給します。各データソースは、異なるデータソース タイプ用に構成されています。
  • プロセッサノード: データ処理パイプラインには、1 つ以上のプロセッサを含む 1 つのプロセッサノードがあります。各プロセッサは、パイプラインを通過するデータに対して実行するアクション（フィルタ、変換、編集など）を指定します。
  • 宛先: 処理されたデータが送信される Google SecOps の宛先インスタンス。

前提条件

Bindplane コンソールを使用して Google SecOps データ処理パイプラインを管理する場合は、次の操作を行います。

  1. Google Security Operations コンソールで、インストーラに必要な事前定義の管理者ロールを付与します。詳細については、専用プロジェクトでプロジェクト IAM 管理者のロールを割り当てるをご覧ください。[ロールを割り当てる] で、次の Identity and Access Management 事前定義ロールを選択します。
    • Chronicle API 管理者（roles/chronicle.admin）
    • Chronicle サービス管理者（roles/chroniclesm.admin）
    • Chronicle SOAR 管理者（ベータ版）（roles/chronicle.soarAdmin）
    • プロジェクト IAM 管理者（roles/resourcemanager.projectIamAdmin）
  2. Bindplane Server コンソールをインストールします。SaaS またはオンプレミスについては、Bindplane Server コンソールをインストールするをご覧ください。
  3. Bindplane コンソールで、Google SecOps の宛先インスタンスを Bindplane 組織に接続します。詳細については、Google SecOps インスタンスに接続するをご覧ください。

低ボリューム ストリームの確認応答時間が長くなる可能性がある

独自のエージェントを構成する Ingestion API ユーザーは、データ処理パイプラインで低ボリューム ストリームの確認応答時間が長くなる可能性があります。平均予想確認応答時間が 700 ミリ秒から 2 秒に増加する可能性があります。このような場合は、タイムアウト期間とメモリを適宜増やす必要があります。データ スループットが 4 MBps を超えると、確認応答時間が短縮されます。

Google SecOps インスタンスに接続する

データ処理パイプラインの出力先となる Google SecOps インスタンスに接続します。

Bindplane コンソールを使用して Google SecOps インスタンスに接続するには:

  1. Bindplane コンソールで、[組織の管理] ページに移動します。
  2. [Integrations] カードに移動し、[Connect to Google SecOps] をクリックします。

  3. 表示された [統合を編集] ウィンドウで、データ処理パイプラインの出力を取り込む Google SecOps の宛先インスタンスの詳細を次のように入力します。

    フィールド 説明
    リージョン Google SecOps インスタンスのリージョン。インスタンスを見つけるには、Google Cloud コンソールに移動し、[Google Security Operations] ページに移動して、[インスタンスの詳細] をクリックします。
    お客様 ID Google SecOps インスタンスのお客様 ID。Google SecOps コンソールで、[設定] > [プロファイル] > [組織の詳細] に移動します。
    Google Cloud プロジェクト番号 Google SecOps インスタンスの Google Cloud プロジェクト番号。
    Google SecOps コンソールでプロジェクト番号を確認するには、[設定] > [プロフィール] > [組織の詳細] に移動します。
    Credentials Google SecOps Data Pipeline API にアクセスするためのサービス アカウントの認証情報。
    これは、Google サービス アカウントの認証情報ファイルで使用可能な JSON 値です。サービス アカウントは、Google SecOps インスタンスと同じプロジェクトに存在する必要があります。サービス アカウントを作成して JSON ファイルをダウンロードする方法については、サービス アカウント キーの作成と削除をご覧ください。

  4. [接続] をクリックします。接続の詳細が正しく、Google SecOps に正常に接続できる場合は、次のようになります。

    • Google SecOps インスタンスの詳細（暗号化済み）は、組織オブジェクトに保存されます。
    • Google SecOps インスタンスへの接続が開きます。
    • 初めて接続すると、Bindplane コンソールに [ストリーム] タブが表示されます。
    • Bindplane コンソールに、API を使用してこのインスタンス用に以前に設定したデータ処理パイプラインが表示されるようになりました。システムは、API を使用して構成した一部のプロセッサを Bindplane プロセッサに変換し、他のプロセッサを未加工の OpenTelemetry Transformation Language（OTTL）形式で表示します。Bindplane コンソールを使用して、API を使用して以前に設定したパイプラインとプロセッサを編集できます。

  5. Google SecOps インスタンスへの接続が正常に作成されたら、ストリームを作成してデータ処理パイプラインを設定できます。詳細については、Bindplane コンソールを使用してデータ処理パイプラインを設定するをご覧ください。

Bindplane コンソールを使用してデータ処理パイプラインを設定する

Bindplane コンソールを使用すると、API を使用して設定されたパイプラインを含む、Google SecOps データ処理パイプラインを管理できます。

次の手順に沿って、新しいストリームを作成し、データ処理パイプラインを設定し、データ処理パイプラインのソースとプロセッサを構成し、データ処理パイプラインをロールアウトしてデータ処理を開始します。

  1. 新しいストリームを作成する
  2. データ処理パイプラインを構成する
    1. 移行元を構成する
    2. プロセッサを構成する
  3. データ処理パイプラインをロールアウトする

新しいストリームを作成する

ストリームは、1 つのデータ処理パイプラインを構成するためのコンテナです。
新しいストリームを作成する手順は次のとおりです。

  1. Bindplane コンソールで、[ストリーム] タブをクリックして [ストリーム] ページを開きます。
  2. [ストリームを作成] をクリックします。
  3. [新しいストリームの作成] ウィンドウで、[ストリームタイプ] を [Google SecOps]（デフォルト）に設定します。
  4. [ストリーム名] と [説明] を入力します。
  5. [作成] をクリックします。
    • 新しいストリームの詳細が [ストリーム] ページに表示されます。
    • 新しいストリームでデータ処理パイプラインを構成するには、データ処理パイプラインを構成するをご覧ください。

データ処理パイプラインを構成する

データ処理パイプラインでは、取り込むデータのソースと、Google SecOps の宛先インスタンスにデータが流れるときにデータを操作するプロセッサ（フィルタ、変換、秘匿化など）を指定します。

パイプライン構成カードは、データ処理パイプラインの可視化です。ここで、データソースとプロセッサ ノードを構成できます。Processor ノードは、データが Google SecOps の宛先インスタンスに流れるときにデータを操作するプロセッサで構成されます。

データ処理パイプラインを構成するには、まず新しいストリームを作成してから、次の操作を行います。

  1. Bindplane コンソールで、[ストリーム] タブをクリックして [ストリーム] ページを開きます。
  2. 新しいデータ処理パイプラインを構成するストリームを選択します。[パイプライン] 構成カードが開きます。

  3. 以下の構成を行います。

    1. ソース。詳細については、ソースを構成するをご覧ください。

    2. Processor ノード:

      • Bindplane コンソールを使用してプロセッサを追加するには、プロセッサを構成するをご覧ください。
      • 一部のカスタム プロセッサでは、生の OTTL コードを直接編集できます。

  4. これらの構成が完了したら、データ処理パイプラインをロールアウトするを参照して、データの処理を開始します。

移行元の構成

ソースは、構成された仕様に従ってデータを取り込み、パイプラインにフィードします。データ処理パイプラインには、1 つ以上のソースを含めることができます。各ソースは、異なるデータソース用に構成されます。

ソースを追加する手順は次のとおりです。

  1. [パイプライン] 構成カードで、 追加 アイコン [ソースを追加] をクリックして、[SecOps データソースを作成] ウィンドウを開きます。

  2. [Create SecOps Data Source] ウィンドウで、次のフィールドの詳細を入力します。

    フィールド 説明
    ログタイプ 取り込むデータのログタイプ。
    取り込むログタイプを選択します。たとえば、「CrowdStrike Falcon (CS_EDR)」などです。

    注: 警告 警告アイコンが表示されているログタイプは選択できません。
    警告アイコンは、ログタイプが別のソース（このパイプラインまたは Google SecOps インスタンスの別のパイプライン）ですでに構成されていることを示します。
    このようなログタイプを使用する場合は、まず他のソース構成から削除する必要があります。
    ログタイプが構成されている他のソース構成を見つけるには、ストリーム（パイプライン）構成をフィルタするをご覧ください。
    取り込み方法 選択したログタイプのデータを取り込むために使用する取り込み方法。
    これらの取り込み方法は、以前に Google SecOps インスタンスに定義されています。
    次のいずれかを選択します。
    • すべての取り込み方法

      注: これを選択すると、次のソースを追加するときに選択肢が絞り込まれます:
      [すべての取り込み方法] を選択すると、このログタイプの特定の 取り込み方法に他のソースを追加できなくなります。
    • 特定の取り込み方法を選択します。
      例: 「Bindplane Agent」、「Cloud Native Ingestion」、「Feed」、「Ingestion API」、「Workspace」など。
      • 注:これを選択すると、次のソースを追加する際のオプションが絞り込まれます。
        特定の取り込み方法を選択すると、このログタイプで「すべての取り込み方法」を使用して別のソースを追加できなくなります。
        このログタイプでは、構成されていない他の特定の 取り込み方法を選択できます。
      • [フィード] を選択すると、次のフィールドにフィードのリストが表示され、取り込み元として選択できます。（次のフィールドを参照）。
    フィード ソースデータの取り込みに使用するフィード。
    [取り込み方法] フィールドで [フィード] を選択すると、[フィード] フィールドに、選択したログタイプのフィード名（Google SecOps インスタンス用に以前に定義されたもの）のリストが表示されます。
    リストから特定のフィードを選択します。

    注: Google SecOps コンソールでフィードのリストを表示するには、[設定] > [フィード テーブル] に移動します。

  3. [Add Source] をクリックして、新しいデータソースを保存します。

    • 新しいデータソースが、[パイプライン] 構成カードのデータ処理パイプラインに表示されます。
    • プロセッサ ノードと Google SecOps の宛先に自動的に接続されます。
ストリーム（パイプライン）構成をフィルタする

[ストリーム] ページの検索バーを使用すると、ログタイプ、取り込み方法、フィード名などの複数の構成要素に基づいてストリーム（データ処理パイプライン）をフィルタできます。フィルタリングには、logtype:value、ingestionmethod:value、feed:value の構文を使用できます。

たとえば、検索バーを使用して特定のログタイプを含むソース構成を特定するには、検索バーに「logtype:」と入力し、リストからログタイプを選択します。

プロセッサを構成する

データ処理パイプラインには、1 つ以上のプロセッサを含む 1 つのプロセッサノードがあります。各プロセッサは、[プロセッサ] ペインに表示されている順序で、パイプラインを流れるソースデータを操作します。最初のプロセッサがソースデータを処理し、その結果の出力が次のプロセッサで処理され、さらに後続のプロセッサで処理されます。

1 つ以上のプロセッサを追加、削除、または順序を変更して、プロセッサ ノードを構成します。

プロセッサを追加する手順は次のとおりです。

  1. [パイプライン] 構成カードで、[プロセッサ] ノードをクリックして [プロセッサの編集] ウィンドウを開きます。
    [Edit Processors] ウィンドウは、次の 3 つのペインで構成されています。

    • 左側のペイン: 最近受信したソースログデータ（処理前）
    • 中央のペイン: プロセッサとその構成
    • 右ペイン: 最近の送信結果ログデータ（処理後）

    パイプラインが以前にロールアウトされている場合、システムは最近の受信ログデータ（処理前）と最近の送信ログデータ（処理後）をペインに表示します。

  2. プロセッサを追加するには、[プロセッサを追加] をクリックして、プロセッサのリストを表示します。便宜上、プロセッサのリストはプロセッサ タイプ別にグループ化されています。
    （プロセッサ リストを整理するには、1 つ以上のプロセッサを選択して [新しいプロセッサ バンドルを追加] をクリックし、独自のバンドルを追加します）。

  3. リストから追加するプロセッサを選択します。

  4. 必要に応じてプロセッサを構成します。

  5. [保存] をクリックして、[Processor] ノードにプロセッサ構成を保存します。

システムは、受信したソースログデータ（左側のペイン）の新しいサンプルを処理して新しいプロセッサ構成をテストし、送信結果データ（右側のペイン）を表示します。

データ処理パイプラインをロールアウトする

ソースとプロセッサの構成が完了したら、パイプラインをロールアウトしてデータの処理を開始します。

データ処理パイプラインをロールアウトするには、[ロールアウトを開始] をクリックします。これにより、データ処理パイプラインが有効になり、Google の安全なインフラストラクチャがデータ処理パイプラインの構成に従ってデータの処理を開始します。

ロールアウトが成功すると、データ処理パイプラインの構成バージョン番号が増加し、データ処理パイプラインの名前の横に表示されます。

構成履歴を表示するには、データ処理パイプラインの名前の横にある [履歴] リンクをクリックします。各データ処理パイプライン バージョン間の構成変更が表示されます。

次のステップ

Google SecOps 内から、アクティブなデータ ストリームを閲覧専用モードで表示できます。詳細については、Google SecOps コンソールからデータ処理パイプライン情報を表示するをご覧ください。

Google SecOps コンソールからデータ処理パイプラインの情報を表示する

以降のセクションでは、Google SecOps コンソールからデータ処理パイプライン情報を表示する方法について説明します。

設定済みのフィードを表示する

[フィード] ページには、構成したすべてのフィードが表示されます。

  1. Google SecOps コンソールで、[設定] > [フィード] に移動します。メインページには、構成済みのすべてのフィードが表示されます。
  2. 各行にポインタを合わせると、⋮ [その他] メニューが表示されます。メニューから、フィードの詳細を表示したり、フィードを編集、無効化、削除したりできます。
  3. [詳細を表示] をクリックして、詳細ウィンドウを表示します。
  4. [Bindplane で開く] をクリックして、Bindplane コンソールでそのフィードのソース構成を開きます。

[Logtypes] ページでデータ処理パイプラインの情報を表示する

[ログタイプ] ページには、使用可能なすべてのログタイプが表示されます。データ処理パイプラインの詳細を表示するには:

  1. Google SecOps コンソールで、[設定] > [ログタイプ] に移動します。メインページには、すべてのログタイプが表示されます。
  2. 各行にポインタを合わせると、⋮ [その他] メニューが表示されます。メニューから、ログタイプの詳細を表示できます。
  3. [データ処理を表示] をクリックして、詳細ウィンドウを表示します。
  4. [Bindplane で開く] をクリックして、Bindplane コンソールでそのプロセッサのプロセッサ構成を開きます。

Google SecOps Data Pipeline API を使用する

Google SecOps Data Pipeline API を使用すると、データ処理パイプラインを管理できます。API は、パイプラインの作成、更新、削除、一覧表示、関連するフィードとログタイプなど、Data Pipeline のすべての機能を網羅しています。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。