設定及管理資料處理管道

支援的國家/地區：

資料處理管道功能可讓您有效控管 Google Security Operations 資料的擷取作業。資料處理管道可讓您在 Google Security Operations 剖析資料前，先操控傳入的資料。例如，篩選及轉換事件，或遮蓋敏感值。這個程序有助於為 Google SecOps 最佳化資料、降低成本、保護私密資訊，以及提升相容性。

本文說明如何使用 Bindplane 主控台設定與 Google SecOps 目的地執行個體的連線、建立新串流、設定資料處理管道 (來源和處理器)、推出管道以啟動資料處理作業，以及在 Google SecOps 主控台中查看管道來源和處理器。使用案例範例包括：

  • 從原始記錄中移除空白的鍵/值組合。
  • 遮蓋機密資料。
  • 從原始記錄內容新增擷取標籤。
  • 在多例項環境中，請將擷取標籤套用至直接擷取的記錄檔資料，指出資料來自哪個來源例項 (例如 Google CloudWorkspace)。
  • 依欄位值篩選 Palo Alto Cortex 資料。
  • 依類別減少 SentinelOne 資料。
  • 從動態消息剖析主機，並將直接擷取的記錄檔匯入 Cloud Monitoring 的 ingestion_source 欄位。

您可以透過 Bindplane 管理主控台，或直接使用公開的 Google SecOps Data Pipeline API，為地端和雲端資料來源設定資料處理管道。

資料處理管道包含下列元素：

  • 來源：一或多個資料來源會將資料饋送至資料處理管道，每個來源都設定為不同的資料來源類型。
  • 處理器節點：資料處理管道有一個處理器節點，其中包含一或多個處理器。每個處理器都會指定要對資料執行的動作 (例如篩選、轉換和遮蓋)，資料會透過管道流動。
  • 目的地：處理後的資料會傳送至 Google SecOps 目的地執行個體。

必要條件

如要使用 Bindplane 控制台管理 Google SecOps 資料處理管道，請按照下列步驟操作：

  1. 在 Google Security Operations 控制台中，授予安裝人員必要預先定義的管理員角色。 詳情請參閱「在專屬專案中指派專案 IAM 管理員角色」。 在「指派角色」部分選取下列預先定義的 Identity and Access Management 角色：
    • Chronicle API 管理員 (roles/chronicle.admin)
    • Chronicle 服務管理員 (roles/chroniclesm.admin)
    • Chronicle SOAR 管理員 Beta 版 (roles/chronicle.soarAdmin)
    • 專案 IAM 管理員 (roles/resourcemanager.projectIamAdmin)
  2. 安裝 Bindplane Server 控制台。如果是 SaaS 或內部部署，請參閱「安裝 Bindplane Server 控制台」。
  3. 在 Bindplane 控制台中，將 Google SecOps 目的地執行個體連結至 Bindplane 機構。詳情請參閱「連線至 Google SecOps 執行個體」。

低音量串流的確認時間可能會延長

如果 Ingestion API 使用者自行設定代理程式，資料處理管道中低用量串流的確認時間可能會增加。平均預期確認時間可能會從 700 毫秒增加到 2 秒。在這種情況下，您可能需要相應增加逾時時間和記憶體。資料總處理量增加至超過 4MBps 時，確認時間應會縮短。

連線至 Google SecOps 執行個體

連線至 Google SecOps 執行個體，做為資料處理管道輸出的目的地。

如要使用 Bindplane 控制台連線至 Google SecOps 執行個體，請按照下列指示操作：

  1. 在 Bindplane 控制台中，前往「Manage your organization」(管理機構) 頁面。
  2. 前往「Integrations」資訊卡，然後按一下「Connect to Google SecOps」。

  3. 在隨即開啟的「Edit Integration」(編輯整合) 視窗中，輸入 Google SecOps 目的地執行個體的詳細資料，該執行個體會擷取資料處理管道的輸出內容，如下所示：

    欄位 說明
    區域 Google SecOps 執行個體所在的區域。如要尋找執行個體，請前往Google Cloud 主控台，然後前往「Google Security Operations」頁面，並按一下「執行個體詳細資料」。
    客戶 ID Google SecOps 執行個體的客戶 ID。在 Google SecOps 控制台中，依序前往「Settings」>「Profile」>「Organization Details」。
    Google Cloud 專案編號 Google Cloud Google SecOps 執行個體的專案編號。
    如要在 Google SecOps 控制台中找出專案編號，請依序前往「Settings」>「Profile」>「Organization Details」。
    憑證 服務帳戶的憑證，用於存取 Google SecOps Data Pipeline API。
    這是 Google 服務帳戶憑證檔案中的 JSON 值。服務帳戶必須與 Google SecOps 執行個體位於同一個專案。如要瞭解如何建立服務帳戶及下載 JSON 檔案，請參閱「建立及刪除服務帳戶金鑰」。

  4. 按一下 [連線]。如果連線詳細資料正確無誤，且您已成功連線至 Google SecOps，則會發生下列情況：

    • Google SecOps 執行個體詳細資料 (已加密) 會儲存在您的「機構」物件中。
    • 系統會開啟與 Google SecOps 執行個體的連線。
    • 首次連線時，您可以在 Bindplane 控制台中看到「Streams」分頁。
    • Bindplane 主控台現在會顯示您先前使用 API 為這個執行個體設定的所有資料處理管道。系統會將您使用 API 設定的部分處理器轉換為 Bindplane 處理器，並以原始 OpenTelemetry 轉換語言 (OTTL) 格式顯示其他處理器。您可以使用 Bindplane 控制台編輯先前透過 API 設定的管道和處理器。

  5. 成功建立 Google SecOps 執行個體的連線後，您就可以建立串流並設定資料處理管道。詳情請參閱「使用 Bindplane 控制台設定資料處理管道」。

使用 Bindplane 控制台設定資料處理管道

您可以使用 Bindplane 控制台管理 Google SecOps 資料處理管道，包括使用 API 設定的管道。

請按照下列步驟建立新資料串流、設定資料處理管道、設定資料處理管道來源和處理器，以及推出資料處理管道來啟動資料處理程序：

  1. 建立新的串流
  2. 設定資料處理管道
    1. 設定來源
    2. 設定處理器
  3. 推出資料處理管道

建立新串流

串流是容器，可供您設定一個資料處理管道。
如要建立新的串流，請按照下列步驟操作：

  1. 在 Bindplane 控制台中，按一下「Streams」分頁標籤，開啟「Streams」頁面。
  2. 按一下 [建立訊息串]。
  3. 在「建立新串流」視窗中，將「串流類型」設為「Google SecOps」 (預設)。
  4. 輸入「串流名稱」和「說明」。
  5. 點選「建立」。
    • 「Streams」(串流) 頁面會顯示新串流的詳細資料。
    • 如要在新串流中設定資料處理管道，請參閱設定資料處理管道一文。

設定資料處理管道

資料處理管道會指定要擷取的資料「來源」，以及要用來操控資料的「處理器」 (例如篩選、轉換或遮蓋)，讓資料流向 Google SecOps「目的地」執行個體。

「管道」設定資訊卡會以視覺化方式呈現資料處理管道，您可以在其中設定資料「來源」和「處理器」節點。處理器節點包含處理器，可操控資料流向 Google SecOps 目的地執行個體。

如要設定資料處理管道，請先建立新串流，然後執行下列操作：

  1. 在 Bindplane 控制台中，按一下「Streams」分頁標籤，開啟「Streams」頁面。
  2. 選取要設定新資料處理管道的串流。「Pipeline」(管道) 設定資訊卡隨即開啟。

  3. 設定下列項目：

    1. 來源。詳情請參閱「設定來源」。

    2. 處理器節點：

      • 如要使用 Bindplane 控制台新增處理器，請參閱「設定處理器」一文。
      • 部分自訂處理器可讓您直接編輯原始 OTTL 程式碼。

  4. 完成這些設定後，請參閱「推出資料處理管道」一文，開始處理資料。

設定來源

來源會根據設定的規格擷取資料，並將資料饋送至管道。資料處理管道可有一或多個「來源」，每個來源都設定為不同的資料來源。

如要新增「來源」，請按照下列步驟操作：

  1. 在「Pipeline」設定資訊卡中，按一下「新增」 「新增來源」，開啟「建立 SecOps 資料來源」視窗。

  2. 在「建立 SecOps 資料來源」視窗中，輸入下列欄位的詳細資料：

    欄位 說明
    記錄類型 要擷取的資料記錄類型。
    選取要擷取的記錄類型。例如「CrowdStrike Falcon (CS_EDR)」。

    注意：您無法選取附有 警告 警告圖示的記錄類型。
    警告圖示表示記錄類型已在其他來源中設定 (在此管道或 Google SecOps 執行個體中的其他管道)。
    如要使用這類記錄類型，請先從其他來源設定中刪除。
    如要尋找設定記錄類型的其他來源設定，請參閱「篩選串流 (管道) 設定」。
    擷取方法 用來擷取所選「記錄類型」資料的擷取方法。
    這些擷取方法先前已為 Google SecOps 執行個體定義。
    選取下列其中一種做法：
    • 所有擷取方法

      注意，選取這個選項會縮減您新增下一個來源時的選項：
      選取「所有擷取方法」後，您就無法為這個記錄類型新增特定 擷取方法的其他來源。
    • 選取特定擷取方法。
      例如：「Bindplane Agent」、「Cloud Native Ingestion」、「Feed」、「Ingestion API」或「Workspace」。
      • 注意，選取這個選項會縮小您新增下一個來源時的選項範圍：
        選取特定擷取方法後，您就無法使用「所有擷取方法」新增其他來源，適用於這個記錄類型。
        您仍可為這個記錄類型選取其他未設定的特定 擷取方法。
      • 如果選取「動態消息」，下一個欄位會顯示「動態消息」清單，供您選取做為擷取來源。(請參閱下一個欄位)。
    動態消息 用來擷取來源資料的動態饋給。
    如果在「擷取方法」欄位中選取「動態饋給」，「動態饋給」欄位會顯示所選「記錄類型」的動態饋給名稱清單 (先前為 Google SecOps 執行個體定義)。
    從清單中選取特定動態饋給。

    注意：如要在 Google SecOps 控制台中查看動態消息清單，請依序前往「設定」>「動態消息表格」。

  3. 按一下「新增來源」，儲存新的資料來源。

    • 新的資料「來源」現在會顯示在「管道」設定資訊卡的資料處理管道中。
    • 並自動連結至「處理器」節點和 Google SecOps「目的地」。
篩選串流 (管道) 設定

「串流」頁面上的搜尋列可讓您根據多個設定元素 (例如記錄類型、擷取方法和動態消息名稱) 篩選串流 (資料處理管道)。您可以使用下列語法進行篩選： logtype:value、ingestionmethod:value 和 feed:value。

舉例來說，如要使用搜尋列找出含有特定記錄類型的來源設定，請在搜尋列中輸入 logtype:，然後從清單中選取記錄類型。

設定處理器

資料處理管道有一個處理器節點，內含一或多個處理器。每個處理器都會在來源資料流經管道時，按照處理器在「處理器」窗格中顯示的順序，操控來源資料。第一個處理器會處理來源資料，然後下一個處理器會處理產生的輸出內容，後續處理器也會依序處理。

新增、移除一或多個處理器，或變更處理器順序，即可設定處理器節點。

如要新增處理器，請按照下列步驟操作：

  1. 在「Pipeline」設定資訊卡中，按一下「Processor」節點，開啟「Edit Processors」視窗。
    「編輯處理器」視窗包含三個窗格：

    • 左側窗格：最近收到的來源記錄資料 (處理前)
    • 中間窗格：處理器及其設定
    • 右側窗格：最近的輸出結果記錄資料 (處理後)

    如果管道先前已推出，系統會在窗格中顯示最近的傳入記錄資料 (處理前) 和最近的傳出記錄資料 (處理後)。

  2. 如要新增處理器，請按一下「新增處理器」，顯示處理器清單。 為方便起見，處理器清單會依處理器類型分組。
    (如要整理處理器清單，請選取一或多個處理器，然後按一下「新增處理器套裝組合」，即可新增自己的套裝組合。)

  3. 從清單中選取要新增的「處理器」。

  4. 視需要設定處理器。

  5. 按一下「儲存」，將處理器設定儲存在「處理器」節點中。

系統會處理新的來源記錄資料樣本 (來自左窗格)，藉此測試新的處理器設定，並在右窗格中顯示輸出結果資料。

推出資料處理管道

完成來源和處理器設定後，請推出管道來開始處理資料。

如要推出資料處理管道，請按一下「開始推出」。這會啟動資料處理管道，並允許 Google 的安全基礎架構根據資料處理管道設定開始處理資料。

如果推出成功，資料處理管道設定版本號碼會遞增，並顯示在資料處理管道名稱旁。

如要查看設定記錄，請按一下資料處理管道名稱旁的「記錄」連結。系統會顯示各個資料處理管道版本之間的設定變更。

後續步驟

您可以在 Google SecOps 中以唯讀模式查看有效資料串流。詳情請參閱「透過 Google SecOps 控制台查看資料處理管道資訊」。

透過 Google SecOps 控制台查看資料處理管道資訊

以下各節說明如何透過 Google SecOps 控制台查看資料處理管道資訊：

查看已設定的動態饋給

「動態消息」頁面會顯示你設定的所有動態消息。

  1. 在 Google SecOps 控制台中，依序前往「Settings」>「Feeds」。主要頁面會顯示所有已設定的動態饋給。
  2. 將指標懸停在每個資料列上，即可顯示「更多」選單。 在選單中，你可以查看動態饋給詳細資料、編輯、停用或刪除動態饋給。
  3. 按一下「查看詳細資料」，即可查看詳細資料視窗。
  4. 按一下「在 Bindplane 中開啟」，在 Bindplane 控制台中開啟該動態饋給的來源設定。

從「記錄類型」頁面查看資料處理管道資訊

「Logtypes」(記錄類型) 頁面會顯示所有可用的記錄類型。如要查看資料處理管道詳細資料，請按照下列步驟操作：

  1. 在 Google SecOps 控制台中，依序前往「Settings」>「Logtypes」。主要頁面會顯示所有記錄類型。
  2. 將指標懸停在每個資料列上，即可顯示「更多」選單。 您可以在這個選單中查看記錄類型詳細資料。
  3. 按一下「查看資料處理」，即可查看詳細資料視窗。
  4. 按一下「在 Bindplane 中開啟」，在 Bindplane 控制台中開啟該處理器的處理器設定。

使用 Google SecOps 資料管道 API

您可以使用 Google SecOps Data Pipeline API 管理資料處理管道。API 涵蓋所有資料管線功能，例如建立、更新、刪除及列出管線，以及管線中的相關動態饋給和記錄類型。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。