このページは Cloud Translation API によって翻訳されました。

パーサー拡張機能の例

以下でサポートされています。

Google SecOpsSIEM

このドキュメントでは、さまざまなシナリオでのパーサー拡張機能の作成例を示します。パーサー拡張機能の詳細については、パーサー拡張機能を作成するをご覧ください。

パーサー拡張機能の例

次の属性表を使用して、必要なサンプルコードをすばやく見つけてください。

ノーコードの例

ログソースの形式	タイトルの例	説明	この例のパーサーのコンセプト
JSON （ログタイプ: GCP_IDS）	フィールドを抽出する	ログから JSON 形式のフィールドを抽出します。	ノーコード
JSON （ログタイプ: WORKSPACE_ALERTS）	前提条件の値を使用してフィールドを抽出する	JSON 形式のログからフィールドを抽出し、前提条件を使用して繰り返し UDM フィールドに正規化します。	繰り返し UDM フィールドノーコードの前提条件

コードスニペットの例

ログソースの形式	タイトルの例	説明	この例のパーサーのコンセプト
JSON （ログタイプ: GCP_IDS）	HTTP ユーザーエージェントの追加	ネットワーク HTTP パーサーユーザーエージェントを抽出し、`requestUrl` から `target hostname` を作成します。 Namespace を割り当てて、アセットベースのエイリアシングと拡充が実行されるようにします。
CSV （ログタイプ: MISP_IOC）	任意のフィールドを `additional` UDM オブジェクトに抽出する	フィールドを UDM > エンティティ > `additional` UDM オブジェクト > key-value-pair に抽出します。	`additional` UDM オブジェクト
Syslog （ログタイプ: POWERSHELL）	Syslog から優先度と重大度を抽出する	Syslog 施設と重大度の値を抽出して、UDM セキュリティ結果の優先度と重大度のフィールドに入力します。	Grok ベース
Syslog ヘッダーを含む JSON （ログタイプ: WINDOWS_SYSMON）	条件文に基づく装飾	条件文に基づいて、コードスニペット内のデータ型を理解し、`metadata.description` フィールドに装飾（コンテキスト情報）を追加します。抽出フィルタを使用すると、元のデータ型が保持される場合があります。 Grok の条件文では、元のデータ型を使用してフィールドを評価する必要があります。	Grok ベース Grok 条件文抽出されたフィールドの元のデータ型が保持される場合があります。 Grok の条件文では、元のデータ型を使用してフィールドを評価する必要があります。
Syslog ヘッダーを含む JSON （ログタイプ: WINDOWS_SYSMON）	データ型を変換する	`convert` 関数を使用して、パーサー拡張機能内のデータ型を変換します。 `on_error` ステートメントを使用して、適切なエラー処理を行い、エラーが原因でパーサー拡張機能が失敗しないようにします。	Grok ベースデータ型の変換 `on_error` ステートメントを使用してエラー処理を行います。
Syslog ヘッダーを含む JSON （ログタイプ: WINDOWS_SYSMON）	読みやすくするための一時変数名	コードスニペットで一時的な変数名を使用し、後で最終出力の UDM イベントオブジェクト名と一致するように名前を変更できます。これにより、全体的な読みやすさが向上します。	Grok ベース一時的な変数名を使用して、後で最終的な出力 UDM 名に変更します。
Syslog ヘッダーを含む JSON （ログタイプ: WINDOWS_SYSMON）	繰り返しフィールド	コードスニペットで繰り返しフィールド（security_result フィールドなど）を操作する際は注意してください。	Grok ベース繰り返し UDM フィールド
XML （ログタイプ: WINDOWS_DEFENDER_AV）	任意のフィールドを `additional` オブジェクトに抽出する	古いプラットフォームバージョンのレポートや検索を行うために、Platform Version の値を抽出して保存します。この例には適切な標準 UDM フィールドがないため、`additional` オブジェクトを使用して、情報をカスタム Key-Value ペアとして保存します。	`additional` オブジェクトは、情報をカスタム Key-Value ペアとして保存するために使用されます。
XML （ログタイプ: WINDOWS_DEFENDER_AV）	プリンシパルホスト名への任意のフィールドの抽出	FQDN からホスト名を抽出します。条件付き処理は、`principal.hostname` フィールドを上書きする必要があるかどうかを判断するために使用されます。 Grok ステートメントは、正規表現（regex）を使用して `hostname` フィールドを抽出します。正規表現自体は名前付きキャプチャグループを使用します。つまり、かっこ内で一致するものはすべて `hostname` という名前のフィールドに格納され、ドットを見つけるまで 1 つ以上の文字と照合されます。これにより、FQDN 内の `hostname` のみがキャプチャされます。 Grok `overwrite` ステートメントただし、PREVIEW UDM OUTPUT を実行すると、「LOG_PARSING_CBN_ERROR: フィールド `hostname` はデータにすでに存在し、上書きできません」というエラーが返されます。 Grok ステートメント内で、名前付きキャプチャグループは、`overwrite` ステートメントを使用して明示的に指定しない限り、既存の変数を上書きできません。このシナリオでは、Grok ステートメントの名前付きキャプチャグループに別の変数名を使用するか、（この例に示すように）overwrite ステートメントを使用して既存のホスト名変数を明示的に上書きします。	Grok ベース条件付き処理は、フィールドを上書きする必要があるかどうかを判断するために使用されます。正規表現（regex）を使用する Grok ステートメント。 Grok `overwrite` ステートメント

JSON の例

次の例は、ログソースが JSON 形式のパーサー拡張機能を作成する方法を示しています。

ノーコード - フィールドの抽出

属性の例:

ログソースの形式: JSON
データマッピングアプローチ: ノーコード
ログタイプ: GCP_IDS
パーサー拡張機能の目的: フィールドを抽出します。

説明:

ネットワーク関連のいくつかのフィールドが抽出されていません。このログサンプルは JSON 形式の構造化ログであるため、コード不要（データフィールドをマッピング）アプローチを使用してパーサー拡張機能を作成できます。

抽出する元のフィールドは次のとおりです。

total_packets（文字列）
elapsed_time（文字列）
total_bytes（文字列）

未加工のログエントリの例を次に示します。

{
"insertId": "625a41542d64c124e7db097ae0906ccb-1@a3",
"jsonPayload": {
  "destination_port": "80",
  "application": "incomplete",
  "ip_protocol": "tcp",
  "network": "projects/prj-p-shared-base/global/networks/shared-vpc-production",
  "start_time": "2024-10-29T21:14:59Z",
  "source_port": "41936",
  "source_ip_address": "35.191.200.157",
  "total_packets": "6",
  "elapsed_time": "0",
  "destination_ip_address": "192.168.0.11",
  "total_bytes": "412",
  "repeat_count": "1",
  "session_id": "1289742"
},
"resource": {
  "type": "ids.googleapis.com/Endpoint",
  "labels": {
    "resource_container": "projects/12345678910",
    "location": "europe-west4-a",
    "id": "p-europe-west4"
  }
},
"timestamp": "2024-10-29T21:15:21Z",
"logName": "projects/prj-p-shared-base/logs/ids.googleapis.com%2Ftraffic",
"receiveTimestamp": "2024-10-29T21:15:24.051990717Z"
}

この例では、ノーコード アプローチを使用して、次のデータフィールドマッピングを使用してパーサー拡張機能を作成します。

前提条件パス	前提条件演算子	前提条件の値	元データパス	宛先フィールド*
`jsonPayload.total_bytes`	NOT_EQUALS	""	`jsonPayload.total_bytes`	`udm.principal.network.received_bytes`
`jsonPayload.elapsed_time`	NOT_EQUALS	""	`jsonPayload.elapsed_time`	`udm.principal.network.session_duration.seconds`
`jsonPayload.total_packets`	NOT_EQUALS	""	`jsonPayload.total_packets`	`udm.principal.network.received_packets`

パーサー拡張機能を実行すると、抽出された 3 つのフィールドが principal.network オブジェクトに正常に追加されます。

metadata.product_log_id = "625a41542d64c124e7db097ae0906ccb-1@a3"
metadata.event_timestamp = "2024-10-29T21:14:59Z"
metadata.event_type = "NETWORK_CONNECTION"
metadata.vendor_name = "Google Cloud"
metadata.product_name = "IDS"
metadata.ingestion_labels[0].key = "label"
metadata.ingestion_labels[0].value = "GCP_IDS"
metadata.log_type = "GCP_IDS"
principal.ip[0] = "35.191.200.157"
principal.port = 41936
principal.network.received_bytes = 412
principal.network.session_duration.seconds = "0s"
principal.network.received_packets = 6
target.ip[0] = "192.168.0.11"
target.port = 80
target.application = "incomplete"
observer.location.country_or_region = "EUROPE"
observer.location.name = "europe-west4-a"
observer.resource.name = "projects/12345678910"
observer.resource.resource_type = "CLOUD_PROJECT"
observer.resource.attribute.cloud.environment = "GOOGLE_CLOUD_PLATFORM"
observer.resource.product_object_id = "p-europe-west4"
network.ip_protocol = "TCP"
network.session_id = "1289742"

ノーコード - 前提条件値を含むフィールドを抽出する

属性の例:

ログソースの形式: JSON
データマッピングアプローチ: ノーコード
ログタイプ: WORKSPACE_ALERTS
パーサー拡張機能の目的: 前提条件の値を含むフィールドを抽出する。

説明:

元のパラサーは、DLP（データ損失防止）アラートに影響を受けるメインユーザーの email address を抽出しません。

この例では、コード不要のパーサー拡張機能を使用して email address を抽出し、前提条件を指定して繰り返し UDM フィールドに正規化します。

コード不要のパーサー拡張機能で繰り返しフィールドを操作する場合は、次のいずれかを行うかどうかを指定する必要があります。

置換（既存の UDM オブジェクトの繰り返しフィールドのすべての値をオーバーライド）
append（抽出された値を繰り返しフィールドに追加します）。

詳細については、繰り返しフィールドのセクションをご覧ください。

この例では、正規化された principal.user.email_address フィールド内の既存のメールアドレスをすべて置き換えます。

前提条件を使用すると、抽出オペレーションの実行前に条件付きチェックを実行できます。ほとんどの場合、[前提条件フィールド] は、抽出する [元データフィールド] と同じフィールドで、[前提条件演算子] は not Null（foo != "" など）になります。

ただし、この例のように、抽出する未加工データフィールドの値がすべてのログエントリに存在しない場合があります。その場合は、別の前提条件フィールドを使用して抽出オペレーションをフィルタできます。この例では、抽出する未加工の triggeringUserEmail フィールドは、type = Data Loss Prevention が存在するログにのみ存在します。

ノーコード パーサー拡張フィールドに入力する値の例を次に示します。

前提条件パス	前提条件演算子	前提条件の値	元データパス	宛先フィールド*
`type`	EQUALS	データ損失防止	`data.ruleViolationInfo.triggeringUserEmail`	`udm.principal.user.email_addresses`

次の例は、サンプル値が入力されたノーコードパーサー拡張フィールドを示しています。

パーサー拡張機能を実行すると、email_address が principal.user オブジェクトに正常に追加されます。

metadata.product_log_id = "Ug71LGqBr6Q="
metadata.event_timestamp = "2022-12-18T12:17:35.154368Z"
metadata.event_type = "USER_UNCATEGORIZED"
metadata.vendor_name = "Google Workspace"
metadata.product_name = "Google Workspace Alerts"
metadata.product_event_type = "DlpRuleViolation"
metadata.log_type = "WORKSPACE_ALERTS"
additional.fields["resource_title"] = "bq-results-20221215-112933-1671103787123.csv"
principal.user.email_addresses[0] = "foo.bar@altostrat.com"
target.resource.name = "DRIVE"
target.resource.resource_type = "STORAGE_OBJECT"
target.resource.product_object_id = "1wLteoF3VHljS_8_ABCD_VVbhFTfcTQplJ5k1k7cL4r8"
target.labels[0].key = "resource_title"
target.labels[0].value = "bq-results-20221321-112933-1671103787697.csv"
about[0].resource.resource_type = "CLOUD_ORGANIZATION"
about[0].resource.product_object_id = "C01abcde2"
security_result[0].about.object_reference.id = "ODU2NjEwZTItMWE2YS0xMjM0LWJjYzAtZTJlMWU2YWQzNzE3"
security_result[0].category_details[0] = "Data Loss Prevention"
security_result[0].rule_name = "Sensitive Projects Match"
security_result[0].summary = "Data Loss Prevention"
security_result[0].action[0] = "ALLOW"
security_result[0].severity = "MEDIUM"
security_result[0].rule_id = "rules/00abcdxs183abcd"
security_result[0].action_details = "ALERT, DRIVE_WARN_ON_EXTERNAL_SHARING"
security_result[0].alert_state = "ALERTING"
security_result[0].detection_fields[0].key = "start_time"
security_result[0].detection_fields[0].value = "2022-12-18T12:17:35.154368Z"
security_result[0].detection_fields[1].key = "status"
security_result[0].detection_fields[1].value = "NOT_STARTED"
security_result[0].detection_fields[2].key = "trigger"
security_result[0].detection_fields[2].value = "DRIVE_SHARE"
security_result[0].rule_labels[0].key = "detector_name"
security_result[0].rule_labels[0].value = "EMAIL_ADDRESS"
network.email.to[0] = "foo.bar@altostrat.com"

コードスニペット - HTTP ユーザーエージェントの追加

属性の例:

ログソースの形式: JSON
データマッピングアプローチ: コードスニペット
ログタイプ: GCP_IDS
パーサー拡張機能の目的: HTTP ユーザーエージェントの追加。

説明:

これは、ノーコード手法でサポートされていない標準以外の UDM オブジェクトタイプの例です。そのため、コードスニペットを使用する必要があります。デフォルトのパーサーは Network HTTP Parser User Agent 分析を抽出しません。また、整合性を確保するため、次のようにします。

Target Hostname は requestUrl から作成されます。
Namespace が割り当てられ、アセットベースのエイリアシングと拡充が実行されます。

# GCP_LOADBALANCING
# owner: @owner
# updated: 2022-12-23
# Custom parser extension that:
# 1) adds consistent Namespace 
# 2) adds Parsed User Agent Object 
filter {
    # Initialize placeholder
    mutate {
        replace => {
            "httpRequest.userAgent" => ""
            "httpRequest.requestUrl" => ""
        }
    }
    json {
        on_error => "not_json"
        source => "message"
        array_function => "split_columns"
    }
    if ![not_json] {
      #1 - Override Namespaces
        mutate {
            replace => {
                "event1.idm.read_only_udm.principal.namespace" => "TMO"
            }
        }
        mutate {
            replace => {
                "event1.idm.read_only_udm.target.namespace" => "TMO"
            }
        }
        mutate {
            replace => {
                "event1.idm.read_only_udm.src.namespace" => "TMO"
            }
        }
        #2 - Parsed User Agent
        if [httpRequest][requestUrl]!= "" {
            grok {
                match => {
                    "httpRequest.requestUrl" => ["\/\/(?P<_hostname>.*?)\/"]
                }
                on_error => "_grok_hostname_failed"
            }
            if ![_grok_hostname_failed] {
                mutate {
                    replace => {
                        "event1.idm.read_only_udm.target.hostname" => "%{_hostname}"
                    }
                }
            }
        }
        if [httpRequest][userAgent] != "" {
            mutate {
                convert => {
                    "httpRequest.userAgent" => "parseduseragent"
                }
            }
            #Map the converted "user_agent" to the new UDM field "http.parsed_user_agent".
            mutate {
                rename => {
                    "httpRequest.userAgent" => "event1.idm.read_only_udm.network.http.parsed_user_agent"
                }
            }
        }
        mutate {
            merge => {
                "@output" => "event1"
            }
        }
    }
}

CSV の例

次の例は、ログソースが CSV 形式のパーサー拡張機能を作成する方法を示しています。

コードスニペット - 任意のフィールドを `additional` オブジェクトに抽出する

属性の例:

ログソースの形式: CSV
データマッピングアプローチ: コードスニペット
ログタイプ: MISP_IOC
パーサー拡張機能の目的: 任意のフィールドを additional オブジェクトに抽出。

説明:

この例では、MISP_IOC UDM エンティティコンテキストの統合を使用します。additional Key-Value ペアの UDM オブジェクトは、デフォルトパーサーによって抽出されないコンテキスト情報をキャプチャし、組織固有のフィールドを追加するために使用されます。たとえば、特定の MISP インスタンスへの URL などです。

これは、この例の CSV ベースのログソースです。

`1`	`9d66d38a-14e1-407f-a4d1-90b82aa1d59f`
`2`	`3908`
`3`	`Network activity`
`4`	`ip-dst`
`5`	`117.253.154.123`
`6`
`7`
`8`	`1687894564`
`9`
`10`
`11`
`12`
`13`
`14`	`DigitalSide Malware report\: MD5\: 59ce0baba11893f90527fc951ac69912`
`15`	`ORGNAME`
`16`	`DIGITALSIDE.IT`
`17`	`0`
`18`	`Medium`
`19`	`0`
`20`	`2023-06-23`
`21`	`tlp:white,type:OSINT,source:DigitalSide.IT,source:urlhaus.abuse.ch`
`22`	`1698036218`

# MISP_IOC
# owner: @owner
# updated: 2024-06-21
# Custom parser extension that:
# 1) adds a link back to internal MISP tenant 
# 2) extracts missing fields into UDM > Entity > Additional fields
filter {
    # Set the base URL for MISP. Remember to replace this placeholder!
    mutate {
        replace => {
            "misp_base_url" => "https://<YOUR_MISP_URL>"
        }
    }
    # Parse the CSV data from the 'message' field. Uses a comma as the separator.
    # The 'on_error' option handles lines that are not properly formatted CSV.
    csv {
        source => "message"
        separator => ","
        on_error => "broken_csv"
    }
    # If the CSV parsing was successful...
    if ![broken_csv] {
        # Rename the CSV columns to more descriptive names.
        mutate {
            rename => {
                "column2" => "event_id"
                "column8" => "object_timestamp"
                "column16" => "event_source_org"
                "column17" => "event_distribution"
                "column19" => "event_analysis"
                "column22" => "attribute_timestamp"
            }
        }
    }
    # Add a link to view the event in MISP, if an event ID is available.
    # "column2" => "event_id"
    if [event_id] != "" {
        mutate {
            replace => {
                "additional_url.key" => "view_in_misp"
                "additional_url.value.string_value" => "%{misp_base_url}/events/view/%{event_id}"
            }
        }
        mutate {
            merge => {
                "event.idm.entity.additional.fields" => "additional_url"
            }
        }
    }
    # Add the object timestamp as an additional field, if available.
    # "column8" => "object_timestamp"
    if [object_timestamp] != "" {
        mutate {
            replace => {
                "additional_object_timestamp.key" => "object_timestamp"
                "additional_object_timestamp.value.string_value" => "%{object_timestamp}"
            }
        }
        mutate {
            merge => {
                "event.idm.entity.additional.fields" => "additional_object_timestamp"
            }
        }
    }
    # Add the event source organization as an additional field, if available.
    # "column16" => "event_source_org"
    if [event_source_org] != "" {
        mutate {
            replace => {
                "additional_event_source_org.key" => "event_source_org"
                "additional_event_source_org.value.string_value" => "%{event_source_org}"
            }
        }
        mutate {
            merge => {
                "event.idm.entity.additional.fields" => "additional_event_source_org"
            }
        }
    }
    # Add the event distribution level as an additional field, if available.
    # Maps numerical values to descriptive strings.
    # "column17" => "event_distribution"
    if [event_distribution] != "" {
        if [event_distribution] == "0" {
            mutate {
                replace => {
                    "additional_event_distribution.value.string_value" => "YOUR_ORGANIZATION_ONLY"
                }
            }
        } else if [event_distribution] == "1" {
            mutate {
                replace => {
                    "additional_event_distribution.value.string_value" => "THIS_COMMUNITY_ONLY"
                }
            }
        } else if [event_distribution] == "2" {
            mutate {
                replace => {
                    "additional_event_distribution.value.string_value" => "CONNECTED_COMMUNITIES"
                }
            }
        } else if [event_distribution] == "3" {
            mutate {
                replace => {
                    "additional_event_distribution.value.string_value" => "ALL_COMMUNITIES"
                }
            }
        } else if [event_distribution] == "4" {
            mutate {
                replace => {
                    "additional_event_distribution.value.string_value" => "SHARING_GROUP"
                }
            }
        } else if [event_distribution] == "5" {
            mutate {
                replace => {
                    "additional_event_distribution.value.string_value" => "INHERIT_EVENT"
                }
            }
        }
        mutate {
            replace => {
                "additional_event_distribution.key" => "event_distribution"
            }
        }
        mutate {
            merge => {
                "event.idm.entity.additional.fields" => "additional_event_distribution"
            }
        }
    }
    # Add the event analysis level as an additional field, if available.
    # Maps numerical values to descriptive strings.
    # "column19" => "event_analysis"
    if [event_analysis] != "" {
        if [event_analysis] == "0" {
            mutate {
                replace => {
                    "additional_event_analysis.value.string_value" => "INITIAL"
                }
            }
        } else if [event_analysis] == "1" {
            mutate {
                replace => {
                    "additional_event_analysis.value.string_value" => "ONGOING"
                }
            }
        } else if [event_analysis] == "2" {
            mutate {
                replace => {
                    "additional_event_analysis.value.string_value" => "COMPLETE"
                }
            }
        }
        mutate {
            replace => {
                "additional_event_analysis.key" => "event_analysis"
            }
        }
        mutate {
            merge => {
                "event.idm.entity.additional.fields" => "additional_event_analysis"
            }
        }
    }
    # Add the attribute timestamp as an additional field, if available.
    # "column22" => "attribute_timestamp" 
    if [attribute_timestamp] != "" {
        mutate {
            replace => {
                "additional_attribute_timestamp.key" => "attribute_timestamp"
                "additional_attribute_timestamp.value.string_value" => "%{attribute_timestamp}"
            }
        }
        mutate {
            merge => {
                "event.idm.entity.additional.fields" => "additional_attribute_timestamp"
            }
        }
    }
    # Finally, merge the 'event' data into the '@output' field.
    mutate {
        merge => {
            "@output" => "event"
        }
    }
}

パーサー拡張機能を実行すると、CSV のカスタムフィールドが additional オブジェクトに正常に追加されます。

metadata.product_entity_id = "9d66d38a-14e1-407f-a4d1-90b82aa1d59f"
metadata.collected_timestamp = "2024-10-31T15:16:08Z"
metadata.vendor_name = "MISP"
metadata.product_name = "MISP"
metadata.entity_type = "IP_ADDRESS"
metadata.description = "ip-dst"
metadata.interval.start_time = "2023-06-27T19:36:04Z"
metadata.interval.end_time = "9999-12-31T23:59:59Z"
metadata.threat[0].category_details[0] = "Network activity"
metadata.threat[0].description = "tlp:white,type:OSINT,source:DigitalSide.IT,source:urlhaus.abuse.ch - additional info: DigitalSide Malware report: MD5: 59ce0baba11893f90527fc951ac69912"
metadata.threat[0].severity_details = "Medium"
metadata.threat[0].threat_feed_name = "DIGITALSIDE.IT"
entity.ip[0] = "117.253.154.123"
additional.fields["view_in_misp"] = "https:///events/view/3908"
additional.fields["object_timestamp"] = "1687894564"
additional.fields["event_source_org"] = "DIGITALSIDE.IT"
additional.fields["event_distribution"] = "YOUR_ORGANIZATION_ONLY"
additional.fields["event_analysis"] = "INITIAL"
additional.fields["attribute_timestamp"] = "1698036218"

Grok の例

次の例は、Grok ベースのパーサー拡張機能を作成する方法を示しています。

コードスニペット（および Grok）- 優先度と重大度の抽出

属性の例:

ログソースの形式: Syslog
データマッピングアプローチ: Grok を使用したコードスニペット
ログタイプ: POWERSHELL
パーサー拡張機能の目的: 優先度と重大度の抽出。

説明:

この例では、Grok ベースのパーサー拡張機能が作成され、Syslog 施設と重大度の値が UDM セキュリティ結果の Priority フィールドと Severity フィールドに抽出されます。

filter {
    # Use grok to parse syslog messages. The on_error clause handles messages that don't match the pattern.
    grok {
        match => {
            "message" => [
                # Extract message with syslog headers.
                "(<%{POSINT:_syslog_priority}>)%{SYSLOGTIMESTAMP:datetime} %{DATA:logginghost}: %{GREEDYDATA:log_data}"
            ]
        }
        on_error => "not_supported_format"
    }
    # If the grok parsing failed, tag the event as unsupported and drop it.
    if ![not_supported_format] {
        if [_syslog_priority] != "" {
            if [_syslog_priority] =~ /0|8|16|24|32|40|48|56|64|72|80|88|96|104|112|120|128|136|144|152|160|168|176|184/ {
                mutate { replace => { "_security_result.severity_details" => "EMERGENCY" } } 
            }
            if [_syslog_priority] =~ /1|9|17|25|33|41|49|57|65|73|81|89|97|105|113|121|129|137|145|153|161|169|177|185/ {
                mutate { replace => { "_security_result.severity_details" => "ALERT" } } 
            }
            if [_syslog_priority] =~ /2|10|18|26|34|42|50|58|66|74|82|90|98|106|114|122|130|138|146|154|162|170|178|186/ {
                mutate { replace => { "_security_result.severity_details" => "CRITICAL" } }
            }
            if [_syslog_priority] =~ /3|11|19|27|35|43|51|59|67|75|83|91|99|107|115|123|131|139|147|155|163|171|179|187/ {
                mutate { replace => { "_security_result.severity_details" => "ERROR" } }
            }
            if [_syslog_priority] =~ /4|12|20|28|36|44|52|60|68|76|84|92|100|108|116|124|132|140|148|156|164|172|180|188/ {
                mutate { replace => { "_security_result.severity_details" => "WARNING" } }
            }
            if [_syslog_priority] =~ /5|13|21|29|37|45|53|61|69|77|85|93|101|109|117|125|133|141|149|157|165|173|181|189/ {
                mutate { replace => { "_security_result.severity_details" => "NOTICE" } }
            }
            if [_syslog_priority] =~ /6|14|22|30|38|46|54|62|70|78|86|94|102|110|118|126|134|142|150|158|166|174|182|190/ {
                mutate { replace => { "_security_result.severity_details" => "INFORMATIONAL" } }
            }
            if [_syslog_priority] =~ /7|15|23|31|39|47|55|63|71|79|87|95|103|111|119|127|135|143|151|159|167|175|183|191/ {
                mutate { replace => { "_security_result.severity_details" => "DEBUG" } }
            }
            # Facilities (mapped to priority)
            if [_syslog_priority] =~ /0|1|2|3|4|5|6|7/ { 
                mutate { replace => { "_security_result.priority_details" => "KERNEL" } } 
            }
            if [_syslog_priority] =~ /8|9|10|11|12|13|14|15/ { 
                mutate { replace => { "_security_result.priority_details" => "USER" } } 
            }
            if [_syslog_priority] =~ /16|17|18|19|20|21|22|23/ { 
                mutate { replace => { "_security_result.priority_details" => "MAIL" } } 
            }
            if [_syslog_priority] =~ /24|25|26|27|28|29|30|31/ { 
                mutate { replace => { "_security_result.priority_details" => "SYSTEM" } } 
            }
            if [_syslog_priority] =~ /32|33|34|35|36|37|38|39/ { 
                mutate { replace => { "_security_result.priority_details" => "SECURITY" } } 
            }
            if [_syslog_priority] =~ /40|41|42|43|44|45|46|47/ { 
                mutate { replace => { "_security_result.priority_details" => "SYSLOG" } } 
            }
            if [_syslog_priority] =~ /48|49|50|51|52|53|54|55/ { 
                mutate { replace => { "_security_result.priority_details" => "LPD" } } 
            }
            if [_syslog_priority] =~ /56|57|58|59|60|61|62|63/ { 
                mutate { replace => { "_security_result.priority_details" => "NNTP" } } 
            }
            if [_syslog_priority] =~ /64|65|66|67|68|69|70|71/ { 
                mutate { replace => { "_security_result.priority_details" => "UUCP" } } 
            }
            if [_syslog_priority] =~ /72|73|74|75|76|77|78|79/ { 
                mutate { replace => { "_security_result.priority_details" => "TIME" } } 
            }
            if [_syslog_priority] =~ /80|81|82|83|84|85|86|87/ { 
                mutate { replace => { "_security_result.priority_details" => "SECURITY" } } 
            }
            if [_syslog_priority] =~ /88|89|90|91|92|93|94|95/ { 
                mutate { replace => { "_security_result.priority_details" => "FTPD" } } 
            }
            if [_syslog_priority] =~ /96|97|98|99|100|101|102|103/ { 
                mutate { replace => { "_security_result.priority_details" => "NTPD" } } 
            }
            if [_syslog_priority] =~ /104|105|106|107|108|109|110|111/ { 
                mutate { replace => { "_security_result.priority_details" => "LOGAUDIT" } } 
            }
            if [_syslog_priority] =~ /112|113|114|115|116|117|118|119/ { 
                mutate { replace => { "_security_result.priority_details" => "LOGALERT" } } 
            }
            if [_syslog_priority] =~ /120|121|122|123|124|125|126|127/ { 
                mutate { replace => { "_security_result.priority_details" => "CLOCK" } } 
            }
            if [_syslog_priority] =~ /128|129|130|131|132|133|134|135/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL0" } } 
            }
            if [_syslog_priority] =~ /136|137|138|139|140|141|142|143/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL1" } } 
            }
            if [_syslog_priority] =~ /144|145|146|147|148|149|150|151/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL2" } } 
            }
            if [_syslog_priority] =~ /152|153|154|155|156|157|158|159/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL3" } } 
            }
            if [_syslog_priority] =~ /160|161|162|163|164|165|166|167/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL4" } } 
            }
            if [_syslog_priority] =~ /168|169|170|171|172|173|174|175/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL5" } } 
            }
            if [_syslog_priority] =~ /176|177|178|179|180|181|182|183/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL6" } } 
            }
            if [_syslog_priority] =~ /184|185|186|187|188|189|190|191/ { 
                mutate { replace => { "_security_result.priority_details" => "LOCAL7" } } 
            }
            mutate {
                merge => {
                    "event.idm.read_only_udm.security_result" => "_security_result"
                }
            }
        }
        mutate {
            merge => {
                "@output" => "event"
            }
        }
    }
}

パーサー拡張機能の結果を表示すると、人が読める形式で表示されます。

metadata.product_log_id = "6161053"
metadata.event_timestamp = "2024-10-31T15:10:10Z"
metadata.event_type = "PROCESS_LAUNCH"
metadata.vendor_name = "Microsoft"
metadata.product_name = "PowerShell"
metadata.product_event_type = "600"
metadata.description = "Info"
metadata.log_type = "POWERSHELL"
principal.hostname = "win-adfs.lunarstiiiness.com"
principal.resource.name = "in_powershell"
principal.resource.resource_subtype = "im_msvistalog"
principal.asset.hostname = "win-adfs.lunarstiiiness.com"
target.hostname = "Default Host"
target.process.command_line = "C:\Program Files\Microsoft Azure AD Sync\Bin\miiserver.exe"
target.asset.hostname = "Default Host"
target.asset.asset_id = "Host ID:bf203e94-72cf-4649-84a5-fc02baedb75f"
security_result[0].severity_details = "INFORMATIONAL"
security_result[0].priority_details = "USER"

コードスニペット（および Grok）- イベントのデコレーション、一時変数名、データ型変換

属性の例:

ログソースの形式: Syslog ヘッダー付きの JSON
データマッピングアプローチ: Grok を使用したコードスニペット
ログタイプ: WINDOWS_SYSMON
パーサー拡張機能の目的: イベント、一時変数名、データ型の装飾。

説明:

この例は、パーサー拡張機能を作成するときに次の操作を行う方法を示しています。

条件文に基づくデコレーションを使用したコードスニペット内のデータ型の把握。
データ型の変換
読みやすくするための一時変数名
繰り返しフィールド

条件文に基づくデコレーション

この例では、WINDOWS_SYSMON の各イベントタイプの意味に関する説明（コンテキスト情報）を追加します。条件ステートメントを使用して EventID を確認し、Description を追加します。たとえば、EventID 1 は Process Creation イベントです。

JSON などの抽出フィルタを使用すると、元のデータ型が保持される場合があります。

次の例では、EventID 値はデフォルトで整数として抽出されます。条件文は、EventID 値を文字列ではなく整数として評価します。

if [EventID] == 1 {
  mutate {
    replace => {
      "_description" => "[1] Process creation"
    }
  }
}

データ型の変換

パーサー拡張機能内でデータ型を変換するには、convert 関数を使用します。

mutate {
  convert => {
    "EventID" => "string"
  }
  on_error => "_convert_EventID_already_string"
}

読みやすくするための一時的な変数名

コードスニペットで一時的な変数名を使用し、後で最終出力の UDM イベントオブジェクト名と一致するように名前を変更できます。これにより、全体的な読みやすさが向上します。

次の例では、description 変数の名前を event.idm.read_only_udm.metadata.description に変更しています。

mutate {
  rename => {
    "_description" => "event.idm.read_only_udm.metadata.description"
  }
}

繰り返しフィールド

完全なパーサー拡張は次のとおりです。

filter {
# initialize variable
mutate {
  replace => {
    "EventID" => ""
  }
}
# Use grok to parse syslog messages.
# The on_error clause handles messages that don't match the pattern.
grok {
  match => {
    "message" => [
      "(<%{POSINT:_syslog_priority}>)%{SYSLOGTIMESTAMP:datetime} %{DATA:logginghost}: %{GREEDYDATA:log_data}"
    ]
  }
  on_error => "not_supported_format"
}
if ![not_supported_format] {
  json {
    source => "log_data"
    on_error => "not_json"
  }
  if ![not_json] {
    if [EventID] == 1 {
      mutate {
        replace => {
          "_description" => "[1] Process creation"
        }
      }
    }
    if [EventID] == 2 {
      mutate {
        replace => {
          "_description" => "[2] A process changed a file creation time"
        }
      }
    }
    if [EventID] == 3 {
      mutate {
        replace => {
          "_description" => "[3] Network connection"
        }
      }
    }
    if [EventID] == 4 {
      mutate {
        replace => {
          "_description" => "[4] Sysmon service state changed"
        }
      }
    }
    if [EventID] == 5 {
      mutate {
        replace => {
          "_description" => "[5] Process terminated"
        }
      }
    }
    if [EventID] == 6 {
      mutate {
        replace => {
          "_description" => "[6] Driver loaded"
        }
      }
    }
    if [EventID] == 7 {
      mutate {
        replace => {
          "_description" => "[7] Image loaded"
        }
      }
    }
    if [EventID] == 8 {
      mutate {
        replace => {
          "_description" => "[8] CreateRemoteThread"
        }
      }
    }
    if [EventID] == 9 {
      mutate {
        replace => {
          "_description" => "[9] RawAccessRead"
        }
      }
    }
    if [EventID] == 10 {
      mutate {
        replace => {
          "_description" => "[10] ProcessAccess"
        }
      }
    }
    if [EventID] == 11 {
      mutate {
        replace => {
          "_description" => "[11] FileCreate"
        }
      }
    }
    if [EventID] == 12 {
      mutate {
        replace => {
          "_description" => "[12] RegistryEvent (Object create and delete)"
        }
      }
    }
    if [EventID] == 13 {
      mutate {
        replace => {
          "_description" => "[13] RegistryEvent (Value Set)"
        }
      }
    }
    if [EventID] == 14 {
      mutate {
        replace => {
          "_description" => "[14] RegistryEvent (Key and Value Rename)"
        }
      }
    }
    if [EventID] == 15 {
      mutate {
        replace => {
          "_description" => "[15] FileCreateStreamHash"
        }
      }
    }
    if [EventID] == 16 {
      mutate {
        replace => {
          "_description" => "[16] ServiceConfigurationChange"
        }
      }
    }
    if [EventID] == 17 {
      mutate {
        replace => {
          "_description" => "[17] PipeEvent (Pipe Created)"
        }
      }
    }
    if [EventID] == 18 {
      mutate {
        replace => {
          "_description" => "[18] PipeEvent (Pipe Connected)"
        }
      }
    }
    if [EventID] == 19 {
      mutate {
        replace => {
          "_description" => "[19] WmiEvent (WmiEventFilter activity detected)"
        }
      }
    }
    if [EventID] == 20 {
      mutate {
        replace => {
          "_description" => "[20] WmiEvent (WmiEventConsumer activity detected)"
        }
      }
    }
    if [EventID] == 21 {
      mutate {
        replace => {
          "_description" => "[21] WmiEvent (WmiEventConsumerToFilter activity detected)"
        }
      }
    }
    if [EventID] == 22 {
      mutate {
        replace => {
          "_description" => "[22] DNSEvent (DNS query)"
        }
      }
    }
    if [EventID] == 23 {
      mutate {
        replace => {
          "_description" => "[23] FileDelete (File Delete archived)"
        }
      }
    }
    if [EventID] == 24 {
      mutate {
        replace => {
          "_description" => "[24] ClipboardChange (New content in the clipboard)"
        }
      }
    }
    if [EventID] == 25 {
      mutate {
        replace => {
          "_description" => "[25] ProcessTampering (Process image change)"
        }
      }
    }
    if [EventID] == 26 {
      mutate {
        replace => {
          "_description" => "[26] FileDeleteDetected (File Delete logged)"
        }
      }
    }
    if [EventID] == 255 {
      mutate {
        replace => {
          "_description" => "[255] Error"
        }
      }
    }
    mutate {
      rename => {
        "_description" => "event.idm.read_only_udm.metadata.description"
      }
    }
    statedump{}
    mutate {
      merge => {
        "@output" => "event"
      }
    }
  }
}
}

パーサー拡張機能を実行すると、metadata.description フィールドに装飾が正常に追加されます。

metadata.product_log_id = "6008459"
metadata.event_timestamp = "2024-10-31T14:41:53.442Z"
metadata.event_type = "REGISTRY_CREATION"
metadata.vendor_name = "Microsoft"
metadata.product_name = "Microsoft-Windows-Sysmon"
metadata.product_event_type = "12"
metadata.description = "[12] RegistryEvent (Object create and delete)"
metadata.log_type = "WINDOWS_SYSMON"
additional.fields["thread_id"] = "3972"
additional.fields["channel"] = "Microsoft-Windows-Sysmon/Operational"
additional.fields["Keywords"] = "-9223372036854776000"
additional.fields["Opcode"] = "Info"
additional.fields["ThreadID"] = "3972"
principal.hostname = "win-adfs.lunarstiiiness.com"
principal.user.userid = "tim.smith_admin"
principal.user.windows_sid = "S-1-5-18"
principal.process.pid = "6856"
principal.process.file.full_path = "C:\Windows\system32\wsmprovhost.exe"
principal.process.product_specific_process_id = "SYSMON:{927d35bf-a374-6495-f348-000000002900}"
principal.administrative_domain = "LUNARSTIIINESS"
principal.asset.hostname = "win-adfs.lunarstiiiness.com"
target.registry.registry_key = "HKU\S-1-5-21-3263964631-4121654051-1417071188-1116\Software\Policies\Microsoft\SystemCertificates\CA\Certificates"
observer.asset_id = "5770385F:C22A:43E0:BF4C:06F5698FFBD9"
observer.process.pid = "2556"
about[0].labels[0].key = "Category ID"
about[0].labels[0].value = "RegistryEvent"
security_result[0].rule_name = "technique_id=T1553.004,technique_name=Install Root Certificate"
security_result[0].summary = "Registry object added or deleted"
security_result[0].severity = "INFORMATIONAL"
security_result[1].rule_name = "EventID: 12"
security_result[2].summary = "12"

XML の例

次の例は、ログソースが XML 形式の場合のパーサー拡張機能の作成方法を示しています。

コードスニペット - 任意のフィールドを `additional` オブジェクトに抽出する

属性の例:

ログソースの形式: XML
データマッピングアプローチ: コードスニペット
ログタイプ: WINDOWS_DEFENDER_AV
パーサー拡張機能の目的: additional オブジェクトへの任意のフィールドの抽出

説明:

この例の目的は、Platform Version 値を抽出して保存することです。たとえば、outdated platform versions に関するレポートを作成したり、outdated platform versions を検索したりできるようにします。

重要な UDM フィールドのドキュメントを確認した結果、適切な標準 UDM フィールドは特定されませんでした。したがって、この例では additional オブジェクトを使用して、この情報をカスタム Key-Value ペアとして保存します。

# Parser Extension for WINDOWS_DEFENDER_AV
# 2024-10-29: cmmartin: Extracting 'Platform Version' into Additional
filter {
    # Uses XPath to target the specific element(s)
    xml {
        source => "message"
            xpath => {
                "/Event/EventData/Data[@Name='Platform version']" => "platform_version"
        }
        on_error => "_xml_error"
    }
    # Conditional processing: Only proceed if XML parsing was successful
    if ![_xml_error] {
        # Prepare the additional field structure using a temporary variable
        mutate{
            replace => {
                "additional_platform_version.key" => "Platform Version"
                "additional_platform_version.value.string_value" => "%{platform_version}"
            }
            on_error => "no_platform_version"
        }
        # Merge the additional field into the event1 structure.
        if ![no_platform_version] {
            mutate {
                merge => {
                    "event1.idm.read_only_udm.additional.fields" => "additional_platform_version"
                }
            }
        }
        mutate {
            merge => {
                "@output" => "event1"
            }
        }
    }
}

PREVIEW UDM OUTPUT を実行すると、新しいフィールドが正常に追加されたことがわかります。

metadata.event_timestamp = "2024-10-29T14:08:52Z"
metadata.event_type = "STATUS_HEARTBEAT"
metadata.vendor_name = "Microsoft"
metadata.product_name = "Windows Defender AV"
metadata.product_event_type = "MALWAREPROTECTION_SERVICE_HEALTH_REPORT"
metadata.description = "Endpoint Protection client health report (time in UTC)."
metadata.log_type = "WINDOWS_DEFENDER_AV"
additional.fields["Platform Version"] = "4.18.24080.9"
principal.hostname = "win-dc-01.ad.1823127835827.altostrat.com"
security_result[0].description = "EventID: 1151"
security_result[0].action[0] = "ALLOW"
security_result[0].severity = "LOW"

コードスニペット（および Grok）- 任意のフィールドをプリンシパルホスト名に抽出

属性の例:

ログソースの形式: XML
データマッピングアプローチ: Grok を使用したコードスニペット
ログタイプ: WINDOWS_DEFENDER_AV
パーサー拡張機能の目的: プリンシパルホスト名への任意のフィールドの抽出

説明:

この例の目的は、FQDN から Hostname を抽出し、principal.hostname フィールドを上書きすることです。

この例では、元のログ Computer name フィールドに FQDN が含まれているかどうかを確認します。その場合、Hostname 部分のみが抽出され、UDM Principal Hostname フィールドが上書きされます。

パーサーと重要な UDM フィールドのドキュメントを確認すると、principal.hostname フィールドを使用する必要があることが明らかです。

# Parser Extension for WINDOWS_DEFENDER_AV
# 2024-10-29: Extract Hostname from FQDN and overwrite principal.hostname
filter {
    # Uses XPath to target the specific element(s)
    xml {
        source => "message"
            xpath => {
                "/Event/System/Computer" => "hostname"
        }
        on_error => "_xml_error"
    }
    # Conditional processing: Only proceed if XML parsing was successful
    if ![_xml_error] {
  # Extract all characters before the first dot in the hostname variable
        grok {
            match => { "hostname" => "(?<hostname>[^.]+)" }
        }
        mutate {
            replace => {
                "event1.idm.read_only_udm.principal.hostname" => "%{hostname}"
            }
        }
        mutate {
            merge => {
                "@output" => "event1"
            }
        }
    }
}

このパーサー拡張機能は、Grok ステートメントを使用して正規表現（regex）を実行し、hostname フィールドを抽出します。正規表現自体は名前付きキャプチャグループを使用します。つまり、かっこ内で一致するものはすべて hostname という名前のフィールドに格納され、ドットが見つかるまで 1 つ以上の文字と照合されます。これにより、FQDN 内の hostname のみがキャプチャされます。

ただし、PREVIEW UDM OUTPUT を実行するとエラーが返されます。なぜでしょうか？

generic::unknown: pipeline.ParseLogEntry failed:
 LOG_PARSING_CBN_ERROR: "generic::internal: pipeline failed: filter grok (2) failed: 
field\ "hostname\" already exists in data and is not overwritable"

Grok `overwrite` ステートメント

Grok ステートメント内で、名前付きキャプチャグループは、overwrite ステートメントを使用して明示的に指定しない限り、既存の変数を上書きできません。このシナリオでは、Grok ステートメントの名前付きキャプチャグループに別の変数名を使用するか、次のコードスニペットの例に示すように、overwrite ステートメントを使用して既存の hostname 変数を明示的に上書きします。

# Parser Extension for WINDOWS_DEFENDER_AV
# 2024-10-29: cmmartin: Overwriting principal Hostname
filter {
  xml {
    source => "message"
      xpath => {
        "/Event/System/Computer" => "hostname"
    }
    on_error => "_xml_error"
  }
  if ![_xml_error] {
    grok {
      match => { "hostname" => "(?<hostname>[^.]+)" }
      overwrite => ["hostname"]
      on_error => "_grok_hostname_error"
    }
    mutate {
      replace => {
        "event1.idm.read_only_udm.principal.hostname" => "%{hostname}"
      }
    }
    mutate {
      merge => {
        "@output" => "event1"
      }
    }
  }
}

PREVIEW UDM OUTPUT を再度実行すると、FQDN から hostname が抽出された後、新しいフィールドが追加されたことがわかります。

metadata.event_timestamp"2024-10-29T14:08:52Z"
metadata.event_type"STATUS_HEARTBEAT"
metadata.vendor_name"Microsoft"
metadata.product_name"Windows Defender AV"
metadata.product_event_type"MALWAREPROTECTION_SERVICE_HEALTH_REPORT"
metadata.description"Endpoint Protection client health report (time in UTC)."
metadata.log_type"WINDOWS_DEFENDER_AV"
principal.hostname"win-dc-01"
security_result[0].description"EventID: 1151"
security_result[0].action[0]"ALLOW"
security_result[0].severity"LOW"

パーサー拡張機能の例

パーサー拡張機能の例

ノーコードの例

コード スニペットの例

JSON の例

ノーコード - フィールドの抽出

ノーコード - 前提条件値を含むフィールドを抽出する

コード スニペット - HTTP ユーザー エージェントの追加

CSV の例

コード スニペット - 任意のフィールドを additional オブジェクトに抽出する

Grok の例

コード スニペット（および Grok）- 優先度と重大度の抽出

コード スニペット（および Grok）- イベントのデコレーション、一時変数名、データ型変換

条件文に基づくデコレーション

データ型の変換

読みやすくするための一時的な変数名

繰り返しフィールド

XML の例

コード スニペット - 任意のフィールドを additional オブジェクトに抽出する

コード スニペット（および Grok）- 任意のフィールドをプリンシパル ホスト名に抽出

Grok overwrite ステートメント

コードスニペットの例

コードスニペット - HTTP ユーザーエージェントの追加

コードスニペット - 任意のフィールドを `additional` オブジェクトに抽出する

コードスニペット（および Grok）- 優先度と重大度の抽出

コードスニペット（および Grok）- イベントのデコレーション、一時変数名、データ型変換

コードスニペット - 任意のフィールドを `additional` オブジェクトに抽出する

コードスニペット（および Grok）- 任意のフィールドをプリンシパルホスト名に抽出

Grok `overwrite` ステートメント