Splunk

借助 Splunk 连接器,您可以对 Splunk 数据库执行插入、删除、更新和读取操作。

准备工作

在使用 Splunk 连接器之前,请先完成以下任务:

  • 在您的 Google Cloud 项目中:
    • 确保已设置网络连接。如需了解网络模式,请参阅网络连接
    • 向配置连接器的用户授予 roles/connectors.admin IAM 角色。
    • 将以下 IAM 角色授予您要用其来使用连接器的服务账号:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      服务账号是一种特殊类型的 Google 账号,用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号,则必须创建一个服务账号。如需了解详情,请参阅创建服务账号

    • 启用以下服务:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      如需了解如何启用服务,请参阅启用服务

    如果之前没有为您的项目启用这些服务或权限,则在您配置连接器时,系统会提示您启用。

配置连接器

配置连接器时,您需要创建与数据源(即后端系统)的连接。一个连接需专用于一个数据源。这意味着,如果您有许多数据源,则必须为每个数据源创建单独的连接。如需创建连接,请执行以下步骤:

  1. Cloud 控制台 中,进入 Integration Connectors > 连接页面,然后选择或创建一个 Google Cloud 项目。

    转到“连接”页面

  2. 点击 + 新建以打开创建连接页面。
  3. 位置部分中,选择连接的位置。
    1. 区域:从下拉列表中选择一个位置。

      如需查看所有受支持区域的列表,请参阅位置

    2. 点击下一步
  4. 连接详情部分中,完成以下操作:
    1. 连接器:从可用连接器的下拉列表中选择 Splunk
    2. 连接器版本:从可用版本的下拉列表中选择一个连接器版本。
    3. 连接名称字段中,输入连接实例的名称。

      连接名称必须符合以下条件:

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头,以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
    4. (可选)输入连接实例的说明
    5. 您可以选择启用 Cloud Logging,然后选择日志级别。默认情况下,日志级别设置为 Error
    6. 服务账号:选择具有所需角色的服务账号。
    7. (可选)配置连接节点设置

      • 节点数下限:输入连接节点数下限。
      • 节点数上限:输入连接节点数上限。

      节点是处理事务的连接单元(或副本)。 连接处理越多事务就需要越多节点,相反,处理越少事务需要越少节点。 如需了解节点如何影响连接器价格,请参阅连接节点的价格。如果未输入任何值,则默认情况下,节点数下限设置为 2(以便提高可用性),节点数上限设置为 50。

    8. (可选)点击 + 添加标签,以键值对的形式向连接添加标签。
    9. 点击下一步
  5. 目标部分中,输入要连接到的远程主机(后端系统)的详细信息。
    1. 目标类型:选择目标类型
      • 从列表中选择主机地址,以指定目标的主机名或 IP 地址。
      • 如果要与后端系统建立专用连接,请从列表中选择端点连接,然后从端点连接列表中选择所需的端点连接。

      如果要与后端系统建立公共连接以提高安全性,您可以考虑为连接配置静态出站 IP 地址,然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      要输入其他目标,请点击 + 添加目标

    2. 点击下一步
  6. 身份验证部分中,输入身份验证详细信息。
    1. 选择身份验证类型,然后输入相关详细信息。

      Splunk 连接支持以下身份验证类型:

      • 用户名和密码(基本身份验证)
      • AccessToken
      • HTTPEventCollectorToken
    2. 如需了解如何配置这些身份验证类型,请参阅配置身份验证

    3. 点击下一步
  7. 查看:查看您的连接和身份验证详细信息。
  8. 点击创建

配置身份验证

根据您要使用的身份验证输入详细信息。

  • 用户名和密码
    • 用户名:用于连接的 Splunk 用户名。
    • 密码:包含与 Splunk 用户名关联的密码的 Secret Manager Secret。
  • AccessToken - 设置此属性以使用 AccessToken 属性执行基于令牌的身份验证。
  • HTTPEventCollectorToken - 将此属性设置为使用 HTTPEventCollectorToken 属性执行基于令牌的身份验证。

连接配置示例

本部分列出了您在创建 Splunk 连接时配置的各种字段的示例值。

HTTP Event Collector 连接类型

字段名称 详细信息
位置 us-central1
连接器 Splunk
连接器版本 1
连接名称 splunk-http-event-coll-conn
启用 Cloud Logging
服务账号 SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
节点数下限 2
节点数上限 50
启用 SSL
受信任证书存储区不安全的连接
目标类型(服务器) 主机地址
主机地址 192.0.2.0
端口 PORT
基于 HTTP Event Collector 令牌的身份验证
HTTPEventCollectorToken HTTPEVENTCOLLECTOR_TOKEN
Secret 版本 1

如需了解如何创建 HTTP 事件收集器令牌,请参阅创建 HTTP 事件收集器

SSL 连接类型

字段名称 详细信息
位置 us-central1
连接器 Splunk
连接器版本 1
连接名称 splunk-ssl-connection
启用 Cloud Logging
服务账号 SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
详细程度 5
节点数下限 2
节点数上限 50
启用 SSL
不安全的连接
目标类型(服务器) 主机地址
主机地址 https://192.0.2.0
端口 PORT
用户密码
用户名 USER
密码 密码
Secret 版本 1

对于基本身份验证,您必须拥有用户角色或超级用户角色。如需了解如何配置超级用户,请参阅配置超级用户角色。如需了解如何在 Splunk 中定义角色,请参阅在 Splunk 平台上定义角色

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

  • 实体:实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如,在数据库连接器中,表是实体;在文件服务器连接器中,文件夹是实体;在消息传递系统连接器中,队列是实体。

    但可能的情况是,连接器不支持或不具有任何实体,在这种情况下,Entities 列表将为空。

  • 操作:操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作:

    从可用列表中选择一个实体,系统会生成该实体可用的操作列表。如需了解操作的详细说明,请参阅连接器任务的实体操作。不过,如果连接器不支持任何实体操作,则 Operations 列表中不会列出此类不受支持的操作。

  • 动作:动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改,并且动作因连接器而异。通常,操作会有一些输入参数和一个输出参数。但可能的情况是,连接器不支持任何动作,在这种情况下,Actions 列表将为空。

系统限制

Splunk 连接器每个节点每秒可处理 5 笔事务,并会对超出此限制的所有事务进行节流。不过,此连接器可以处理的交易数量还取决于 Splunk 实例施加的限制。默认情况下,集成连接器会为连接分配 2 个节点(以提高可用性)。

如需了解适用于集成连接器的限制,请参阅限制

操作

本部分列出了该连接器支持的操作。如需了解如何配置操作,请参阅操作示例

CreateHTTPEvent 操作

借助此操作,您可以通过 HTTP 和 HTTPS 协议将数据和应用事件发送到 Splunk 部署。

CreateHTTPEvent 操作的输入参数

参数名称 数据类型 必需 说明
EventContent 字符串 表或视图的名称。
ContentType 字符串 EventContent 输入指定的内容类型。支持的值包括 JSONRAWTEXT
ChannelGUID 整数 用于事件的渠道的 GUID。如果 ContentTypeRAWTEXT,您必须指定此值。

CreateHTTPEvent 操作的输出参数

此操作会返回所创建事件的成功状态。

CreateIndex 操作

通过此操作,您可以创建索引。

CreateIndex 操作的输入参数

参数名称 数据类型 必需 说明
MaxMetaEntries 字符串 设置存储分区中 .data 文件中的唯一行数上限,这可能有助于减少内存用量。
FrozenTimePeriodInSecs 字符串 索引数据滚动到冻结状态所需的秒数。默认值为 188697600(6 年)。
HomePath 字符串 包含索引的热点存储分区和温点存储分区的绝对路径。
MinRawFileSyncSecs 字符串 为此参数指定一个整数(或 disable)。此参数用于设置 splunkd 在压缩日志分片时强制同步文件系统的频率。
ProcessTrackerServiceInterval 字符串 指定索引编制工具检查其启动的子操作系统进程状态的频率(以秒为单位),以确定是否可以为排队的请求启动新进程。 如果设置为 0,编制索引工具会每秒检查一次子进程状态。
ServiceMetaPeriod 字符串 定义元数据同步到磁盘的频率(以秒为单位)。
MaxHotSpanSecs 字符串 热门或温门分桶的目标最长时间跨度(以秒为单位)的上限。
QuarantinePastSecs 字符串 时间戳大于 >now 的 quarantinePastSecs 事件会被丢弃到隔离分桶中。
ColdToFrozenDir 字符串 冻结归档的目标路径。可用作 ColdToFrozenScript 的替代方案。
ColdPath 字符串 包含索引的 colddb 的绝对路径。路径必须可读写。
MaxHotIdleSecs 字符串 热存储分区的最长生命周期(秒)
WarmToColdScript 字符串 在将数据从温备区移至冷备区时要运行的脚本的路径。
ColdToFrozenScript 字符串 归档脚本的路径。
MaxHotBuckets 字符串 每个索引中可以存在的热点存储分区的数量上限。
TstatsHomePath 字符串 用于存储此索引的数据模型加速 TSIDX 数据的位置。 如果指定了,则必须根据音量定义进行定义。路径必须可写入
RepFactor 字符串 索引复制控制。此参数仅适用于集群中的对等节点。
  • auto - 使用主索引复制配置值。
  • 0 - 为此索引关闭复制。
MaxDataSize 字符串 热数据库在触发滚动到温数据库之前可以达到的大小上限(以兆字节为单位)。 指定 autoauto_high_volume 会导致 Splunk 自动调整此参数(推荐)。
MaxBloomBackfillBucketAge 字符串 有效值:整数 [m|s|h|d]。如果温存分桶或冷存分桶的保留期限超过指定时长,则不会创建或重新构建其 Bloom 过滤器。指定 0 可永不重新构建 bloomfilter。
BlockSignSize 字符串 用于控制构成块签名的事件数量。如果将此值设置为 0,则会为此索引停用分块签名。建议值为 100。
名称 字符串 要创建的索引的名称
MaxTotalDataSizeMB 字符串 索引的大小上限(以 MB 为单位)。如果索引的大小超过上限,系统会冻结最早的数据。
MaxWarmDBCount 字符串 温存储分区的数量上限。如果超出此数量,则将最近使用次数值最低的温存分桶移至冷存分桶。
RawChunkSizeBytes 字符串 索引的原始数据日志中各个原始 slice 的目标未压缩大小(以字节为单位)。0 不是有效值。如果指定 0,则 rawChunkSizeBytes 会设置为默认值。
DataType 字符串 指定索引的类型
MaxConcurrentOptimizes 字符串 可以针对热点存储分区运行的并发优化进程数量。
ThrottleCheckPeriod 字符串 定义 Splunk 检查索引节流条件的频率(以秒为单位)。
SyncMeta 字符串 如果为 true,则在元数据文件更新时,系统会在关闭文件描述符之前调用同步操作。此功能可提高元数据文件的完整性,尤其是在操作系统崩溃或机器故障的情况下。
RotatePeriodInSecs 字符串 检查是否需要创建新的热点桶的频率(以秒为单位)。此外,检查是否有需要滚动/冷冻的温水/冷水桶的频率。

CreateIndex 操作的输出参数

此操作会返回 CreateIndex 操作的确认消息。

如需了解如何配置 CreateIndex 操作,请参阅操作示例

CreateSavedSearch 操作

此操作可让您保存搜索记录

CreateSavedSearch 操作的输入参数

参数名称 数据类型 必需 说明
IsVisible 布尔值 指示此已保存的搜索是否显示在可见的已保存的搜索列表中。
RealTimeSchedule 布尔值 如果此值设为 1,则调度器会根据当前时间确定下一个调度搜索执行时间。如果此值设为 0,则系统会根据上次搜索执行时间来确定此值。
搜索 字符串 要保存的搜索查询
说明 字符串 此已保存搜索的说明
SchedulePriority 字符串 表示特定搜索的调度优先级
CronSchedule 字符串 用于执行此搜索的 cron 时间表。例如,*/5 * * * * 会导致搜索每 5 分钟执行一次。
名称 字符串 搜索的名称
UserContext 字符串 如果提供了用户上下文,则使用 servicesNS 节点 (/servicesNS/[UserContext]/search);否则,默认为通用端点 /services
RunOnStartup 布尔值 指示此搜索是否会在启动时运行。如果未在启动时运行,则会在下次预定时间运行。
已停用 布尔值 指示此已保存搜索是否已停用。
IsScheduled 布尔值 指示此搜索是否按计划运行。

CreateSavedSearch 操作的输出参数

此操作会返回 CreateSavedSearch 操作的确认消息。

如需了解如何配置 CreateSavedSearch 操作,请参阅操作示例

UpdateSavedSearch 操作

您可以通过此操作更新已保存的搜索。

UpdateSavedSearch 操作的输入参数

参数名称 数据类型 必需 说明
IsVisible 布尔值 指示此已保存的搜索是否显示在可见的已保存的搜索列表中。
RealTimeSchedule 布尔值 如果此值设为 1,则调度器会根据当前时间确定下一次调度搜索执行时间。如果此值设为 0,则系统会根据上次搜索执行时间来确定此值。
搜索 字符串 要保存的搜索查询
说明 字符串 此已保存搜索的说明
SchedulePriority 字符串 表示特定搜索的调度优先级
CronSchedule 字符串 用于执行此搜索的 cron 时间表。例如,*/5 * * * * 会导致搜索每 5 分钟执行一次。
名称 字符串 搜索的名称
UserContext 字符串 如果提供了用户上下文,则使用 servicesNS 节点 (/servicesNS/[UserContext]/search);否则,默认使用通用端点 /services
RunOnStartup 布尔值 指示此搜索是否会在启动时运行。如果未在启动时运行,则会在下次预定时间运行。
已停用 布尔值 指示此已保存搜索是否已停用。
IsScheduled 布尔值 指示此搜索是否按计划运行。

UpdateSavedSearch 操作的输出参数

此操作会返回 UpdateSavedSearch 操作的确认消息。

如需了解如何配置 UpdateSavedSearch 操作,请参阅操作示例

DeleteIndex 操作

通过此操作,您可以删除索引。

DeleteIndex 操作的输入参数

参数名称 数据类型 必需 说明
名称 字符串 要删除的索引的名称。

DeleteIndex 操作的输出参数

此操作会返回 DeleteIndex 操作的确认消息

如需了解如何配置 DeleteIndex 操作,请参阅操作示例

UpdateIndex 操作

通过此操作,您可以更新索引。

UpdateIndex 操作的输入参数

参数名称 数据类型 必需 说明
MaxMetaEntries 字符串 设置存储分区中 .data 文件中的唯一行数上限,这可能有助于减少内存用量。
FrozenTimePeriodInSecs 字符串 索引数据滚动到冻结状态所需的秒数。默认值为 188697600(6 年)。
HomePath 字符串 包含索引的热点存储分区和温点存储分区的绝对路径。
MinRawFileSyncSecs 字符串 为此参数指定一个整数(或 disable)。此参数用于设置 splunkd 在压缩日志分片时强制同步文件系统的频率。
ProcessTrackerServiceInterval 字符串 指定索引编制工具检查其启动的子操作系统进程状态的频率(以秒为单位),以确定是否可以为排队的请求启动新进程。如果设置为 0,编制索引工具会每秒检查一次子进程状态。
ServiceMetaPeriod 字符串 定义元数据同步到磁盘的频率(以秒为单位)。
MaxHotSpanSecs 字符串 热门或温门分桶的目标最长时间跨度(以秒为单位)的上限。
QuarantinePastSecs 字符串 时间戳大于 now 的 quarantinePastSecs 事件会被丢弃到隔离分桶中。
ColdToFrozenDir 字符串 冻结归档的目标路径。可用作 ColdToFrozenScript 的替代方案。
ColdPath 字符串 包含索引的 colddb 的绝对路径。路径必须可读写。
MaxHotIdleSecs 字符串 热分桶的最长生命周期(以秒为单位)。
WarmToColdScript 字符串 在将数据从温备区移至冷备区时要运行的脚本的路径。
ColdToFrozenScript 字符串 归档脚本的路径。
MaxHotBuckets 字符串 每个索引中可以存在的热点存储分区的数量上限。
TstatsHomePath 字符串 用于存储此索引的数据模型加速 TSIDX 数据的位置。如果指定,则必须根据音量定义进行定义。路径必须可写入
RepFactor 字符串 索引复制控制。此参数仅适用于集群中的对等节点。
  • auto - 使用主索引复制配置值。
  • 0 - 为此索引关闭复制。
MaxDataSize 字符串 热数据库在触发滚动到温数据库之前可以达到的大小上限(以兆字节为单位)。 指定 autoauto_high_volume 会导致 Splunk 自动调整此参数(推荐)。
MaxBloomBackfillBucketAge 字符串 有效值:整数 [m|s|h|d]。如果温存桶或冷存桶的保留期限超过指定时长,则不会创建或重新构建其 Bloom 过滤器。指定 0 可永不重新构建 bloomfilter。
BlockSignSize 字符串 用于控制构成块签名的事件数量。如果将此值设为 0,则会为此索引停用分块签名。建议值为 100。
名称 字符串 要创建的索引的名称
MaxTotalDataSizeMB 字符串 索引的大小上限(以 MB 为单位)。如果索引的大小超过上限,系统会冻结最早的数据。
MaxWarmDBCount 字符串 温存储分区的数量上限。如果超出此数量,则将最近使用次数值最低的温存分桶移至冷存分桶。
RawChunkSizeBytes 字符串 索引的原始数据日志中各个原始 slice 的目标未压缩大小(以字节为单位)。 0 不是有效值。如果指定 0,则 rawChunkSizeBytes 会设为默认值。
DataType 字符串 指定索引的类型
MaxConcurrentOptimizes 字符串 可以针对热点存储分区运行的并发优化进程数量。
ThrottleCheckPeriod 字符串 定义 Splunk 检查索引节流条件的频率(以秒为单位)。
SyncMeta 字符串 如果为 true,则在元数据文件更新时,系统会在关闭文件描述符之前调用同步操作。此功能可提高元数据文件的完整性,尤其是在操作系统崩溃或机器故障的情况下。
RotatePeriodInSecs 字符串 检查是否需要创建新的热点桶的频率(以秒为单位)。此外,还要确定检查是否有任何温桶或冷桶需要滚动或冻结的频率。

UpdateIndex 操作的输出参数

此操作会返回 UpdateIndex 操作的确认消息。

如需了解如何配置 UpdateIndex 操作,请参阅操作示例

操作示例

示例 - 创建 HTTP 事件

此示例会创建一个 HTTP 事件。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CreateHTTPEvent 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "EventContent": "Testing Task",
    "ContentType": "RAWTEXT",
    "ChannelGUID": "ContentType=RAWTEXT"
    }
  4. 如果操作成功,CreateHTTPEvent 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "Success": "Success"
    }] 
    

示例 - 创建索引

以下示例会创建一个索引。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CreateIndex 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "http_testing"
    }
  4. 如果操作成功,CreateIndex 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "AssureUTF8": null,
    "BlockSignSize": null,
    "BlockSignatureDatabase": null,
    "BucketRebuildMemoryHint": null,
    "ColdPath": null,
    "FrozenTimePeriodInSecs": null,
    "HomePath": null,
    "HomePathExpanded": null,
    "IndexThreads": null,
    "IsInternal": null,
    "MaxConcurrentOptimizes": null,
    "MaxDataSize": null,
    "MaxHotBuckets": null,
    "SuppressBannerList": null,
    "Sync": null,
    "SyncMeta": null,
    "ThawedPath": null,
    "ThawedPathExpanded": null,
    "TstatsHomePath": null,
    "WarmToColdScript": null,
    }]

以下示例创建了一个已保存的搜索。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CreateSavedSearch 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "test_created_g",
    "Search": "index=\"http_testing\"",
    "CronSchedule": "*/1 * * * *",
    "IsVisible": true,
    "RealTimeSchedule": true,
    "RunOnStartup": true,
    "IsScheduled": true,
    "SchedulePriority": "highest",
    "UserContext": "nobody"
    }
  4. 如果操作成功,CreateSavedSearch 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "Success": true,
    "Message": null
    }]

此示例会更新已保存的搜索。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UpdateSavedSearch 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "test_created_g",
    "Search": "index=\"december_test_data\"",
    "CronSchedule": "*/1 * * * *",
    "IsVisible": true,
    "RealTimeSchedule": true,
    "RunOnStartup": true,
    "IsScheduled": true,
    "SchedulePriority": "highest"
    }
  4. 如果操作成功,UpdateSavedSearch 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "Success": true,
    "Message": null
    }]

示例 - 删除索引

此示例会删除索引。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 DeleteIndex 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Name": "g_http_testing"
    }
  4. 如果操作成功,DeleteIndex 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "Success": true,
    "ErrorCode": null,
    "ErrorMessage": null
    }]

示例 - 更新索引

此示例更新索引。

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UpdateIndex 操作,然后点击完成
  3. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "MaxTotalDataSizeMB": "400000",
    "Name": "g_http_testing"
    }
  4. 如果操作成功,UpdateIndex 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "AssureUTF8": false,
    "BlockSignSize": null,
    "BlockSignatureDatabase": null,
    "BucketRebuildMemoryHint": "auto",
    "ColdPath": "$SPLUNK_DB\\g_http_testing\\colddb",
    "ColdPathExpanded": "C:\\Program Files\\Splunk\\var\\lib\\splunk\\g_http_testing\\colddb",
    "ColdToFrozenDir": "",
    "ColdToFrozenScript": "",
    "CurrentDBSizeMB": 1.0,
    "DefaultDatabase": "main",
    "EnableOnlineBucketRepair": true,
    "EnableRealtimeSearch": true,
    "FrozenTimePeriodInSecs": 1.886976E8,
    "HomePath": "$SPLUNK_DB\\g_http_testing\\db",
    "HomePathExpanded": "C:\\Program Files\\Splunk\\var\\lib\\splunk\\g_http_testing\\db",
    "IndexThreads": "auto",
    "IsInternal": false,
    "LastInitTime": "2024-01-08 05:15:28.0",
    "MaxBloomBackfillBucketAge": "30d",
    "ThawedPath": "$SPLUNK_DB\\g_http_testing\\thaweddb",
    "ThawedPathExpanded": "C:\\Program Files\\Splunk\\var\\lib\\splunk\\g_http_testing\\thaweddb",
    "ThrottleCheckPeriod": 15.0,
    "TotalEventCount": 0.0,
    "TsidxDedupPostingsListMaxTermsLimit": 8388608.0,
    "TstatsHomePath": "volume:_splunk_summaries\\$_index_name\\datamodel_summary",
    "WarmToColdScript": "",
    "Success": true,
    "ErrorCode": null,
    "ErrorMessage": null
    }]

实体操作示例

本部分介绍如何在此连接器中执行一些实体操作。

示例 - 列出所有记录

此示例列出了 SearchJobs 实体中的所有记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 List 操作,然后点击完成
  4. 您还可以在连接器任务的任务输入部分中,通过指定过滤条件子句来过滤结果集。请务必使用英文单引号 (') 指定过滤条件子句值。

示例 - 从实体中获取记录

此示例会从 SearchJobs 实体中获取指定 ID 的记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Get 操作,然后点击完成
  4. 连接器任务的任务输入部分,点击 EntityId,然后在默认值字段中输入 1698309163.1300

    其中,1698309163.1300SearchJobs 实体中的唯一记录 ID。

示例 - 在实体中创建记录

此示例在 SearchJobs 实体中创建一条记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    { 
    "EventSearch": "search (index=\"antivirus_logs\") sourcetype=access_combined | rex  \"(?\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3})\" | iplocation IP_address| table IP_address, City, Country" 
    } 
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    {
    "Sid": "1699336785.1919"
    } 
    

示例 - 在实体中创建记录

此示例在 DataModels 实体中创建一条记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 DataModels
  3. 选择 Create 操作,然后点击完成
  4. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Id": "Test1",
    "Acceleration": "{\"enabled\":false,\"earliest_time\":\"\",
    \"max_time\":3600,\"backfill_time\":\"\",\"source_guid\":\"\",
    \"manual_rebuilds\":false,\"poll_buckets_until_maxtime\":false,
    \"max_concurrent\":3,\"allow_skew\":\"0\",\"schedule_priority\":\"default\"
    ,\"allow_old_summaries\":false,\"hunk.file_format\":\"\",\"hunk.dfs_block_size\":0,
    \"hunk.compression_codec\":\"\",\"workload_pool\":\"\"}"
    }

    如果集成成功,连接器任务的 connectorOutputPayload 字段的值将类似于以下内容:

    [{
    "Id": "Test1"
    }]

示例 - 从实体中删除记录

以下示例会删除 DataModels 实体中具有指定 ID 的记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 DataModels
  3. 选择 Delete 操作,然后点击完成
  4. 连接器任务的任务输入部分,点击 entityId,然后在默认值字段中输入 Test1

示例 - 更新实体中的记录

此示例会更新 DataModels 实体中的记录。

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 DataModels
  3. 选择 Update 操作,然后点击完成
  4. 连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Acceleration": "{\"enabled\":true,\"earliest_time\":\"-3mon\",
    \"cron_schedule\":\"*/5 * * * *\",\"max_time\":60,
    \"backfill_time\":\"\",\"source_guid\":\"\",\"manual_rebuilds\":false,
    \"poll_buckets_until_maxtime\":false,\"max_concurrent\":3,
    \"allow_skew\":\"0\",\"schedule_priority\":\"default\",
    \"allow_old_summaries\":false,\"hunk.file_format\":\"\",\"hunk.dfs_block_size\":0,
    \"hunk.compression_codec\":\"\",\"workload_pool\":\"\"}"
    }
  5. 点击 entityId,然后在 Default Value 字段中输入 /servicesNS/nobody/search/datamodel/model/Testing

    如果集成成功,连接器任务的 connectorOutputPayload 字段的值将类似于以下内容:

    [{
    "Id": "/servicesNS/nobody/search/datamodel/model/Testing"
    }]

示例 - 使用索引的搜索流程

本部分列出了使用单个索引和多个索引的所有搜索流程。

使用单个索引创建搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    {
    "EventSearch": "search (index=\"http_testing\" sourcetype=\"googlecloud-testing\") "
    }
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    {
    "Sid": "1726051471.76"
    } 
    

使用搜索查询中使用的索引名称列出操作

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 Index Name
  3. 选择 List 操作,然后点击完成
  4. 连接器任务的任务输入部分中,您可以设置 filterClause,例如 Sid= '1726051471.76'。

  5. 如果集成成功,Index Name 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
      "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
      "_cd": "00:04:00",
      "_eventtype_color": null,
      "_indextime": 1.720702012E9,
      "_kv": null,
      "_raw": "hi How r yo\nplease\nfind \nmy notes",
      "_serial": 0.0,
      "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
      "_sourcetype": "googlecloud-testing",
      "_time": "2024-07-11 12:46:52.0",
      "eventtype": null,
      "host": "googlecloud-bcone-splunk-vm",
      "index": "http_testing",
      "linecount": 4.0,
      "punct": null,
      "source": "Testing.txt",
      "sourcetype": "googlecloud-testing",
      "splunk_server": "googlecloud-bcone-splunk-vm",
      "splunk_server_group": null,
      "timestamp": null,
      "JobId": "1726051471.76"
    }]
    

使用多个索引创建搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    {
    "EventSearch": "search (index=\"http_testing\" OR index= \"googlecloud-demo\" sourcetype=\"googlecloud-testing\"  OR sourcetype=\"Demo_Text\")"
    }
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    {
    "Sid": "1727261971.4007"
    } 
    

使用搜索查询中使用的索引名称列出操作

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 Index Name 名称。
  3. 选择 List 操作,然后点击完成
  4. 连接器任务的任务输入部分中,您可以设置 filterClause,例如 Sid= '1727261971.4007'。

  5. 如果集成成功,Index 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

     [{
      "_bkt": "googlecloud-demo~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
      "_cd": "00:04:00",
      "_eventtype_color": null,
      "_indextime": 1.727155516E9,
      "_kv": null,
      "_raw": "Hi team\nwe have a demo please plan accordingly\nwith Google team",
      "_serial": 0.0,
      "_si": "googlecloud-bcone-splunk-vm\ngooglecloud-demo",
      "_sourcetype": "Demo_Text",
      "_time": "2024-09-24 05:25:16.0",
      "eventtype": null,
      "host": "googlecloud-bcone-splunk-vm",
      "index": "googlecloud-demo",
      "linecount": 3.0,
      "punct": null,
      "source": "Splunk_Demo.txt",
      "sourcetype": "Demo_Text",
      "splunk_server": "googlecloud-bcone-splunk-vm",
      "splunk_server_group": null,
      "timestamp": null,
      "JobId": "1727261971.4007"
    }, {
      "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
      "_cd": "00:04:00",
      "_eventtype_color": null,
      "_indextime": 1.720702012E9,
      "_kv": null,
      "_raw": "hi How r yo\nplease\nfind \nmy notes",
      "_serial": 1.0,
      "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
      "_sourcetype": "googlecloud-testing",
      "_time": "2024-07-11 12:46:52.0",
      "eventtype": null,
      "host": "googlecloud-bcone-splunk-vm",
      "index": "http_testing",
      "linecount": 4.0,
      "punct": null,
      "source": "Testing.txt",
      "sourcetype": "googlecloud-testing",
      "splunk_server": "googlecloud-bcone-splunk-vm",
      "splunk_server_group": null,
      "timestamp": null,
      "JobId": "1727261971.4007"
    }]
    

示例 - 使用 ReadJobResults 的搜索流程

本部分列出了同时使用 Splunk 连接支持的单个索引和多个索引的所有搜索流程。目前,支持的日志结果的载荷大小上限为 150MB。

创建使用单个索引的搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    {
    "EventSearch": "search (index=\"http_testing\" sourcetype=\"googlecloud-testing\") "
    }
    

    此示例会创建搜索。如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    {
    "Sid": "1732775755.24612"
    } 
    

如需获取搜索结果,请对 ReadJobResults 操作执行创建操作。为确保系统根据 Sid 过滤结果,请将 Sid 作为参数传递给操作。

使用 ReadJobResults 操作获取结果日志

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 ReadJobResults 操作,然后点击完成
  3. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    {
    "Sid": "1732775755.24612"
    }
    
  4. 如果操作成功,ReadJobResults 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
    "_cd": "0:4",
    "_indextime": "1720702012",
    "_raw": "hi How r yo\nplease\nfind \nmy notes",
    "_serial": "1",
    "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
    "_sourcetype": "googlecloud-testing",
    "_time": "2024-07-11T12:46:52.000+00:00",
    "host": "googlecloud-bcone-splunk-vm",
    "index": "http_testing",
    "linecount": "4",
    "source": "Testing.txt",
    "sourcetype": "googlecloud-testing",
    "splunk_server": "googlecloud-bcone-splunk-vm",
    "jobid": "1732775755.24612",
    "sid": "1732775755.24612"
    }]
    

创建使用多个索引的搜索

  1. Configure connector task 对话框中,点击 Entities
  2. Entity 列表中选择 SearchJobs
  3. 选择 Create 操作,然后点击完成
  4. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    {
    "EventSearch": "search (index=\"http_testing\" OR index= \"googlecloud-demo\" sourcetype=\"googlecloud-testing\"  OR sourcetype=\"Demo_Text\")"
    }
    

    如果集成成功,SearchJobs 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    {
    "Sid": "1732776556.24634"
    } 
    

如需获取搜索结果,请对 ReadJobResults 操作执行创建操作。为确保系统根据 Sid 过滤结果,请将 Sid 作为参数传递给操作。

使用 ReadJobResults 操作的 ResultsLogs

  1. Configure connector task 对话框中,点击 Actions
  2. 选择 ReadJobResults 操作,然后点击完成
  3. 数据映射任务的数据映射器部分,点击 Open Data Mapping Editor,然后在 Input Value 字段中输入类似于以下内容的值,并选择 EntityId/ConnectorInputPayload 作为本地变量。
    {
    "Sid": "1732776556.24634"
    }
    
  4. 如果操作成功,ReadJobResults 任务的 connectorOutputPayload 响应参数的值将类似于以下内容:

    [{
    "_bkt": "googlecloud-demo~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
    "_cd": "0:4",
    "_indextime": "1727155516",
    "_raw": "Hi team\nwe have a demo please plan accordingly\nwith Google team",
    "_serial": "0",
    "_si": "googlecloud-bcone-splunk-vm\googlecloud-demo",
    "_sourcetype": "Demo_Text",
    "_time": "2024-09-24T05:25:16.000+00:00",
    "host": "googlecloud-bcone-splunk-vm",
    "index": "googlecloud-demo",
    "linecount": "3",
    "source": "Splunk_Demo.txt",
    "sourcetype": "Demo_Text",
    "splunk_server": "googlecloud-bcone-splunk-vm",
    "jobid": "1732776556.24634",
    "sid": "1732776556.24634"
    },{
    "_bkt": "http_testing~0~D043151E-5A2D-4FAB-8647-4D5DA2F288AF",
    "_cd": "0:4",
    "_indextime": "1720702012",
    "_raw": "hi How r yo\nplease\nfind \nmy notes",
    "_serial": "1",
    "_si": "googlecloud-bcone-splunk-vm\nhttp_testing",
    "_sourcetype": "googlecloud-testing",
    "_time": "2024-07-11T12:46:52.000+00:00",
    "host": "googlecloud-bcone-splunk-vm",
    "index": "http_testing",
    "linecount": "4",
    "source": "Testing.txt",
    "sourcetype": "googlecloud-testing",
    "splunk_server": "googlecloud-bcone-splunk-vm",
    "jobid": "1732776556.24634",
    "sid": "1732776556.24634"
    }]
    

    使用 Terraform 创建连接

    您可以使用 Terraform 资源创建新的连接。

    如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令

    如需查看用于创建连接的 Terraform 模板示例,请参阅模板示例

    使用 Terraform 创建此连接时,您必须在 Terraform 配置文件中设置以下变量:

    参数名称 数据类型 必需 说明
    详细程度 STRING False 连接的详细程度级别,介于 1 到 5 之间。详细级别越高,系统会记录的通信详细信息(请求、响应和 SSL 证书)就越多。
    proxy_enabled BOOLEAN False 选中此复选框可为连接配置代理服务器。
    proxy_auth_scheme ENUM False 用于向 ProxyServer 代理进行身份验证的身份验证类型。支持的值包括:BASIC、DIGEST、NONE
    proxy_user STRING False 用于向 ProxyServer 代理进行身份验证的用户名。
    proxy_password SECRET False 用于向 ProxyServer 代理进行身份验证的密码。
    proxy_ssltype ENUM False 连接到 ProxyServer 代理时使用的 SSL 类型。支持的值包括:AUTO、ALWAYS、NEVER、TUNNEL

    在集成中使用 Splunk 连接

    创建连接后,该连接将在 Apigee Integration 和 Application Integration 中可用。您可以通过连接器任务在集成中使用该连接。

    • 如需了解如何在 Apigee Integration 中创建和使用连接器任务,请参阅连接器任务
    • 如需了解如何在 Application Integration 中创建和使用连接器任务,请参阅连接器任务

    向 Google Cloud 社区寻求帮助

    您可以在 Google Cloud 社区的 Cloud 论坛中发布您的问题以及讨论此连接器。

    后续步骤