Elasticsearch

通过 Elasticsearch 连接器，您可以连接到 Elasticsearch 搜索引擎并执行支持的搜索引擎操作。

准备工作

在使用 Elasticsearch 连接器之前，请先完成以下任务：

在您的 Google Cloud 项目中：
- 将 roles/connectors.admin IAM 角色授予配置连接器的用户。
- 将以下 IAM 角色授予您要用其来使用连接器的服务账号：
  - roles/secretmanager.viewer
  - roles/secretmanager.secretAccessor
  服务账号是一种特殊类型的 Google 账号，用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号，则必须创建一个服务账号。如需了解详情，请参阅创建服务账号。
- 启用以下服务：
  - secretmanager.googleapis.com (Secret Manager API)
  - connectors.googleapis.com (Connectors API)
  如需了解如何启用服务，请参阅启用服务。
如果之前没有为您的项目启用这些服务或权限，则在您配置连接器时，系统会提示您启用。

配置连接器

配置连接器时，您需要创建与数据源（即后端系统）的连接。一个连接需专用于一个数据源。这意味着，如果您有许多数据源，则必须为每个数据源创建单独的连接。如需创建连接，请执行以下步骤：

在 Cloud 控制台中，进入 Integration Connectors > 连接页面，然后选择或创建一个 Google Cloud 项目。
转到“连接”页面
点击 + 新建以打开创建连接页面。
在位置部分中，选择连接的位置。
1. 区域：从下拉列表中选择一个位置。
  如需查看所有受支持区域的列表，请参阅位置。
2. 点击下一步。
在连接详情部分中，完成以下操作：
1. 连接器：从可用连接器的下拉列表中选择 Elasticsearch。
2. 连接器版本：从可用版本的下拉列表中选择一个连接器版本。
3. 在连接名称字段中，输入连接实例的名称。
  连接名称必须符合以下条件：
  - 连接名称可以使用字母、数字或连字符。
  - 字母必须小写。
  - 连接名称必须以字母开头，以字母或数字结尾。
  - 连接名称不能超过 63 个字符。
4. （可选）输入连接实例的说明。
5. 服务账号：选择具有所需角色的服务账号。
6. （可选）配置连接节点设置：
  - 节点数下限：输入连接节点数下限。
  - 节点数上限：输入连接节点数上限。
  节点是处理事务的连接单元（或副本）。连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。
7. 客户端评估：将 ClientSideEvaluation 设置为 true 以在嵌套对象上执行客户端评估。
8. 数据模型：指定解析 Elasticsearch 文档和生成数据库元数据时使用的数据模型。
9. 最大结果数：使用默认 Search API 时，要从 Elasticsearch 返回的最大结果总数。
10. 使用代理：选中此复选框可为连接配置代理服务器并配置以下值：
11. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
12. 点击下一步。
在目标部分中，输入要连接到的远程主机（后端系统）的详细信息。
1. Destination Type：选择 Destination Type。
  1. 在主机地址字段中，指定目标的主机名或 IP 地址。
    1. 如果要与后端系统建立专用连接，请按以下步骤操作：
      1. 创建 PSC 服务连接。
      2. 创建端点连接然后在主机地址字段中输入端点连接的详细信息。
    2. 如果要与后端系统建立公共连接以提高安全性，您可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。
  要输入其他目标，请点击 + 添加目标。
2. 点击下一步。
在身份验证部分中，输入身份验证详细信息。
1. 选择身份验证类型，然后输入相关详细信息。
  Elasticsearch 连接支持以下身份验证类型：
  - 匿名
  - 用户名和密码
2. 点击下一步。
查看：查看您的连接和身份验证详细信息。
点击创建。

配置身份验证

根据您要使用的身份验证输入详细信息。

匿名
如果您要使用匿名登录，请选择不可用。

用户名和密码
- 用户名：连接器的用户名
- 密码：包含与连接器关联的密码的 Secret Manager Secret。

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

实体：实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如，在数据库连接器中，表是实体；在文件服务器连接器中，文件夹是实体；在消息传递系统连接器中，队列是实体。
不过，可能连接器不支持或不支持任何实体，在这种情况下，Entities 列表将为空。
操作：操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作：
- List（列出）
- 获取
- 创建
- 更新
- 删除
从可用列表中选择一个实体，系统会生成该实体可用的操作列表。如需了解操作的详细说明，请参阅连接器任务的实体操作。但是，如果连接器不支持任何实体操作，则此类不受支持的操作不会列在 Operations 列表中。
动作：动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改，并且动作因连接器而异。但可能的情况是，连接器不支持任何动作，在这种情况下，Actions 列表将为空。

系统限制

Elasticsearch 连接器每秒可以为每个节点处理 10 个事务，并且会限制任何超出此限制的事务。默认情况下，Integration Connectors 会为连接分配 2 个节点（以提高可用性）。

如需了解适用于 Integration Connectors 的限制，请参阅限制。

操作

本部分列出了该连接器支持的操作。如需了解如何配置操作，请参阅操作示例。

注意：运行集成后，所有操作的结果都将以 JSON 响应的形式反映在 Connectors 任务的 connectorOutputPayload 响应参数中。

CreateIndex 操作

此操作会创建索引。

CreateIndex 操作的输入参数

参数名称	数据类型	需要	说明
AliasFilter	字符串	否	查询用于限制别名可以访问的文档的 DSL 对象。
NumberOfShards	字符串	否	已创建的索引应具有的主分片数。
AliasIsWriteIndex	布尔值	否	指定别名索引是否可写入。
别名	字符串	否	索引的别名。
AliasIndexRouting	字符串	否	用于别名的值，用于将索引操作路由到特定分片。如果指定，则此参数会覆盖索引编制操作的路由值。
索引	字符串	是	索引的名称。
NumberOfRoutingShards	字符串	否	Elasticsearch 在内部使用的数字以及 NumberOfShards 中的值，用于将文档路由到主分片。
OtherSettings	字符串	否	设置的 JSON 对象。此设置不能与 NumberOfRoutingShards 或 NumberOfShards 结合使用。
映射	字符串	否	一个 JSON 对象，用于指定索引的映射。
AliasIsHidden	布尔值	否	指定别名是否隐藏。别名的所有索引都必须具有相同的 `is_hidden` 值。
AliasRouting	字符串	否	用于别名的值，用于将索引和搜索操作路由到特定分片。对于某些操作，它可以被 AliasIndexRouting 或 AliasSearchRouting 覆盖。

CreateIndex 操作的输出参数

如果操作成功，此操作会返回状态 200 (OK)。

如需了解如何配置 CreateIndex 操作，请参阅操作示例。

ModifyIndexAliases 操作

此操作会修改索引别名。

ModifyIndexAliases 操作的输入参数

参数名称	数据类型	需要	说明
别名	字符串	否	别名的名称。多个别名用英文分号分隔。
过滤	字符串	否	创建别名时使用的过滤条件。这会使用查询 DSL 获取原始 JSON 过滤器。多个过滤条件之间用英文分号分隔。
路线	字符串	否	与别名关联的路由值。多个路由值以英文分号分隔。
SearchRouting	字符串	否	与用于搜索操作的别名关联的路由值。多个搜索路由值用英文分号分隔。
IndexRouting	字符串	否	与用于索引编制操作的别名关联的路由值。多个索引路由值以英文分号分隔。
操作	字符串	是	要执行的操作，例如 `add`、`remove` 或 `remove_index`。多项操作用英文分号分隔。
索引	字符串	是	索引的名称。多个索引之间用英文分号分隔。

ModifyIndexAliases 操作的输出参数

如果操作成功，此操作会返回状态 200 (OK)。

如需了解如何配置 ModifyIndexAliases 操作，请参阅操作示例。

执行 CustomQuery 操作

通过此操作，您可以执行自定义查询。

要创建自定义查询，请按以下步骤操作：

按照详细说明添加连接器任务。
在配置连接器任务时，在要执行的操作类型中选择操作。
在操作列表中，选择执行自定义查询，然后点击完成。
展开任务输入部分，然后执行以下操作：
1. 在超时后字段中，输入查询执行之前等待的秒数。
  默认值：180 秒。
2. 在最大行数字段中，输入要从数据库返回的最大行数。
  默认值为 25。
3. 要更新自定义查询，请点击修改自定义查询。系统会打开脚本编辑器对话框。
4. 在脚本编辑器对话框中，输入 SQL 查询，然后点击保存。
  您可以在 SQL 语句中使用问号 (?) 来表示必须在查询参数列表中指定的单个参数。例如，以下 SQL 查询会选择 Employees 表中与 LastName 列指定的值匹配的所有行：
```
SELECT * FROM Employees where LastName=?
```
  注意：支持数据操纵语言 (DML) 和数据定义语言 (DDL) 语句。
5. 如果您在 SQL 查询中使用了问号，则必须针对每个问号点击 + 添加参数名称，以添加参数。在执行集成时，这些参数会按顺序替换 SQL 查询中的问号 (?)。例如，如果您添加了三个问号 (?)，则必须按顺序添加三个参数。如需添加查询参数，请执行以下操作：
  1. 从类型列表中，选择参数的数据类型。
  2. 在值字段中，输入参数的值。
  3. 如需添加多个参数，请点击 + 添加查询参数。

成功执行后，此操作会返回状态 200 (OK)，并附带包含查询结果的响应正文。

操作示例

本部分介绍如何执行该连接器中的一些操作。

示例 - 创建索引

本示例创建了一个索引。

在 Configure connector task 对话框中，点击 Actions。
选择 CreateIndex 操作，然后点击完成。
在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
```
{
"Index": "new_index_1"
}
```

如果操作成功，CreateIndex 任务的 connectorOutputPayload 响应参数的值将如下所示：

[{
"CompletedBeforeTimeout": "true",
"ShardsAcknowledged": "true",
"IndexName": "new_index_1"
}]

示例 - 修改索引别名

以下示例展示了如何修改索引别名。

在 Configure connector task 对话框中，点击 Actions。
选择 ModifyIndexAliases 操作，然后点击完成。
在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
```
{
"Action": "remove_index",
"Index": "postmanindex"
}
```

如果操作成功，ModifyIndexAliases 任务的 connectorOutputPayload 响应参数的值将如下所示：

[{
}]

实体操作示例

本部分介绍如何执行此连接器中的一些实体操作。

示例 - 列出所有记录

以下示例列出了 Demoindex 实体中的所有记录。

在 Configure connector task 对话框中，点击 Entities。
从 Entity 列表中选择 Demoindex。
选择 List 操作，然后点击完成。
（可选）在连接器任务的任务输入部分，您可以通过指定 filter 子句来过滤结果集。请始终使用单引号 (') 指定过滤条件子句值。

示例 - 从实体获取记录

此示例从 Demoindex 实体获取具有指定 ID 的记录。

在 Configure connector task 对话框中，点击 Entities。
从 Entity 列表中选择 Demoindex。
选择 Get 操作，然后点击完成。
在连接器任务的任务输入部分中，点击 EntityId，然后在默认值字段中输入 23。
其中，23 是 Demoindex 实体中的唯一记录 ID。

示例 - 在实体中创建记录

此示例在 Demoindex 实体中创建一条记录。

在 Configure connector task 对话框中，点击 Entities。
从 Entity 列表中选择 Demoindex。
选择 Create 操作，然后点击完成。
在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
```
{
"message": "GET /search HTTP/1.1 200 1070000",
"@timestamp": "2099-11-15 13:12:00.0"
}
```
如果集成成功，连接器任务的 connectorOutputPayload 字段的值将如下所示：
```
[{
"_id": "23"
}]
```

示例 - 更新记录

以下示例使用 Demoindex 实体中的指定 ID 更新记录。

在 Configure connector task 对话框中，点击 Entities。
从 Entity 列表中选择 Demoindex。
选择 Update 操作，然后点击完成。
在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
```
{
"message": "GET /search HTTP/1.1 200 1070000",
"@timestamp": "2099-11-15 13:12:00.0",
"name": "GoogleCloud_Update_docs",
"price": 10.0}
```
点击 entityId，然后在 Default Value 字段中输入 23。
如果集成成功，连接器任务的 connectorOutputPayload 字段的值将如下所示：
```
[{
"_id": "23"
}]
```

示例 - 从实体中删除记录

此示例将删除 Demoindex 实体中指定 ID 的记录。

在 Configure connector task 对话框中，点击 Entities。
从 Entity 列表中选择 Demoindex。
选择 Delete 操作，然后点击完成。
在连接器任务的任务输入部分中，点击 entityId，然后在默认值字段中输入 pcqT4wB4uQNUCuamh4N。

使用 Terraform 创建连接

您可以使用 Terraform 资源创建新连接。

如需了解如何应用或移除 Terraform 配置，请参阅基本 Terraform 命令。

如需查看用于创建连接的示例 Terraform 模板，请参阅示例模板。

使用 Terraform 创建此连接时，您必须在 Terraform 配置文件中设置以下变量：

参数名称	数据类型	需要	说明
client_side_evaluation	BOOLEAN	False	将 ClientSideEvaluation 设置为 true 以在客户端对嵌套对象执行评估。
data_model	ENUM	False	指定在解析 Elasticsearch 文档并生成数据库元数据时要使用的数据模型。支持的值包括：Document、FlattenedDocuments、Relational
max_results	STRING	False	使用默认 Search API 时，从 Elasticsearch 返回的结果总数上限。
详细程度	STRING	False	连接的详细程度，从 1 到 5 不等。详细程度越高，系统会记录所有通信详细信息（请求、响应和 SSL 证书）。
proxy_enabled	BOOLEAN	False	选中此复选框可配置用于连接的代理服务器。
proxy_auth_scheme	ENUM	False	用于向 ProxyServer 代理进行身份验证的身份验证类型。支持的值包括：BASIC、DIGEST、NONE
proxy_user	STRING	False	用于向 ProxyServer 代理进行身份验证的用户名。
proxy_password	SECRET	False	用于对 ProxyServer 代理进行身份验证的密码。
proxy_ssltype	ENUM	False	连接到 ProxyServer 代理时使用的 SSL 类型。支持的值包括：AUTO、ALWAYS、NEVER、TUNNEL

在集成中使用 Elasticsearch 连接

创建连接后，它在 Apigee Integration 和 Application Integration 中均可使用。您可以通过连接器任务在集成中使用该连接。

如需了解如何在 Apigee Integration 中创建和使用连接器任务，请参阅连接器任务。
如需了解如何在 Application Integration 中创建和使用连接器任务，请参阅连接器任务。

向 Google Cloud 社区寻求帮助

您可以在 Cloud 论坛的 Google Cloud 社区发布您的问题并讨论此连接器。

后续步骤

了解如何暂停和恢复连接。
了解如何监控连接器的使用情况。
了解如何查看连接器日志。