Redshift

借助 Redshift 连接器，您可以对 Redshift 数据库执行插入、删除、更新和读取操作。

准备工作

在使用 Redshift 连接器之前，请先完成以下任务：

• 在您的 Google Cloud 项目中：
  • 将 IAM 角色 roles/connectors.admin 授予该用户 配置连接器。
  • 将以下 IAM 角色授予您要用其来使用连接器的服务账号：
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    服务账号是一种特殊类型的 Google 账号，用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号，则必须创建一个服务账号。如需了解详情，请参阅创建服务账号。

  • 启用以下服务：
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    如需了解如何启用服务，请参阅启用服务。

  如果之前没有为您的项目启用这些服务或权限，则在您配置连接器时，系统会提示您启用。

• 如需创建 Redshift 集群，请参阅 Redshift 快速入门和 Amazon Redshift 集群创建。 如需详细了解如何创建 Redshift 数据库，请参阅 创建 Redshift 数据库。
• 如需设置 Redshift 实例，请参阅设置 Redshift。如需详细了解 Redshift，请参阅 Redshift 平台概览。

配置连接器

配置连接器时，您需要创建与数据源（即后端系统）的连接。一个连接需专用于一个数据源。这意味着，如果您有许多数据源，则必须为每个数据源创建单独的连接。如需创建连接，请执行以下步骤：

1. 在 Cloud 控制台 中，进入 Integration Connectors > 连接页面，然后选择或创建一个 Google Cloud 项目。

   转到“连接”页面

2. 点击 + 新建以打开创建连接页面。
3. 在位置部分中，选择连接的位置。
   1. 区域：从下拉列表中选择一个位置。

      如需查看所有受支持区域的列表，请参阅位置。

   2. 点击下一步。
4. 在连接详情部分中，完成以下操作：
   1. 连接器：从可用连接器的下拉列表中选择 Redshift。
   2. 连接器版本：从可用版本的下拉列表中选择一个连接器版本。
   3. 在连接名称字段中，输入连接实例的名称。

      连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
   4. （可选）输入连接实例的说明。
   5. 您可以选择启用 Cloud Logging，然后选择日志级别。默认情况下，日志级别设置为 Error。
   6. 服务账号：选择具有所需角色的服务账号。
   7. （可选）配置连接节点设置：
      • 节点数下限：输入连接节点数下限。
      • 节点数上限：输入连接节点数上限。

      节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

   注意：仅当您是随用随付客户时，才能自定义连接节点值。
   8. 数据库：Amazon Redshift 数据库的名称。
   9. 自动创建：指定为 true 可在使用 IAM 凭据连接时，如果数据库用户不存在，则创建一个数据库用户并使用为用户指定的名称。请参阅 AuthScheme。
   10. Db 组：数据库用户在使用 IAM 凭据连接时为当前会话加入的一个或多个现有数据库组的名称列表（名称以英文逗号分隔）。请参阅 AuthScheme。
   11. BrowsableSchemas：此属性将报告的架构限制为部分可用架构。例如，BrowsableSchemas=SchemaA,SchemaB,SchemaC。
   12. 忽略的架构：可见性限制过滤条件，用于按元数据查询来隐藏架构列表。例如，“information_schema、pg_catalog”。架构名称区分大小写。
   13. 包括表类型：如果设置为 true，提供商将查询单个表和视图的类型。
   14. 删除 Null：如果设置，Null 字符会从批量操作中的字符值中删除。
   15. 可见性：可见性限制，用于过滤已授予当前用户权限的表的公开元数据。例如，“SELECT,INSERT”过滤条件仅限可见当前用户可通过 SELECT 和 INSERT 操作访问的表的元数据。支持的权限值包括 SELECT、INSERT、UPDATE、DELETE、REFERENCES。
   16. 使用代理：选中此复选框可为连接配置代理服务器并配置以下值：
   • 代理身份验证方案：选择要通过代理服务器进行身份验证的身份验证类型。支持以下身份验证类型：
     • 基本：基本 HTTP 身份验证。
     • 摘要：摘要 HTTP 身份验证。
   • 代理用户：用于向代理服务器进行身份验证的用户名。
   • 代理密码：用户密码的 Secret Manager 密文。
   • 代理 SSL 类型：连接到代理服务器时使用的 SSL 类型。支持以下身份验证类型：
     • 自动：默认设置。如果网址是 HTTPS 网址，则使用“隧道”选项。如果网址是 HTTP 网址，则使用“永不”选项。
     • 始终：连接始终启用 SSL。
     • 永不：连接未启用 SSL。
     • 隧道：连接通过隧道代理建立。代理服务器会打开与远程主机的连接，并且流量会流经该代理。
   • 在代理服务器部分中，输入代理服务器的详细信息。
     1. 点击+ 添加目标。
     2. 选择目标类型。
        • 主机地址：指定目标的主机名或 IP 地址。

          如果要与后端系统建立专用连接，请执行以下操作：

          • 创建 PSC 服务连接。
          • 创建端点连接然后在主机地址字段中输入端点连接的详细信息。
   17. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
   18. 点击下一步。
5. 在目标部分中，输入要连接到的远程主机（后端系统）的详细信息。
   1. 目标类型：选择目标类型。
      • 从列表中选择主机地址，以指定目的地的主机名或 IP 地址。
      • 如果要与后端系统建立专用连接，请从列表中选择端点连接，然后从端点连接列表中选择所需的端点连接。
        注意 ：如需了解如何创建端点连接，请参阅 PSC 服务连接 以及端点连接。在您之后 端点连接已创建完毕，它将显示在端点连接列表中。

      如果要与后端系统建立公共连接以提高安全性，您可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      要输入其他目标，请点击 + 添加目标。

   2. 点击下一步。
6. 在 Authentication（身份验证）部分中，输入身份验证详细信息。
   1. 选择身份验证类型，然后输入相关详细信息。

      Redshift 连接支持以下身份验证类型：

      • 用户名和密码

   如需了解如何配置这些身份验证类型，请参阅配置身份验证。

   2. 点击下一步。
7. 查看：查看您的连接和身份验证详细信息。
8. 点击创建。

配置身份验证

根据您要使用的身份验证输入详细信息。

• 用户名和密码
  • 用户名：连接器的用户名
  • 密码：包含与连接器关联的密码的 Secret Manager Secret。

连接配置示例

本部分列出了您在创建 Redshift 连接时配置的各个字段的示例值。

基本身份验证连接类型

下表列出了您在创建 Redshift 连接时配置的各个字段的示例值。

字段	示例值
区域	us-central1
连接器	Redshift 连接器
连接器版本	1
连接器名称	google-cloud-redshiftdb-basicauth-conn
服务账号	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
数据库	dev
BrowsableSchemas	公开,测试
Db 组	不适用
移除 null	是
公开范围	SELECT、INSERT
节点数下限	02
节点数上限	50
主机地址	redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
身份验证	用户密码
用户名	USERNAME
密码	PASSWORD
版本	1

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

注意：您可以在连接器任务中查看连接器的实体、操作和动作。

• 实体：实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如，在数据库连接器中，表是实体；在文件服务器连接器中，文件夹是实体；在消息传递系统连接器中，队列是实体。

  但可能的情况是，连接器不支持或不具有任何实体，在这种情况下，Entities 列表将为空。

• 操作：操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作：
  • 列表
  • 获取
  • 创建
  • 更新
  • 删除

  从可用列表中选择一个实体，系统会生成该实体可用的操作列表。如需了解操作的详细说明，请参阅连接器任务的实体操作。不过，如果连接器不支持任何实体操作，则 Operations 列表中不会列出此类不受支持的操作。

• 动作：动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改，并且动作因连接器而异。通常，操作有一些输入参数和一个输出 参数。但可能的情况是，连接器不支持任何动作，在这种情况下，Actions 列表将为空。

注意：所有实体和操作都具有与之关联的架构。例如，操作架构将包含以下参数详细信息：参数 及其对应的数据类型。实体和操作的架构（元数据）由连接位于 从后端提取代码如果架构有任何更新，此类更新将不会 会自动体现在您的现有连接中；您必须手动刷新架构刷新 连接架构，打开连接的连接详情页面，然后点击 刷新连接架构。

系统限制

Redshift 连接器每个节点每秒可处理 3 笔事务，并会对超出此限制的所有事务进行节流。默认情况下，Integration Connectors 会为连接分配 2 个节点（以提高可用性）。

如需了解适用于 Integration Connectors 的限制，请参阅限制。

注意：集成连接器节点的数量将根据您的使用情况动态扩缩。但是，如果您想为大量存储卷预留容量， 等待自动扩缩，您可以调整连接的最小节点值。连接处理越多事务就需要越多节点。反之，节点数量越少 如果连接处理的事务较少，则必需项。配置节点 值，请执行以下操作：

• 如果您是随用随付的客户，请配置最小和最大节点值 “修改连接”页面中
• 如果您是以订阅为主 请与支持团队联系。

节点可以处理的最大事务量取决于各种因素。因此，在调整最小节点数以提高吞吐量之前，建议您检查后端系统是否已以最佳方式设置，以处理所需的流量。

操作示例

示例 - 查找较大值

此示例展示了如何执行用户定义的函数。find_greater 函数，它会比较两个整数并返回较大的整数。

1. 在 Configure connector task 对话框中，点击 Actions。
2. 选择 find_greater 操作，然后点击完成。
3. 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段：

   {
   "$1": 1.0,
   "$2": 5.0
   }

如果操作执行成功，则连接器任务的 connectorOutputPayload 字段的值类似于以下内容：

[{
"bignum": 5.0
}]

实体操作示例

示例 - 列出实体的记录

以下示例列出了 Users 实体的记录。

1. 在 Configure connector task 对话框中，点击 Entities。
2. 从 Entity 列表中选择 Users。
3. 选择 List 操作，然后点击 完成。
4. 在连接器任务的任务输入部分，您可以根据需要设置 filterClause。

   例如，将过滤条件子句设置为 employeeCode='5100' and startDate='2010-01-01 00:00:00'，仅列出这些记录 其 employeeCode 为 5100，startDate 为 2010-01-01 00:00:00。

示例 - 从实体中获取单个记录

此示例会从 Users 实体中提取记录。

1. 在 Configure connector task 对话框中，点击 Entities。
2. 从 Entity 列表中选择 User。
3. 选择 Get 操作，然后点击完成。
4. 在连接器任务的任务输入部分，点击 entityId，然后在默认值字段中输入 103032。

   其中，103032 是 Users 实体的主键值。

示例 - 从实体中删除记录

以下示例将从 Users 实体中删除一条记录。

1. 在 Configure connector task 对话框中，点击 Entities。
2. 从 Entity 列表中选择 Users。
3. 选择 Delete 操作，然后点击完成。
4. 在连接器任务的任务输入部分，点击 entityId，然后在默认值字段中输入 113132。

   或者，如果实体具有复合主键，您可以设置 filterClause，而不是指定 entityId。例如 employeeCode='5100' and startDate='2010-01-01 00:00:00'。

示例 - 在实体中创建记录

此示例在 Users 实体中创建了一条记录。

1. 在 Configure connector task 对话框中，点击 Entities。
2. 从 Entity 列表中选择 Users。
3. 选择 Create 操作，然后点击完成。
4. 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段：

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

如果集成成功，连接器任务的 connectorOutputPayload 字段将 具有创建操作的响应。

示例 - 更新实体中的记录

此示例将更新 Users 实体中的一条记录。

1. 在 Configure connector task 对话框中，点击 Entities。
2. 从 Entity 列表中选择 Users。
3. 选择 Update 操作，然后点击完成。
4. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：

   {
   "country": "IN"
   }

5. 在连接器任务的任务输入部分，点击 entityId 并 然后在 Default Value 字段中输入 113132。

   或者，如果实体具有复合主键，则无需指定 entityId，可以执行以下操作： 设置 filterClause。例如 employeeCode='5100' and startDate='2010-01-01 00:00:00'。

如果集成成功，连接器任务的 connectorOutputPayload 字段将 收到更新操作的响应。

使用 Terraform 创建连接

您可以使用 Terraform 资源以创建新连接。

如需了解如何应用或移除 Terraform 配置，请参阅基本 Terraform 命令。

如需查看用于创建连接的 Terraform 模板示例，请参阅示例模板。

使用 Terraform 创建此连接时，您必须在 Terraform 配置文件中设置以下变量：

参数名称	数据类型	必需	说明
数据库	STRING	True	Amazon Redshift 数据库的名称。
browsable_schemas	STRING	错误	此属性会将报告的架构限制为可用架构的子集。例如，BrowsableSchemas=SchemaA,SchemaB,SchemaC。
db_groups	STRING	错误	数据库用户在使用 IAM 凭据连接时为当前会话加入的一个或多个现有数据库组的名称列表（名称以英文逗号分隔）。请参阅 AuthScheme。
ignored_schemas	STRING	错误	可见性限制过滤条件，用于通过元数据查询隐藏架构列表。例如，“information_schema、pg_catalog”。架构名称区分大小写。
include_table_types	BOOLEAN	错误	如果设置为 true，提供商将查询单个表和视图的类型。
strip_out_nulls	BOOLEAN	错误	设置后，系统会通过批量操作从字符值中删除空字符。
visibility	STRING	错误	可见性限制用于过滤已授予当前用户权限的表的公开元数据。例如，“SELECT,INSERT”过滤条件仅限可见当前用户可通过 SELECT 和 INSERT 操作访问的表的元数据。支持的权限值包括 SELECT、INSERT、UPDATE、DELETE、REFERENCES。

在集成中使用 Redshift 连接

创建连接后，该连接将在 Apigee Integration 和 Application Integration 中可用。您可以使用连接 通过连接器任务在集成中进行集成。

• 如需了解如何在 Apigee Integration 中创建和使用连接器任务，请参阅连接器任务。
• 如需了解如何在应用集成中创建和使用连接器任务，请参阅连接器任务。

向 Google Cloud 社区寻求帮助

您可以在 Google Cloud 中发布问题和讨论此连接器 Cloud 论坛。

后续步骤

• 了解如何暂停和恢复连接。
• 了解如何监控连接器使用情况。
• 了解如何查看连接器日志。