Amazon S3

Amazon S3 连接器提供对 Amazon S3 存储分区和对象的 SQL 访问权限。

准备工作

在使用 Amazon S3 连接器之前，请执行以下任务：

  • 在您的 Google Cloud 项目中：
    • 将 roles/connectors.admin IAM 角色授予配置连接器的用户。
    • 将以下 IAM 角色授予您要用其来使用连接器的服务账号：
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      服务账号是一种特殊类型的 Google 账号，用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号，则必须创建一个服务账号。如需了解详情，请参阅创建服务账号。

    • 启用以下服务：
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      如需了解如何启用服务，请参阅启用服务。

    如果之前没有为您的项目启用这些服务或权限，则在您配置连接器时，系统会提示您启用。

配置连接器

配置连接器时，您需要创建与数据源（即后端系统）的连接。一个连接需专用于一个数据源。这意味着，如果您有许多数据源，则必须为每个数据源创建单独的连接。如需创建连接，请执行以下步骤：

  1. 在 Cloud 控制台 中，进入 Integration Connectors > 连接页面，然后选择或创建一个 Google Cloud 项目。

    转到“连接”页面

  2. 点击 + 新建以打开创建连接页面。
  3. 在位置部分中，选择连接的位置。
    1. 区域：从下拉列表中选择一个位置。

      连接器支持的区域包括：

      如需查看所有受支持区域的列表，请参阅位置。

    2. 点击下一步。
  4. 在连接详情部分中，完成以下操作：
    1. 连接器：从可用连接器下拉列表中选择 Amazon S3。
    2. 连接器版本：从可用版本的下拉列表中选择一个连接器版本。
    3. 在连接名称字段中，输入连接实例的名称。

      连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 63 个字符。
    4. （可选）输入连接实例的说明。
    5. 服务账号：选择具有所需角色的服务账号。
    6. （可选）配置连接节点设置：

      • 节点数下限：输入连接节点数下限。
      • 节点数上限：输入连接节点数上限。

      节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

    7. AWS 区域：托管 Amazon S3 实例的区域
    8. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
    9. 点击下一步。
  5. 在目标部分中，输入要连接到的远程主机（后端系统）的详细信息。
    1. Destination Type：选择 Destination Type。
      1. 在主机地址字段中，指定目标的主机名或 IP 地址。
        1. 如果要与后端系统建立专用连接，请按以下步骤操作：
          1. 创建 PSC 服务连接。
          2. 创建端点连接然后在主机地址字段中输入端点连接的详细信息。
        2. 如果要与后端系统建立公共连接以提高安全性，您可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      要输入其他目的地，请点击 + 添加目的地。

    2. 点击下一步。
  6. 在身份验证部分中，输入身份验证详细信息。
    1. 选择身份验证类型，然后输入相关详细信息。

      Amazon S3 连接支持以下身份验证类型：

      • 根凭据
      • AWS IAM 角色
      • AWS 临时凭据

      2. 如需了解如何配置这些身份验证类型，请参阅配置身份验证。

    2. 点击下一步。
  7. 查看：查看您的连接和身份验证详细信息。
  8. 点击创建。

配置身份验证

根据您要使用的身份验证输入详细信息。

  • 根凭据

    使用帐号根凭据进行身份验证。

    • AWS 访问密钥：根用户的访问密钥
    • AWS Access Secret（AWS 访问密钥）：根用户的密钥
  • AWS IAM 角色

    使用 AWS IAM 角色进行身份验证。

    • AWS 访问密钥：要担任以下角色的 IAM 用户的访问密钥
    • AWS 访问密钥：担任以下角色的 IAM 用户的密钥
    • AWS 角色 ARN：为您要用来进行身份验证的角色指定角色 ARN。将仅检索指定角色的凭据。
    • AWS 外部 ID：仅当您在其他帐号中担任角色时才需要。
  • AWS 临时凭据

    使用临时凭据进行身份验证

    • AWS 访问密钥：要担任以下角色的 IAM 用户的访问密钥
    • AWS 访问密钥：担任以下角色的 IAM 用户的密钥
    • AWS 会话令牌 (AWS Session Token)：这是在临时凭据之外生成的。
    • AWS 角色 ARN：为您要用来进行身份验证的角色指定角色 ARN。将仅检索指定角色的凭据。
    • AWS 外部 ID：仅当您在其他帐号中担任角色时才需要。

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

  • 实体：实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如，在数据库连接器中，表是实体；在文件服务器连接器中，文件夹是实体；在消息传递系统连接器中，队列是实体。

    不过，可能连接器不支持或不支持任何实体，在这种情况下，Entities 列表将为空。

  • 操作：操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作：

    从可用列表中选择一个实体，系统会生成该实体可用的操作列表。如需了解操作的详细说明，请参阅连接器任务的实体操作。但是，如果连接器不支持任何实体操作，则此类不受支持的操作不会列在 Operations 列表中。

  • 动作：动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改，并且动作因连接器而异。但可能的情况是，连接器不支持任何动作，在这种情况下，Actions 列表将为空。

操作

本部分列出了该连接器支持的一些操作。如需了解如何配置操作，请参阅操作示例。

CopyObject 操作

通过此操作，您可以将对象从一个存储桶复制到另一个存储桶或同一存储分区内。

CopyObject 操作的输入参数

参数名称 数据类型 需要 说明
BucketSource 字符串 是 应从其中复制对象的存储分区名称。
ObjectSource 对象 是 应复制的对象的名称。
BucketDestination 字符串 是 应将对象复制到的存储分区名称。
ObjectDestination 字符串 否 目标存储桶中对象的名称。如果未指定，则名称将与原始名称相同。

CopyObject 操作的输出参数

如果复制成功，此操作会返回状态 200 (OK)。

如需了解如何配置 CopyObject 操作，请参阅操作示例。

DownloadObjects 操作

此操作会从存储桶中再获取一个对象。

DownloadObjects 操作的输入参数

参数名称 数据类型 需要 说明
存储桶 字符串 是 存在要下载对象的存储桶名称。
对象 字符串 否 应下载的对象的名称。如果未指定，则会下载指定存储桶中的所有对象。
HasBytes 布尔值 是 指定是否应以 Base64 编码字符串的形式下载相应内容。
UpdatedStartDate 日期时间 否 可供下载对象的时间范围的开始日期。如果未指定，系统会下载最旧到已更新结束日期的对象。
UpdatedEndDate 日期时间 否 可供下载对象的时间范围的结束日期。如果未指定，则从指定的 UpdatesStartDate 到当前日期下载对象。

DownloadObjects 操作的输出参数

如果下载成功，此操作会返回状态 200 (OK)。

如需了解如何配置 DownloadObjects 操作，请参阅操作示例。

UploadObject 操作

通过此操作，您可以将对象上传到存储桶。

UploadObject 操作的输入参数

参数名称 数据类型 需要 说明
存储桶 字符串 是 表示对象应上传到的存储分区的名称。
ContentBytes 字符串 否 要作为文件上传的字节内容。
HasBytes 布尔值 是 指定是否应以 Base64 编码字符串的形式上传相应内容。
AccessPolicy 字符串 否 此对象的访问权限政策。允许的值包括 PRIVATE、ANONREAD、ANONREADWRITE 和 AUTHREAD。默认值为 PRIVATE。
内容 字符串 否 要上传的内容。
FileName 字符串 否 要上传的文件的名称。指定 FileContent 参数时，必须提供此值。

UploadObject 操作的输出参数

如果对象上传成功，此操作会返回状态 200 (OK)。

如需了解如何配置 UploadObject 操作，请参阅操作示例。

DeleteObject 操作

此操作可让您从存储桶中删除对象。

DeleteObject 操作的输入参数

参数名称 数据类型 需要 说明
存储桶 字符串 是 要删除的对象的存储桶名称。
对象 字符串 是 应删除的对象的名称。

DeleteObject 操作的输出参数

如果删除成功，此操作会返回状态 200 (OK)。

如需了解如何配置 DeleteObject 操作，请参阅操作示例。

MoveObject 操作

通过此操作，用户可以将特定存储桶的现有对象移至其他存储桶或同一存储桶中。

MoveObject 操作的输入参数

参数名称 数据类型 需要 说明
BucketSource 字符串 是 要移动的对象所在的源存储桶名称。
ObjectSource 字符串 是 应移动的对象的名称。
BucketDestination 字符串 是 对象应移至的目标存储桶的名称。
ObjectDestination 字符串 否 目标存储桶中对象的名称。如果未指定，则会保留原始名称。

MoveObject 操作的输出参数

如果移动操作成功，此操作会返回状态 200 (OK)。

如需了解如何配置 MoveObject 操作，请参阅操作示例。

PutBucketAcl 操作

通过此操作，您可以更新存储桶的访问控制列表 (ACL)。

PutBucketAcl 操作的输入参数

参数名称 数据类型 需要 说明
存储桶 字符串 是 应应用 ACL 的存储分区的名称。
ACL 字符串 是 要应用于存储桶的访问权限级别。

PutBucketAcl 操作的输出参数

如果存储桶 ACL 更新成功，此操作会返回状态 200 (OK)。

如需了解如何配置 PutBucketAcl 操作，请参阅操作示例。

PutObjectAcl 操作

通过此操作，您可以更新存储桶中对象的访问控制列表 (ACL)。

PutObjectAcl 操作的输入参数

参数名称 数据类型 需要 说明
存储桶 字符串 是 包含对象的存储分区的名称。
ACL 字符串 是 要应用于对象的访问权限级别。
KEY 字符串 是 需要应用 ACL 的对象名称。

PutObjectAcl 操作的输出参数

如果对象 ACL 更新成功，此操作会返回状态 200 (OK)。

如需了解如何配置 PutObjectAcl 操作，请参阅操作示例。

操作示例

本部分介绍如何执行该连接器中的一些操作。

示例 - 复制对象

此示例将对象从一个存储桶复制到另一个存储桶。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 CopyObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "pic.jpg",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "new_pic.jpg"
}

    4. 如果操作成功，CopyObject 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Status": "Success"
}]

示例 - 下载对象

此示例从指定的存储桶下载对象。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 DownloadObjects 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"Bucket": "aws-s3-bucket-source",
"HasBytes": true
}

    4. 如果操作成功，DownloadObjects 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Success": "True",
"RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
"ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
},
{
"Success": "True",
"RemoteFile": "upload1.txt",
"ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
}]

示例 - 上传对象

此示例将对象上传到指定的存储桶。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 UploadObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"Bucket": "aws-s3-bucket-source",
"FileName": "upload_1.txt",
"Content": "This is a testing file",
"AccessPolicy": "PUBLIC"
}

    4. 如果操作成功，UploadObject 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Status": "success",
"bucket": "aws-s3-bucket-source",
"rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
"object": "upload_1.txt"
}]

示例 - 删除对象

此示例从指定存储桶中删除对象。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 DeleteObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"Bucket": "aws-s3-bucket-source",
"Object": "abc.png"
}

    4. 如果操作成功，DeleteObject 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Status": "Success"
}]

示例 - 移动对象

此示例将对象从一个存储桶移动到另一个存储桶。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 MoveObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "abc.png",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "moved.png"
}

    4. 如果操作成功，MoveObject 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Status": "Success"
}]

示例 - 更新存储桶的 ACL

此示例更新了存储桶的访问权限控制权限。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 PutBucketAcl 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"BucketSource": "aws-s3-bucket-source",
"ACL": "public-read"
}

    4. 如果操作成功，PutBucketAcl 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Status": "Success"
}]

示例 - 更新对象的 ACL

此示例更新了存储桶中对象的访问权限控制权限。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 PutObjectAcl 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"Bucket": "aws-s3-bucket-source",
"ACL": "aws-exec-read",
"Key": "AWS_S3_BusinessCase_V2.xlsx"
}

    4. 如果操作成功，PutObjectAcl 任务的 connectorOutputPayload 响应参数的值将如下所示：

    [{
"Status": "Success"
}]

实体操作示例

本部分介绍如何执行此连接器中的一些实体操作。

示例 - 列出所有对象的元数据

以下示例提取 Object 实体中所有对象的元数据。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Object。
  3. 选择 List 操作，然后点击完成。
  4. （可选）在连接器任务的任务输入部分，您可以通过指定 filter 子句来过滤结果集。请始终使用单引号 (') 指定过滤条件子句值。例如，Bucket='test-bucket'。您还可以使用逻辑运算符指定多个过滤条件。例如 Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'。

示例 - 获取存储桶的元数据

此示例从 Bucket 实体获取具有指定 ID 的存储桶的元数据。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Get 操作，然后点击完成。
  4. 在连接器任务的任务输入部分中，点击 EntityId，然后在默认值字段中输入 demo_replication。

    此处，demo_replication 是 Bucket 实体中的唯一存储桶 ID。

示例 - 创建存储桶

此示例在 Bucket 实体中创建一个存储桶。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Create 操作，然后点击完成。
  4. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值：
    {
"Bucket": "Demo1697528098686",
"OwnerId": "b1ecc809ad8467088afb6beed9581815e4f203f70d19553de2e5d23623ac6647",
"OwnerDisplayName": "awsr_adm.cpp"
}

    如果集成成功，连接器任务的 connectorOutputPayload 字段的值将如下所示：

    [{
"Bucket": "Demo1697528098686"
}]

示例 - 删除存储桶

此示例将删除 Bucket 实体中指定 ID 的存储桶。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Delete 操作，然后点击完成。
  4. 在连接器任务的任务输入部分中，点击 entityId，然后在默认值字段中输入 demo1697528098686。

在集成中使用 Amazon S3 连接

创建连接后，它在 Apigee Integration 和 Application Integration 中均可使用。您可以通过连接器任务在集成中使用该连接。

  • 如需了解如何在 Apigee Integration 中创建和使用连接器任务，请参阅连接器任务。
  • 如需了解如何在 Application Integration 中创建和使用连接器任务，请参阅连接器任务。

向 Google Cloud 社区寻求帮助

您可以在 Cloud 论坛的 Google Cloud 社区发布您的问题并讨论此连接器。

后续步骤