Amazon S3

Amazon S3 连接器可让您使用 SQL 访问 Amazon S3 存储桶和对象。

准备工作

在使用 Amazon S3 连接器之前，请先完成以下任务：

  • 在您的 Google Cloud 项目中：
    • 将 IAM 角色 roles/connectors.admin 授予该用户 配置连接器。
    • 将以下 IAM 角色授予您要用其来使用连接器的服务账号：
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      服务账号是一种特殊类型的 Google 账号，用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号，则必须创建一个服务账号。如需了解详情，请参阅创建服务账号。

    • 启用以下服务：
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      如需了解如何启用服务，请参阅启用服务。

    如果之前没有为您的项目启用这些服务或权限，则在您配置连接器时，系统会提示您启用。

配置连接器

配置连接器时，您需要创建与数据源（即后端系统）的连接。一个连接需专用于一个数据源。这意味着，如果您有许多数据源，则必须为每个数据源创建单独的连接。如需创建连接，请执行以下步骤：

  1. 在 Cloud 控制台 中，进入 Integration Connectors > 连接页面，然后选择或创建一个 Google Cloud 项目。

    转到“连接”页面

  2. 点击 + 新建以打开创建连接页面。
  3. 在位置部分中，选择连接的位置。
    1. 区域：从下拉列表中选择一个位置。

      连接器支持的区域包括：

      如需查看所有受支持区域的列表，请参阅位置。

    2. 点击下一步。
  4. 在连接详情部分中，完成以下操作：
    1. 连接器：从可用连接器下拉列表中选择 Amazon S3。
    2. 连接器版本：从可用版本的下拉列表中选择一个连接器版本。
    3. 在连接名称字段中，输入连接实例的名称。

      连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
    4. （可选）输入连接实例的说明。
    5. 您可以选择启用 Cloud Logging，然后选择日志级别。默认情况下，日志级别设置为 Error。
    6. 服务账号：选择具有所需角色的服务账号。
    7. （可选）配置连接节点设置：

      • 节点数下限：输入连接节点数下限。
      • 节点数上限：输入连接节点数上限。

      节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

    8. AWS 区域：托管 Amazon S3 实例的区域
    9. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
    10. 点击下一步。
  5. 在目标部分中，输入要连接到的远程主机（后端系统）的详细信息。
    1. 目的地类型：选择目的地类型。
      • 从列表中选择主机地址，以指定目标的主机名或 IP 地址。
      • 如果要与后端系统建立专用连接，请从列表中选择端点连接，然后从端点连接列表中选择所需的端点连接。

      如果要与后端系统建立公共连接以提高安全性，您可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      要输入其他目的地，请点击 +添加目的地。

    2. 点击下一步。
  6. 在 Authentication（身份验证）部分中，输入身份验证详细信息。
    1. 选择身份验证类型，然后输入相关详细信息。

      Amazon S3 连接支持以下身份验证类型：

      • 根凭据
      • AWS IAM 角色
      • AWS 临时凭据

      2. 如需了解如何配置这些身份验证类型，请参阅配置身份验证。

    2. 点击下一步。
  7. 查看：查看您的连接和身份验证详细信息。
  8. 点击创建。

配置身份验证

根据您要使用的身份验证输入详细信息。

  • 根凭据

    使用账号根凭据进行身份验证。

    • AWS 访问密钥：根用户的访问密钥
    • AWS Access Secret：根用户的密钥
  • AWS IAM 角色

    使用 AWS IAM 角色进行身份验证。

    • AWS 访问密钥：要为其假定角色的 IAM 用户的访问密钥
    • AWS Access Secret：担任以下角色的 IAM 用户的密钥：
    • AWS 角色 ARN：指定用于进行身份验证的角色 ARN。系统只会检索指定角色的凭据。
    • AWS 外部 ID：仅当您在其他账号中承担角色时才需要提供。
  • AWS 临时凭据

    使用临时凭据进行身份验证

    • AWS 访问密钥：担任以下角色的 IAM 用户的访问密钥：
    • AWS 访问密钥：要为其假定角色的 IAM 用户的密钥
    • AWS 会话令牌：这是单独生成的临时凭据。
    • AWS 角色 ARN：指定您要使用哪个角色进行身份验证的角色 ARN。系统只会检索指定角色的凭据。
    • AWS 外部 ID：仅当您在其他账号中承担角色时才需要提供。

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

  • 实体：实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如，在数据库连接器中，表是实体；在文件服务器连接器中，文件夹是实体；在消息传递系统连接器中，队列是实体。

    但可能的情况是，连接器不支持或不具有任何实体，在这种情况下，Entities 列表将为空。

  • 操作：操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作：

    从可用列表中选择一个实体，系统会生成该实体可用的操作列表。如需了解操作的详细说明，请参阅连接器任务的实体操作。但是，如果连接器不支持任何实体操作， 操作未在 Operations 列表中列出。

  • 动作：动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改，并且动作因连接器而异。通常，操作有一些输入参数和一个输出 参数。但可能的情况是，连接器不支持任何动作，在这种情况下，Actions 列表将为空。

操作

本部分列出了该连接器支持的一些操作。要了解如何配置 操作，请参阅操作示例。

CopyObject 操作

通过此操作，您可以将对象从一个存储桶复制到另一个存储桶， 同一个存储桶

CopyObject 操作的输入参数

参数名称 数据类型 必填 说明
BucketSource 字符串 是 应从中复制对象的存储分区的名称。
ObjectSource 对象 是 应复制的对象的名称。
BucketDestination 字符串 是 应将对象复制到的存储分区名称。
ObjectDestination 字符串 否 目标存储桶中对象的名称。如果未指定，则名称将与原始名称相同。

CopyObject 操作的输出参数

如果复制成功，此操作会返回状态 200 (OK)。

如需了解如何配置 CopyObject 操作，请参阅操作示例。

DownloadObjects 操作

此操作将从存储桶中再获取一个对象。

DownloadObjects 操作的输入参数

参数名称 数据类型 必填 说明
存储桶 字符串 是 存在要下载对象的存储桶名称。
对象 字符串 否 应下载的对象的名称。如果未指定，则会下载指定存储桶中的所有对象。
HasBytes 布尔值 是 指定是否应以 Base64 编码字符串的形式下载内容。
UpdatedStartDate 日期时间 否 用于下载对象的时间范围的开始日期。如果未指定，系统会从最早的日期开始下载，直到 UpdatedEndDate。
UpdatedEndDate 日期时间 否 用于下载对象的时间范围的结束日期。如果未指定，则系统会下载从指定的 UpdatedStartDate 到当天的对象。

DownloadObjects 操作的输出参数

如果下载成功，此操作会返回状态 200 (OK)。

如需了解如何配置 DownloadObjects 操作，请参阅操作示例。

UploadObject 操作

借助此操作，您可以将对象上传到存储桶。

UploadObject 操作的输入参数

参数名称 数据类型 必填 说明
存储桶 字符串 是 应上传对象到的存储桶名称。
ContentBytes 字符串 否 要作为文件上传的字节内容。
HasBytes 布尔值 是 指定内容是否应作为 Base64 编码的字符串上传。
AccessPolicy 字符串 否 此对象的访问权限政策。允许的值包括 PRIVATE、ANONREAD、ANONREADWRITE 和 AUTHREAD。默认值为 PRIVATE。
内容 字符串 否 要上传的内容。
FileName 字符串 否 要上传的文件的名称。指定 FileContent 参数时，此值是必需的。

UploadObject 操作的输出参数

如果对象上传成功，此操作会返回状态 200（OK）。

如需了解如何配置 UploadObject 操作，请参阅操作示例。

DeleteObject 操作

借助此操作，您可以从存储桶中删除对象。

DeleteObject 操作的输入参数

参数名称 数据类型 必填 说明
存储桶 字符串 是 要删除的对象的存储桶名称。
对象 字符串 是 应删除的对象的名称。

DeleteObject 操作的输出参数

如果删除成功，此操作将返回状态 200 (OK)。

如需了解如何配置 DeleteObject 操作， 请参阅操作示例。

MoveObject 操作

借助此操作，用户可以将特定存储桶中的现有对象移至另一个存储桶或同一存储桶中。

MoveObject 操作的输入参数

参数名称 数据类型 必填 说明
BucketSource 字符串 是 要移动的对象所在的源存储桶名称。
ObjectSource 字符串 是 应移动的对象的名称。
BucketDestination 字符串 是 对象应移到的目标存储桶名称。
ObjectDestination 字符串 否 目标存储桶中对象的名称。如果未指定，系统会保留原始名称。

MoveObject 操作的输出参数

如果移动操作成功，此操作会返回状态 200 (OK)。

如需了解如何配置 MoveObject 操作，请参阅操作示例。

PutBucketAcl 操作

此操作允许您更新存储桶的访问控制列表 (ACL)。

PutBucketAcl 操作的输入参数

参数名称 数据类型 必填 说明
存储桶 字符串 是 应应用 ACL 的存储桶名称。
ACL 字符串 是 要应用于存储桶的访问权限级别。

PutBucketAcl 操作的输出参数

如果存储桶 ACL 更新成功，此操作将返回状态 200 (OK)。

如需了解如何配置 PutBucketAcl 操作，请参阅操作示例。

PutObjectAcl 操作

借助此操作，您可以更新存储桶中对象的访问控制列表 (ACL)。

PutObjectAcl 操作的输入参数

参数名称 数据类型 必填 说明
存储桶 字符串 是 该对象所在的存储分区的名称。
ACL 字符串 是 要为对象应用的访问权限级别。
键 字符串 是 应应用 ACL 的对象名称。

PutObjectAcl 操作的输出参数

如果对象 ACL 更新成功，此操作将返回状态 200 (OK)。

如需了解如何配置 PutObjectAcl 操作， 请参阅操作示例。

操作示例

本部分介绍如何在此连接器中执行一些操作。

示例 - 复制对象

此示例将对象从一个存储桶复制到另一个存储桶。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 CopyObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值： 
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "pic.jpg",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "new_pic.jpg"
}

    4. 如果操作成功， CopyObject 任务的 connectorOutputPayload 响应 参数的值类似于以下内容：

    [{
"Status": "Success"
}]

示例 - 下载对象

此示例会从指定存储桶下载对象。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 DownloadObjects 操作，然后点击完成。
  3. 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段： 
    {
"Bucket": "aws-s3-bucket-source",
"HasBytes": true
}

    4. 如果操作成功， DownloadObjects 任务的 connectorOutputPayload 响应 参数的值类似于以下内容：

    [{
"Success": "True",
"RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
"ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
},
{
"Success": "True",
"RemoteFile": "upload1.txt",
"ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
}]

示例 - 上传对象

此示例将对象上传到指定的存储桶。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 UploadObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值： 
    {
"Bucket": "aws-s3-bucket-source",
"FileName": "upload_1.txt",
"Content": "This is a testing file",
"AccessPolicy": "PUBLIC"
}

    4. 如果操作成功， UploadObject 任务的 connectorOutputPayload 响应 参数的值类似于以下内容：

    [{
"Status": "success",
"bucket": "aws-s3-bucket-source",
"rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
"object": "upload_1.txt"
}]

示例 - 删除对象

以下示例会从指定存储桶中删除对象。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 DeleteObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值： 
    {
"Bucket": "aws-s3-bucket-source",
"Object": "abc.png"
}

    4. 如果操作成功， DeleteObject 任务的 connectorOutputPayload 响应 参数的值类似于以下内容：

    [{
"Status": "Success"
}]

示例 - 移动对象

以下示例将对象从一个存储桶移至另一个存储桶。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 MoveObject 操作，然后点击完成。
  3. 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值： 
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "abc.png",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "moved.png"
}

    4. 如果操作成功， MoveObject 任务的 connectorOutputPayload 响应 参数的值类似于以下内容：

    [{
"Status": "Success"
}]

示例 - 更新存储桶的 ACL

以下示例更新了存储桶的访问控制权限。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 PutBucketAcl 操作，然后点击完成。
  3. 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段： 
    {
"BucketSource": "aws-s3-bucket-source",
"ACL": "public-read"
}

    4. 如果操作成功，PutBucketAcl 任务的 connectorOutputPayload 响应参数的值将类似于以下内容：

    [{
"Status": "Success"
}]

示例 - 更新对象的 ACL

此示例将更新存储桶中对象的访问权限控制权限。

  1. 在 Configure connector task 对话框中，点击 Actions。
  2. 选择 PutObjectAcl 操作，然后点击完成。
  3. 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段： 
    {
"Bucket": "aws-s3-bucket-source",
"ACL": "aws-exec-read",
"Key": "AWS_S3_BusinessCase_V2.xlsx"
}

    4. 如果操作成功， PutObjectAcl 任务的 connectorOutputPayload 响应 参数的值类似于以下内容：

    [{
"Status": "Success"
}]

实体操作示例

本部分介绍如何在此连接器中执行某些实体操作。

示例 - 列出所有对象的元数据

此示例提取 Object 实体中所有对象的元数据。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Object。
  3. 选择 List 操作，然后点击 完成。
  4. 您还可以在连接器任务的任务输入部分中，通过指定过滤条件子句来过滤结果集。始终使用英文单引号 (') 指定过滤条件子句值。例如 Bucket='test-bucket'。您 也可以使用逻辑运算符指定多个过滤条件。例如 Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'。

示例 - 获取存储桶的元数据

此示例会从 Bucket 实体获取指定 ID 的存储桶的元数据。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Get 操作，然后点击 完成。
  4. 在连接器任务的任务输入部分，点击 EntityId，然后在默认值字段中输入 demo_replication。

    其中，demo_replication 是 Bucket 实体中的唯一存储桶 ID。

示例 - 创建存储桶

此示例在 Bucket 实体中创建一个存储桶。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Create 操作，然后点击完成。
  4. 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段： 
    {
"Bucket": "Demo1697528098686"
}

    如果集成成功，连接器任务的 connectorOutputPayload 字段将显示 值类似于以下内容：

    [{
"Bucket": "Demo1697528098686"
}]

示例 - 删除存储桶

以下示例将删除 Bucket 实体中具有指定 ID 的存储桶。

  1. 在 Configure connector task 对话框中，点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Delete 操作，然后点击完成。
  4. 在连接器任务的任务输入部分，点击 entityId 并 然后在 Default Value 字段中输入 demo1697528098686。

在集成中使用 Amazon S3 连接

创建连接后，该连接便可在 Apigee Integration 和 Application Integration。您可以通过连接器任务在集成中使用该连接。

  • 如需了解如何在 Apigee Integration 中创建和使用连接器任务，请参阅连接器任务。
  • 如需了解如何在 Application Integration 中创建和使用连接器任务，请参阅连接器任务。

向 Google Cloud 社区寻求帮助

您可以在 Google Cloud 中发布问题和讨论此连接器 Cloud 论坛。

后续步骤