Cloud Storage

借助 Google Cloud Storage 连接器,您可以连接到 Google Cloud Storage 并执行文件传输操作。

准备工作

在使用 Cloud Storage 连接器之前,请先完成以下任务:

  • 在您的 Google Cloud 项目中:
    • 将 IAM 角色 roles/connectors.admin 授予该用户 配置连接器。
    • 将以下 IAM 角色授予您要用其来使用连接器的服务账号:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor
      • roles/storage.admin

      服务账号是一种特殊类型的 Google 账号,用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号,则必须创建一个服务账号。如需了解详情,请参阅创建服务账号

    • 启用以下服务:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      如需了解如何启用服务,请参阅启用服务

    如果之前没有为您的项目启用这些服务或权限,则在您配置连接器时,系统会提示您启用。

配置连接器

配置连接器时,您需要创建与数据源(即后端系统)的连接。一个连接需专用于一个数据源。这意味着,如果您有许多数据源,则必须为每个数据源创建单独的连接。如需创建连接,请执行以下步骤:

  1. Cloud 控制台 中,进入 Integration Connectors > 连接页面,然后选择或创建一个 Google Cloud 项目。

    转到“连接”页面

  2. 点击 + 新建以打开创建连接页面。
  3. 位置部分中,选择连接的位置。
    1. 区域:从下拉列表中选择一个位置。

      如需查看所有受支持区域的列表,请参阅位置

    2. 点击下一步
  4. 连接详情部分中,完成以下操作:
    1. 连接器:从可用连接器的下拉列表中选择 Cloud Storage
    2. 连接器版本:从可用版本的下拉列表中选择一个连接器版本。
    3. 连接名称字段中,输入连接实例的名称。

      连接名称必须符合以下条件:

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头,以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
    4. (可选)输入连接实例的说明
    5. 您可以选择启用 Cloud Logging,然后选择日志级别。默认情况下,日志级别设置为 Error
    6. 服务账号:选择具有所需角色的服务账号。
    7. (可选)配置连接节点设置

      • 节点数下限:输入连接节点数下限。
      • 节点数上限:输入连接节点数上限。

      节点是处理事务的连接单元(或副本)。 连接处理越多事务就需要越多节点,相反,处理越少事务需要越少节点。 如需了解节点如何影响连接器价格,请参阅连接节点的价格。如果未输入任何值,则默认情况下,节点数下限设置为 2(以便提高可用性),节点数上限设置为 50。

    8. 项目 ID:数据所在的 Google Cloud 项目的 ID。
    9. (可选)点击 + 添加标签,以键值对的形式向连接添加标签。
    10. 点击下一步
  5. 查看:查看您的连接。
  6. 点击创建

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

  • 实体:实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如,在数据库连接器中,表是实体;在文件服务器连接器中,文件夹是实体;在消息传递系统连接器中,队列是实体。

    但是,连接器可能不支持或不支持任何实体,在这种情况下, “Entities”列表将为空。

  • 操作:操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作:

    从可用列表中选择一个实体,系统会生成该实体可用的操作列表。如需了解操作的详细说明,请参阅连接器任务的实体操作。但是,如果连接器不支持任何实体操作, 操作未在 Operations 列表中列出。

  • 动作:动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改,并且动作因连接器而异。通常,操作有一些输入参数和一个输出 参数。但可能的情况是,连接器不支持任何动作,在这种情况下,Actions 列表将为空。

系统限制

Google Cloud Storage 连接器每个节点每秒最多可处理 10 笔事务,并会对超出此限制的所有事务进行节流。默认情况下,Integration Connectors 会为连接分配 2 个节点(以提高可用性)。

如需了解适用于集成连接器的限制,请参阅限制

操作

Google Cloud Storage 连接支持以下操作:

DownloadObject 操作

下表介绍了 DownloadObject 操作的输入参数。

参数名称 需要 数据类型 说明
存储桶 字符串 存在要下载对象的存储桶名称。
ObjectFilePath 字符串 应下载的对象的名称。如果未指定,则将下载指定存储桶中的所有对象。

如果要下载的对象存在于存储桶的子文件夹中,您必须提供此类对象的完整路径。例如,如需下载 bucket_01folderA 中存在的 logfile.txt,对象路径应为 folderA/logfile.txt

HasBytes 布尔值 是否以字节形式下载内容。有效值为 truefalse。如果设置为 true,则内容会以 Base64 编码的字符串形式下载。

默认情况下,HasBytes 字段设置为 false

UpdatedEndDate 日期 用于下载对象的结束日期范围。如果未指定,则对象 从指定的 UpdatedStartDate 下载,直至当天为止。
UpdatedStartDate 日期 下载对象的日期范围的开始日期。如果未指定,则将下载从时间开始到 UpdatedEndDate 的对象。

如需有关如何配置 DownloadObject 操作的示例,请参阅示例

UploadObject 操作

下表介绍了 UploadObject 操作的输入参数。

参数名称 需要 数据类型 说明
存储桶 字符串 将上传到对象的存储桶名称。
FolderPath 字符串 应将对象上传到的文件夹的路径。
ContentBytes 字符串 要以字节(Base64 编码的字符串)形式上传的内容。
HasBytes 布尔值 是否以字节形式上传内容。有效值:truefalse。如果设为 true,您要上传的内容应为 Base64 编码的字符串。

默认情况下,HasBytes 字段设置为 false

内容 字符串 要上传的内容。
ObjectName 字符串 要上传的对象的名称。

如需查看有关如何配置 UploadObject 操作的示例,请参阅示例

CopyObject 操作

下表介绍了 CopyObject 操作的输入参数。

参数名称 需要 数据类型 说明
BucketSource 字符串 从中复制对象的存储桶名称。
ObjectSource 字符串 您要将对象复制到的文件夹的完整路径。
BucketDestination 字符串 将对象复制到的存储桶名称。
ObjectDestination 字符串 目标的完整路径(包括对象名称)。如果您未指定 任何对象名称,系统会保留源对象的名称。

如需查看有关如何配置 CopyObject 操作的示例,请参阅示例

MoveObject 操作

下表介绍了 MoveObject 操作的输入参数。

参数名称 需要 数据类型 说明
BucketSource 字符串 您要从中移动对象的存储桶名称。
ObjectSource 字符串 要将对象移到的目标文件夹的完整路径。
BucketDestination 字符串 将对象移动到的存储桶名称。
ObjectDestination 字符串 目标的完整路径(包括对象名称)。如果您未指定任何对象名称,系统会保留源对象的名称。

DeleteObject 操作

下表介绍了 DeleteObject 操作的输入参数。

参数名称 需要 数据类型 说明
BucketSource 字符串 要删除的对象的存储桶名称。
ObjectSource 字符串 要删除的对象的名称。
世代 双精度型 要删除的对象的版本。永久删除对象的指定修订版(如果有),而不是最新版本(这是默认行为)。
IfGenerationMatch 双精度型 使删除操作取决于对象的当前生成版本是否与给定值匹配。如果将此值设置为 0,则只有在没有 对象的当前版本。
IfGenerationNotMatch 双精度型 使删除操作取决于对象的当前生成版本是否与给定值不匹配。如果当前对象不存在,则前提条件不满足。将此值设置为 0 表示仅当存在对象的当前版本时,操作才成功。
IfMetagenerationMatch 双精度型 让删除操作根据对象的当前元数据世代是否满足条件 与指定的值匹配。
IfMetagenerationNotMatch 双精度型 让删除操作根据对象的当前元数据世代是否满足条件 与指定的值不匹配。

Sign网址 操作

下表介绍了用于为指定对象创建已签名网址的 SignURL 操作的输入参数。

参数名称 需要 数据类型 说明
存储桶 字符串 对象所在存储桶的名称。
对象 字符串 要为其生成 SignedURL 的对象的名称。
RequestMethod 字符串 已签名请求将使用的方法。默认值为 GET
位置 字符串 指定存储桶的位置。默认值为 auto
ActiveDateTime 字符串 Signed网址 将变为活动状态的日期时间。如果未指定,则使用当前 dateTime。
查询 字符串 使用 Signed网址 时必须包含的查询字符串。如果未指定,则不会使用任何查询字符串。
CustomHeaders 字符串 与 Signed网址 一起使用的标头的 name=value 列表,以英文逗号分隔。如果未指定,则系统不会使用自定义标头。
ExpiresIn 字符串 SignedURL 的过期时间应采用以下格式:1d2h3m4s,最大值为 7d0h0m0s
HmacAccessKey 字符串 HMAC 访问密钥。如需了解详情,请参阅 HMAC 密钥
HmacSecret 字符串 HMAC 密文。

示例

本部分中的示例介绍了以下操作:

  • 列出所有对象
  • 列出存储桶中的所有对象
  • 列出所有存储桶
  • 下载对象
  • 下载二进制对象
  • 将二进制对象上传到存储桶
  • 将对象上传到存储桶
  • 将对象上传到文件夹
  • 复制对象
  • 移动对象
  • 删除对象
  • 为对象创建签名网址

下表列出了连接器任务中的示例场景和相应的配置:

任务 配置
列出所有对象
  1. Configure connector task 对话框中,点击 Entities
  2. 选择 Objects 实体,然后选择 List 操作。
  3. 点击完成

这将列出所有存储桶中的所有对象。这些对象列在 Connectors 任务的 connectorOutputPayload 响应参数中。

列出存储桶中的所有对象
  1. Configure connector task 对话框中,点击 Entities
  2. 选择 Objects 实体,然后选择 List 操作。
  3. 点击完成
  4. filterClause 设置为要从中列出对象的存储桶名称。要设置该子句,请在 Connectors 任务的 Task Input 部分中,点击 filterClause 然后在 Default Value 字段中输入 Bucket = 'BUCKET_NAME'。 例如 Bucket = 'bucket_01'
列出所有存储桶
  1. Configure connector task 对话框中,点击 Entities
  2. 选择 Buckets 实体,然后选择 List 操作。
  3. 点击完成
下载对象
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 DownloadObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段:
    {
      "Bucket": "bucket-test-01",
      "ObjectFilePath": "logfile.txt"
    }
  4. 此示例会下载 logfile.txt 文件。您可以在 Connectors 任务的 connectorOutputPayload 响应参数中以 JSON 格式查看已下载文件的内容。

下载二进制对象

下载二进制对象的步骤与下载常规对象相同,如前所述。此外,您还必须在HasBytestrue connectorInputPayload 字段。这会将对象下载为 Base64 编码的字符串。 connectorInputPayload 字段的示例值:

{
"Bucket": "bucket-test-01",
"ObjectFilePath": "image01.png",
"HasBytes" : true
}

如果下载成功,connectorOutputPayload 字段中的输出将如下所示:

{
"Success": "true",
"ContentBytes": "SGVsbG8gdGVzdCE\u003d"
}

默认情况下,HasBytes 字段设置为 false

如果文件包含特殊字符(例如 ä、Ø、Thành),请执行以下操作:

  1. 采用 UTF-8 编码:采用 UTF-8 对文件进行编码,以处理特殊字符。
  2. 转换为 Base64:将文件转换为 Base64,以确保原文保持不变。
  3. 解码 Base64 字符串:将文件解码为 Base64 字符串,以检索包含特殊字符的原始值。
将二进制对象上传到存储桶
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UploadObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "ContentBytes": "SGVsbG8gVGVzdCE=",
    "Bucket": "bucket-test-01",
    "ObjectName" : "test-file-01",
    "HasBytes": true
    }
  4. 此示例在 bucket-test-01 存储桶中创建 test-file-01 文件。如果存在名称为 test-file-01 的现有文件,则会被覆盖。

将对象上传到存储桶
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UploadObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "Content": "Hello test!",
    "Bucket": "bucket-test-01",
    "ObjectName" : "test-file-01.txt"
    }
  4. 此示例在 bucket-test-01 存储桶中创建内容为 Hello test!test-file-01.txt 文件。如果有 具有 test-file-01.txt 名称的现有文件,它将被覆盖。

将对象上传到文件夹
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 UploadObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "Content": "Hello test!",
    "Bucket": "bucket-test-01",
    "FolderPath": "folderA",
    "ObjectName": "test-file-01.txt"
    }
  4. 此示例会在 bucket-test-01folderA 文件夹中创建内容为 Hello test!test-file-01.txt 文件。如果 文件夹中已有文件使用 test-file-01.txt 名称,该文件会被覆盖。

复制对象
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 CopyObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "BucketSource": "bucket_01",
    "ObjectSource": "folderA/logfile.txt",
    "BucketDestination": "bucket_02",
    "ObjectDestination": "folderB/logfile.txt"
    }
  4. 此示例将 folderA/logfile.txt 文件从 bucket_01 复制到 bucket_02 中的 folderB/logfile.txt

如果复制成功,connectorOutputPayload 字段中的输出将如下所示:

{
"Success": "true"
}
移动对象
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 MoveObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "BucketSource": "bucket_01",
    "ObjectSource": "folderA/logfile.txt",
    "BucketDestination": "bucket_02",
    "ObjectDestination": "folderB/logfile.txt"
    }
  4. 此示例将 folderA/logfile.txt 文件从 bucket_01 移动到 bucket_02 中的 folderB/logfile.txt

如果复制成功,connectorOutputPayload 字段中的输出将如下所示:

{
"Success": "true"
}
删除对象
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 DeleteObject 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "BucketSource": "bucket_01",
    "ObjectSource": "logfile.txt"
    }
  4. 此示例从 bucket_01 中删除 logfile.txt 文件。

如果复制成功,connectorOutputPayload 字段中的输出将如下所示:

{
"Success": "true"
}
为对象创建签名网址
  1. Configure connector task 对话框中,点击 Actions
  2. 选择 SignURL 操作,然后点击完成
  3. 连接器任务的任务输入部分,点击 connectorInputPayload,然后在 Default Value 字段中输入以下内容:
    {
    "Bucket": "bucket-test-01",
    "ObjectName" : "test-file-01.txt"
    }
  4. 此示例为 test-file-01.txt 文件创建签名网址 该数据位于 bucket-test-01 存储桶中。如果该操作 请求成功后,您将在响应中获得签名网址, 更改为以下代码:

    {
    "Success": "true",
    "SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm=
    GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount.com
    %2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18
    1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16
    9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849
    6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc
    c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058
    0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a
    66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823
    a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703
    2ea7abedc098d2eb14a7"
    }

注意事项

  • 可下载对象的大小上限为 10 MB。
  • 您无法使用 UploadObject 操作上传多个文件。您只能上传一个文件。

使用 Terraform 创建连接

您可以使用 Terraform 资源创建新的连接。

如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令

如需查看用于创建连接的 Terraform 模板示例,请参阅模板示例

使用 Terraform 创建此连接时,您必须在 Terraform 配置文件中设置以下变量:

参数名称 数据类型 必需 说明
project_id STRING True 数据所在 Google Cloud 项目的 ID。

在集成中使用 Cloud Storage 连接

创建连接后,该连接将在 Apigee Integration 和 Application Integration 中可用。您可以使用连接 通过连接器任务在集成中进行集成。

  • 如需了解如何在 Apigee Integration 中创建和使用连接器任务,请参阅连接器任务
  • 如需了解如何在 Application Integration 中创建和使用连接器任务,请参阅连接器任务

向 Google Cloud 社区寻求帮助

您可以在 Google Cloud 中发布问题和讨论此连接器 Cloud 论坛

后续步骤