Cloud Storage
借助 Google Cloud Storage 连接器,您可以连接到 Google Cloud Storage 并执行文件传输操作。
准备工作
在使用 Cloud Storage 连接器之前,请先完成以下任务:
- 在您的 Google Cloud 项目中:
- 将 roles/connectors.admin IAM 角色授予配置连接器的用户。
- 将以下 IAM 角色授予您要用其来使用连接器的服务账号:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
roles/storage.admin
服务账号是一种特殊类型的 Google 账号,用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号,则必须创建一个服务账号。如需了解详情,请参阅创建服务账号。
- 启用以下服务:
secretmanager.googleapis.com
(Secret Manager API)connectors.googleapis.com
(Connectors API)
如需了解如何启用服务,请参阅启用服务。
如果之前没有为您的项目启用这些服务或权限,则在您配置连接器时,系统会提示您启用。
配置连接器
配置连接器时,您需要创建与数据源(即后端系统)的连接。一个连接需专用于一个数据源。这意味着,如果您有许多数据源,则必须为每个数据源创建单独的连接。如需创建连接,请执行以下步骤:
- 在 Cloud 控制台 中,进入 Integration Connectors > 连接页面,然后选择或创建一个 Google Cloud 项目。
- 点击 + 新建以打开创建连接页面。
- 在位置部分中,选择连接的位置。
- 区域:从下拉列表中选择一个位置。
如需查看所有受支持区域的列表,请参阅位置。
- 点击下一步。
- 区域:从下拉列表中选择一个位置。
- 在连接详情部分中,完成以下操作:
- 连接器:从可用连接器的下拉列表中选择 Cloud Storage。
- 连接器版本:从可用版本的下拉列表中选择一个连接器版本。
- 在连接名称字段中,输入连接实例的名称。
连接名称必须符合以下条件:
- 连接名称可以使用字母、数字或连字符。
- 字母必须小写。
- 连接名称必须以字母开头,以字母或数字结尾。
- 连接名称不能超过 63 个字符。
- (可选)输入连接实例的说明。
- 服务账号:选择具有所需角色的服务账号。
- (可选)配置连接节点设置:
- 节点数下限:输入连接节点数下限。
- 节点数上限:输入连接节点数上限。
节点是处理事务的连接单元(或副本)。 连接处理越多事务就需要越多节点,相反,处理越少事务需要越少节点。 如需了解节点如何影响连接器价格,请参阅连接节点的价格。如果未输入任何值,则默认情况下,节点数下限设置为 2(以便提高可用性),节点数上限设置为 50。
- 项目 ID:数据所在的 Google Cloud 项目的 ID。
- (可选)点击 + 添加标签,以键值对的形式向连接添加标签。
- 点击下一步。
- 检查:检查您的连接。
- 点击创建。
实体、操作和动作
所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。
- 实体:实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如,在数据库连接器中,表是实体;在文件服务器连接器中,文件夹是实体;在消息传递系统连接器中,队列是实体。
不过,可能连接器不支持或不支持任何实体,在这种情况下,
Entities
列表将为空。 - 操作:操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作:
从可用列表中选择一个实体,系统会生成该实体可用的操作列表。如需了解操作的详细说明,请参阅连接器任务的实体操作。但是,如果连接器不支持任何实体操作,则此类不受支持的操作不会列在
Operations
列表中。 - 动作:动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改,并且动作因连接器而异。但可能的情况是,连接器不支持任何动作,在这种情况下,
Actions
列表将为空。
系统限制
Google Cloud Storage 连接器每秒最多可以为每个节点处理 10 项事务,并限制超出此限制的所有事务。默认情况下,Integration Connectors 会为连接分配 2 个节点(以提高可用性)。
如需了解适用于 Integration Connectors 的限制,请参阅限制。
操作
Google Cloud Storage 连接支持以下操作:
DownloadObject 操作
下表介绍了 DownloadObject
操作的输入参数。
参数名称 | 需要 | 数据类型 | 说明 |
---|---|---|---|
存储桶 | 是 | 字符串 | 存在要下载对象的存储桶名称。 |
ObjectFilePath | 否 | 字符串 | 应下载的对象的名称。如果未指定,则将下载指定存储桶中的所有对象。
如果要下载的对象存在于存储桶的子文件夹中,您必须提供此类对象的完整路径。例如,如需下载 |
HasBytes | 否 | 布尔值 | 是否以字节形式下载内容。有效值为 true 或 false 。如果此政策设为 true ,系统会以 Base64 编码的字符串的形式下载内容。
默认情况下, |
UpdatedEndDate | 否 | 日期 | 下载对象的结束日期。如果未指定,系统将从指定的 UpdatedStartDate 下载直到当前日期的对象。 |
UpdatedStartDate | 否 | 日期 | 要下载对象的日期范围的开始日期。如果未指定,系统将从一开始就下载对象,直到 UpdatedEndDate 。 |
如需查看有关如何配置 DownloadObject
操作的示例,请参阅示例。
UploadObject 操作
下表介绍了 UploadObject
操作的输入参数。
参数名称 | 需要 | 数据类型 | 说明 |
---|---|---|---|
存储桶 | 是 | 字符串 | 将上传到对象的存储桶名称。 |
FolderPath | 否 | 字符串 | 应将对象上传到的文件夹的路径。 |
ContentBytes | 否 | 字符串 | 以字节(Base64 编码字符串)形式上传的内容。 |
HasBytes | 否 | 布尔值 | 是否以字节形式上传内容。有效值:true 或 false 。如果设为 true ,您要上传的内容应该是 Base64 编码的字符串。
默认情况下, |
内容 | 是 | 字符串 | 要上传的内容。 |
ObjectName | 否 | 字符串 | 要上传的对象的名称。 |
如需查看有关如何配置 UploadObject
操作的示例,请参阅示例。
CopyObject 操作
下表介绍了 CopyObject
操作的输入参数。
参数名称 | 需要 | 数据类型 | 说明 |
---|---|---|---|
BucketSource | 是 | 字符串 | 从中复制对象的存储桶名称。 |
ObjectSource | 是 | 字符串 | 要将对象复制到的文件夹的完整路径。 |
BucketDestination | 是 | 字符串 | 将对象复制到的存储桶名称。 |
ObjectDestination | 否 | 字符串 | 目标的完整路径,包括对象名称。如果未指定任何对象名称,系统将保留源对象的名称。 |
如需查看有关如何配置 CopyObject
操作的示例,请参阅示例。
MoveObject 操作
下表介绍了 MoveObject 操作的输入参数。
参数名称 | 需要 | 数据类型 | 说明 |
---|---|---|---|
BucketSource | 是 | 字符串 | 您要从中移动对象的存储桶名称。 |
ObjectSource | 是 | 字符串 | 您要将对象移到的目标文件夹的完整路径。 |
BucketDestination | 是 | 字符串 | 将对象移动到的存储桶名称。 |
ObjectDestination | 否 | 字符串 | 目标的完整路径,包括对象名称。如果未指定任何对象名称,系统将保留源对象的名称。 |
DeleteObject 操作
下表介绍了 DeleteObject
操作的输入参数。
参数名称 | 需要 | 数据类型 | 说明 |
---|---|---|---|
BucketSource | 是 | 字符串 | 要删除的对象的存储桶名称。 |
ObjectSource | 是 | 字符串 | 要删除的对象的名称。 |
世代 | 否 | 双精度型 | 要删除的对象的版本。如果存在,则永久删除对象的指定修订版本,而不是最新版本,这是默认行为。 |
IfGenerationMatch | 否 | 双精度型 | 让删除操作根据对象的当前世代是否与指定值匹配。如果将此值设置为 |
IfGenerationNotMatch | 否 | 双精度型 | 使删除操作根据对象的当前世代是否与指定值不匹配。如果不存在活动对象,则前提条件失败。如果将此值设置为 0 ,则仅当存在对象的当前版本时,操作才会成功。 |
IfMetagenerationMatch | 否 | 双精度型 | 根据对象的当前元数据世代是否与指定值匹配来删除操作。 |
IfMetagenerationNotMatch | 否 | 双精度型 | 在执行删除操作时,考虑对象的当前元世代是否与指定值不匹配。 |
签名网址操作
下表介绍了 SignURL
操作的输入参数,该操作会为指定对象创建签名网址。
参数名称 | 需要 | 数据类型 | 说明 |
---|---|---|---|
存储桶 | 是 | 字符串 | 对象所在的存储桶名称。 |
对象 | 是 | 字符串 | 要为其生成 Signed网址 的对象的名称。 |
RequestMethod | 否 | 字符串 | 已签名请求将使用的方法。默认值为 GET 。 |
位置 | 否 | 字符串 | 指定存储桶的位置。默认值为 auto 。 |
ActiveDateTime | 否 | 字符串 | Signed网址 变为活跃状态的 dateTime。如果未指定,将使用当前的 dateTime。 |
查询 | 否 | 字符串 | 使用 Signed网址 时必须包含的查询字符串,如果未指定,则不使用任何查询字符串。 |
CustomHeaders | 否 | 字符串 | 用于与 Signed网址 搭配使用的标头的 name=value 列表(以英文逗号分隔)。如果未指定,系统将使用自定义标头。 |
ExpiresIn | 是 | 字符串 | Signed网址 的到期时间应采用以下格式:1d2h3m4s ,最大值为 7d0h0m0s 。 |
HmacAccessKey | 否 | 字符串 | HMAC 访问密钥。如需了解详情,请参阅 HMAC 密钥。 |
HmacSecret | 否 | 字符串 | HMAC Secret。 |
示例
本部分中的此示例介绍了以下操作:
- 列出所有对象
- 列出存储桶中的所有对象
- 列出所有存储桶
- 下载对象
- 下载二进制对象
- 将对象上传到存储桶
- 将对象上传到文件夹
- 复制对象
- 移动对象
- 删除对象
- 为对象创建签名网址
下表列出了连接器任务中的示例场景和相应的配置:
任务 | 配置 |
---|---|
列出所有对象 |
这将列出所有存储桶中的所有对象。这些对象列在 |
列出存储桶中的所有对象 |
|
列出所有存储桶 |
|
下载对象 |
此示例会下载 |
下载二进制对象 |
如前所述,下载二进制对象的步骤与下载常规对象的步骤相同。此外,您必须在 { "Bucket": "bucket-test-01", "ObjectFilePath": "image01.png", "HasBytes" : true } 如果下载成功, { "Success": "true", "ContentBytes": "SGVsbG8gdGVzdCE\u003d" } |
将对象上传到存储桶 |
此示例在 |
将对象上传到文件夹 |
此示例会在 |
复制对象 |
以下示例将 如果复制成功, { "Success": "true" } |
移动对象 |
此示例将 如果复制成功, { "Success": "true" } |
删除对象 |
此示例从 如果复制成功, { "Success": "true" } |
为对象创建签名网址 |
此示例为 { "Success": "true", "SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm= GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount .com%2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18 1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16 9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849 6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058 0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a 66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823 a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703 2ea7abedc098d2eb14a7" } |
注意事项
- 可下载对象的大小上限为 10 MB。
- 您无法使用
UploadObject
操作上传多个文件。您只能上传一个文件。
使用 Terraform 创建连接
您可以使用 Terraform 资源创建新连接。如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令。
如需查看用于创建连接的示例 Terraform 模板,请参阅示例模板。
使用 Terraform 创建此连接时,您必须在 Terraform 配置文件中设置以下变量:
参数名称 | 数据类型 | 需要 | 说明 |
---|---|---|---|
project_id | STRING | True | 数据所在的 Google Cloud 项目的 ID。 |
在集成中使用 Cloud Storage 连接
创建连接后,它在 Apigee Integration 和 Application Integration 中均可使用。您可以通过连接器任务在集成中使用该连接。
- 如需了解如何在 Apigee Integration 中创建和使用连接器任务,请参阅连接器任务。
- 如需了解如何在 Application Integration 中创建和使用连接器任务,请参阅连接器任务。
向 Google Cloud 社区寻求帮助
您可以在 Cloud 论坛的 Google Cloud 社区发布您的问题并讨论此连接器。后续步骤
- 了解如何暂停和恢复连接。
- 了解如何监控连接器的使用情况。
- 了解如何查看连接器日志。