MongoDB(版本 2)
通过 MariaDB 连接器,您可以对 MariaDB 数据库执行插入、删除、更新和读取操作。
支持的版本
- MongoDB 版本 3.6 到 6.1
- 在 Google Cloud 上部署的 Mongo Atlas。
准备工作
在使用 MongoDB 连接器之前,请先完成以下任务:
- 在您的 Google Cloud 项目中:
- 确保已设置网络连接。如需了解网络模式,请参阅网络连接。如需了解如何为 MongoDB Atlas 集群设置网络连接,请参阅 MongoDB Atlas 集群的专用连接。
- 向配置连接器的用户授予 roles/connectors.admin IAM 角色。
- 将以下 IAM 角色授予您要用其来使用连接器的服务账号:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
服务账号是一种特殊类型的 Google 账号,用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号,则必须创建一个服务账号。如需了解详情,请参阅创建服务账号。
- 启用以下服务:
secretmanager.googleapis.com
(Secret Manager API)connectors.googleapis.com
(Connectors API)
如需了解如何启用服务,请参阅启用服务。
如果之前没有为您的项目启用这些服务或权限,则在您配置连接器时,系统会提示您启用。
配置连接器
配置连接器时,您需要创建与数据源(即后端系统)的连接。一个连接需专用于一个数据源。这意味着,如果您有许多数据源,则必须为每个数据源创建单独的连接。如需创建连接,请执行以下步骤:
- 在 Cloud 控制台 中,进入 Integration Connectors > 连接页面,然后选择或创建一个 Google Cloud 项目。
- 点击 + 新建以打开创建连接页面。
- 在位置部分中,选择连接的位置。
- 区域:从下拉列表中选择一个位置。
如需查看所有受支持区域的列表,请参阅位置。
- 点击下一步。
- 区域:从下拉列表中选择一个位置。
- 在连接详情部分中,完成以下操作:
- 连接器:从可用连接器的下拉列表中选择 MongoDB。
- 连接器版本:从可用版本的下拉列表中选择版本 2
2
。 - 在连接名称字段中,输入连接实例的名称。
连接名称必须符合以下条件:
- 连接名称可以使用字母、数字或连字符。
- 字母必须小写。
- 连接名称必须以字母开头,以字母或数字结尾。
- 连接名称不能超过 49 个字符。
- (可选)输入连接实例的说明。
- 您可以选择启用 Cloud Logging,然后选择日志级别。默认情况下,日志级别设置为
Error
。 - 服务账号:选择具有所需角色的服务账号。
- (可选)配置连接节点设置:
- 节点数下限:输入连接节点数下限。
- 节点数上限:输入连接节点数上限。
节点是处理事务的连接单元(或副本)。 连接处理越多事务就需要越多节点,相反,处理越少事务需要越少节点。 如需了解节点如何影响连接器价格,请参阅连接节点的价格。如果未输入任何值,则默认情况下,节点数下限设置为 2(以便提高可用性),节点数上限设置为 50。
- 数据库:MongoDB 数据库的名称。
- 连接超时:连接超时(以秒为单位)。
- Use SSL:指定是否启用 SSL。
- 应用名称:Mongo 的自定义应用名称。
- 最大过时秒数:在客户端停止使用辅助副本进行读取操作之前,辅助副本可以过时多长时间(以秒为单位)。
- 写入关注(w 选项):用于请求确认写入操作已传播到包含特定标记的指定数量的实例的选项。
- 写入关注操作(wtimeoutMS 选项):指定写入关注操作的时间限制(以毫秒为单位)。
- 写入关注(日志选项):请求 MongoDB 确认写入操作已写入日志。
- 读取偏好设置:将此项设置为从副本集读取的策略。接受的值包括 primary、primaryPreferred、secondary、secondaryPreferred 和 nearest.
- 集群类型:指定 MongoDB 集群的类型。
- 启用加密:指定是否启用加密功能。
- 加密类型:指定启用的加密类型。目前仅支持
Local Encryption
类型。 - 加密架构:指定加密架构信息,包括字段和加密算法、密钥备选名称、查询类型和争用因子。
例如:
{ "database.collection": { "encryptMetadata": { "algorithm": "parentAlgo" }, "properties": { "passportId": {}, "medicalRecords": { "encryptMetadata": { "algorithm": "medicalRecordParentAlgo" }, "properties": { "medicalRecord1": {}, "medicalRecord2": { "encrypt": { "algorithm": "medicalRecord2Algo", "keyAltName": "medicalRecord2Altkey", "queryType": "equality", "contentionFactor": 3 } } } }, "insuranceProperties": { "properties": { "policyNumber": {}, "insuranceRecord1": { "encrypt": { "algorithm": "insuranceRecord1Algo", "keyAltName": "insuranceRecord1AltKey" } }, "insuranceRecord2": { "encrypt": { "algorithm": "insuranceRecord2Algo", "keyAltName": "insuranceRecord2AltKey", "contentionFactor": 5 } } } } } } }
- encryption_master_key:包含加密主密钥的 Secret Manager Secret。
- encryption_key_vault:加密密钥保险柜值。
- 身份验证数据库:指定用于身份验证的 MongoDB 数据库的名称。
- (可选)点击 + 添加标签,以键值对的形式向连接添加标签。
- 点击下一步。
- 在目标部分中,输入要连接到的远程主机(后端系统)的详细信息。
- 目标类型:您可以将目标详细信息指定为主机地址,该地址可以是以下任意地址:
- 单个 Mongo SRV 字符串。例如
mongodb+srv://cluster2.2f.mongodb.net
。 - 单个副本。例如
dasdsf.2f.mongodb01.net
。 - IP 地址。例如
10.23.123.12
如果未指定
mongodb+srv
,系统会在将连接字符串中的所有副本合并后,将mongodb://
前缀添加到最终网址。要输入其他目标,请点击 + 添加目标。
- 单个 Mongo SRV 字符串。例如
- 点击下一步。
- 目标类型:您可以将目标详细信息指定为主机地址,该地址可以是以下任意地址:
-
在身份验证部分中,输入身份验证详细信息。
- 选择身份验证类型,然后输入相关详细信息。
MongoDB 连接支持以下身份验证类型:
- 用户名和密码
- 点击下一步。
如需了解如何配置这些身份验证类型,请参阅配置身份验证。
- 选择身份验证类型,然后输入相关详细信息。
- 查看:查看您的连接和身份验证详细信息。
- 点击创建。
配置身份验证
根据您要使用的身份验证输入详细信息。
-
用户名和密码
- 用户名:连接器的用户名
- 密码:包含用户密码的 Secret Manager Secret。
- 身份验证方案:用于身份验证的方案。
MongoDB 连接支持以下身份验证方案:
- Plain
- SCRAM-SHA-1
- SCRAM-SHA-256
实体、操作和动作
所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。
- 实体:实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如,在数据库连接器中,表是实体;在文件服务器连接器中,文件夹是实体;在消息传递系统连接器中,队列是实体。
但可能的情况是,连接器不支持或不具有任何实体,在这种情况下,
Entities
列表将为空。 - 操作:操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作:
从可用列表中选择一个实体,系统会生成该实体可用的操作列表。如需了解操作的详细说明,请参阅连接器任务的实体操作。不过,如果连接器不支持任何实体操作,则
Operations
列表中不会列出此类不受支持的操作。 - 动作:动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改,并且动作因连接器而异。通常,操作会有一些输入参数和一个输出参数。但可能的情况是,连接器不支持任何动作,在这种情况下,
Actions
列表将为空。
系统限制
MongoDB 连接器每个节点每秒最多可处理 70 笔事务,并会对超出此限制的所有事务进行节流。默认情况下,集成连接器会为连接分配 2 个节点(以提高可用性)。
如需了解适用于集成连接器的限制,请参阅限制。
受支持的数据类型
此连接器支持以下数据类型:
- BIGINT
- BINARY
- BIT
- BOOLEAN
- CHAR
- DATE
- DECIMAL
- DOUBLE
- FLOAT
- INTEGER
- LONGN VARCHAR
- LONG VARCHAR
- NCHAR
- NUMERIC
- NVARCHAR
- REAL
- SMALL INT
- 时间
- TIMESTAMP
- TINY INT
- VARBINARY
- VARCHAR
MongoDB Atlas 集群的配置
MongoDB Atlas 集群的身份验证配置与之前记录的步骤略有不同。如需对 Atlas 集群进行身份验证,您必须先获取 Atlas 连接字符串。如需获取 Atlas 连接字符串,请执行以下步骤:
- 在“集群”视图中,点击要连接到的集群对应的“连接”。
- 点击“连接您的应用”。
- 选择任一驱动程序选项以显示连接字符串。
如需对 Atlas 集群进行身份验证,请使用以下配置:
- 身份验证数据库:将值设置为 admin,因为所有 MongoDB Atlas 用户都与 admin 数据库关联。
- 使用 SSL:将值设置为 true。
- 服务器:将值设置为 mongodb+srv://MongoDB INSTANCE SERVER NAME,而不包含用户名和密码。
操作
本部分列出了 MongoDB 连接支持的所有操作。
AggregatePipeline 操作
此操作会汇总集合中的流水线更改。
AggregatePipeline 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
管道 | 字符串 | 是 | 将字段阶段作为字符串列表包含的汇总流水线。 |
page_size | 整数 | 否 | 结果集中每页中包含的项数。 |
page_no | 整数 | 否 | 要从结果集中检索的网页的索引。索引从 0 开始。 |
如需了解如何配置 AggregatePipeline
操作,请参阅示例。
CountDocuments 操作
此操作会统计集合中符合给定条件的所有文档。
CountDocuments 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
过滤条件 | 字符串 | 否 | 以 MongoDB 查询格式表示的过滤条件。如果为 querytype 等式启用了加密架构,此条件可以包含加密字段。 |
CountDocuments 操作的输出参数
此操作会返回满足给定条件的所有文档的数量。
如需了解如何配置 CountDocuments
操作,请参阅示例。
DeleteDocuments 操作
此操作会删除集合中的文档。
DeleteDocuments 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
过滤条件 | 字符串 | 否 | 以 MongoDB 查询格式表示的过滤条件。如果为查询类型等式启用了加密架构,此条件可以包含加密字段。 |
DeleteDocuments 操作的输出参数
该操作会返回已删除的文档数。
如需了解如何配置 DeleteDocuments
操作,请参阅示例。
DistinctValues 操作
此操作会返回集合中某个字段的唯一值。
DistinctValues 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
字段 | 字符串 | 是 | 用于查询唯一值的字段名称。 |
过滤条件 | 字符串 | 否 | 以 MongoDB 查询格式表示的过滤条件。如果为 querytype 等式启用了加密架构,此条件可以包含加密字段。 |
如需了解如何配置 DistinctValues
操作,请参阅示例。
InsertDocument 操作
此操作会在集合中插入文档。
下表介绍了 InsertDocument
操作的输入和输出参数。
InsertDocument 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
文档 | 字符串 | 否 | 要添加到 MongoDB 集合中的文档。 |
InsertDocument 操作的输出参数
此操作会返回插入的文档的 ID。
如需了解如何配置 InsertDocument
操作,请参阅示例。
ListDocuments 操作
下表介绍了 ListDocuments 操作的输入和输出参数。
ListDocuments 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
过滤条件 | 字符串 | 否 | 以 MongoDB 查询格式表示的过滤条件。如果为 querytype 等式启用了加密架构,此条件可以包含加密字段。 |
page_size | 整数 | 否 | 结果集中每页中包含的项数。 |
page_no | 整数 | 否 | 要从结果集中检索的网页的索引。索引从 0 开始。 |
投影 | 字符串 | 否 | 要以 Mongo 格式包含在查询投影中的一组字段或属性。 |
sort_by | 字符串 | 否 | 使用 MongoDB 的二进制 JSON (BSON) 格式对查询结果进行排序的规范。 |
ListDocuments 操作的输出参数
该操作会根据页面大小返回满足过滤条件的文档列表。默认页面大小为 25,最大页面大小为 50,000。
如需了解如何配置 ListDocuments
操作,请参阅示例。
UpdateDocuments 操作
下表介绍了 UpdateDocuments
操作的输入和输出参数。
UpdateDocuments 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
值 | 字符串 | 否 | 采用 Mongo 格式要更新的值。 |
过滤条件 | 字符串 | 否 | 以 MongoDB 查询格式表示的过滤条件。如果为查询类型等式启用了加密架构,此条件可以包含加密字段。 |
upsert | 布尔值 | 否 | 操作是更新/插入还是更新。 |
UpdateDocuments 操作的输出参数
该操作会返回已更新的文档数。
如需了解如何配置 UpdateDocuments
操作,请参阅示例。
UpdateDocumentsWithEncryption 操作
此操作允许用户更新加密值。下表介绍了 UpdateDocumentsWithEncryption
操作的输入和输出参数。
UpdateDocumentsWithEncryption 操作的输入参数
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
集合 | 字符串 | 是 | MongoDB 集合的名称。 |
文档 | 字符串 | 否 | 包含要更新的值的文档。值可以包含将使用 CSFLE 加密的字段。 |
过滤条件 | 字符串 | 否 | 以 MongoDB 查询格式表示的过滤条件。如果为 querytype 等式启用了加密架构,此条件可以包含加密字段。 |
upsert | 布尔值 | 否 | 指定操作是否为 upsert 。 |
UpdateDocumentsWithEncryption 操作的输出参数
该操作会返回已更新的文档数。
如需了解如何配置 UpdateDocumentsWithEncryption
操作,请参阅示例。
示例
本部分介绍如何在此连接器中执行一些实体操作和动作。
示例 - 汇总流水线更改
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
AggregatePipeline
操作,然后点击完成。 - 在连接器任务的任务输入部分中,点击
connectorInputPayload
,然后在Default Value
字段中输入类似于以下内容的值:{ "collection": "restaurants", "pipeline": { "stages": [ "{$addFields: { \"new_menu_item\": \"tea\"}}" ] }, "page_size": 1, "page_no": 0 }
此示例会向 restaurant
集合中的所有文档添加一个新菜单项,并返回结果的第一页。
示例 - 统计文档数量
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
CountDocuments
操作,然后点击完成。 - 在连接器任务的任务输入部分中,点击
connectorInputPayload
,然后在Default Value
字段中输入类似于以下内容的值:{ "collection":"restaurants", "filter": "{\"name\": \"CarvelIceCream1\"}" }
此示例会返回与过滤条件匹配的文档数。如果操作成功,Connectors
任务的 connectorOutputPayload
响应参数的值将类似于以下内容:
{ "results": [ { "count": 5 } ] }
示例 - 删除文档
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
DeleteDocuments
操作,然后点击完成。 - 在连接器任务的任务输入部分,点击
connectorInputPayload
,然后在Default Value
字段中输入以下内容:{ "collection": "Insurancedocuments", "filter": "{\"insurance.provider\":\"ABC\"}"}
此示例会删除保险服务提供商为 ABC
的所有文档。
示例 - 查找集合中的唯一值
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
DistinctValues
操作,然后点击完成。 - 在连接器任务的任务输入部分中,点击
connectorInputPayload
,然后在Default Value
字段中输入类似于以下内容的值:{"collection":"restaurants","field":"contact"}
此示例会返回 restaurants
集合中的不同值。如果操作成功,Connectors
任务的 connectorOutputPayload
响应参数的值将类似于以下内容:
{ "results": [ { "DistinctValues": [ "3217902323", "8747479023", "3492619023" ] } ] }
示例 - 插入文档
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
InsertDocument
操作,然后点击完成。 - 在连接器任务的任务输入部分中,点击
connectorInputPayload
,然后在Default Value
字段中输入类似于以下内容的值:{ { "collection": "Insurancedocuments", "document": "{\"fname\":\"firstName\", \"lname\":\"lastName\", \"passportId\":\"ABCD1234\", \"bloodType\":\"A\", \"medicalRecords\":[{\"item\":\"name1\"},{\"item\":\"name2\"}], \"insurance\":{\"policyNumber\":\"12345\",\"provider\":\"provider2\"}}" } }
此示例会在 Insurancedocuments
集合中插入文档。
文档的内容在 document
字段中指定。如果插入成功,您将在 Connectors
任务的 connectorOutputPayload
响应参数中获取插入文档的 ID。
示例 - 列出文档
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
ListDocuments
操作,然后点击完成。 - 在连接器任务的任务输入部分中,点击
connectorInputPayload
,然后在Default Value
字段中输入类似于以下内容的值:{ "collection": "Insurancedocuments", "filter": "{\"insurance.provider\":\"ABC\"}", "page_size": 10 }
此示例会返回 Insurancedocuments
集合中保险服务提供商为 ABC
的文档。结果集的页面大小设为 10,您可以在 Connectors
任务的 connectorOutputPayload
响应参数中以 JSON 格式查看文件列表。
示例 - 更新文档
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
UpdateDocuments
操作,然后点击完成。 - 在连接器任务的任务输入部分中,点击
connectorInputPayload
,然后在Default Value
字段中输入类似于以下内容的值:{"collection":"Insurancedocuments", "values":" {$set: { lname:\"Smith\" }}", "filter":"{\"insurance.provider\":\"ABC\"}"}
此示例会将与过滤条件匹配的文档中的姓氏更新为 Smith
。如果更新成功,您将会收到更新的文档数量。Connectors
任务的 connectorOutputPayload
响应参数中会提供响应。
示例 - 更新加密文档
- 在
Configure connector task
对话框中,点击Actions
。 - 选择
UpdateDocumentsWithEncryption
操作,然后点击完成。 - 在连接器任务的任务输入部分,点击
connectorInputPayload
,然后在Default Value
字段中输入以下内容:{ {"collection":"Insurancedocuments", "document":" { \"insurance.provider\":\"XYZ\" }", "filter":"{\"insurance.provider\":\"ABC\"}"}
在本示例中,系统会将保险公司为 ABC
的所有文档中的保险公司更新为 XYZ
。
使用 Terraform 创建连接
您可以使用 Terraform 资源创建新的连接。如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令。
如需查看用于创建连接的 Terraform 模板示例,请参阅模板示例。
使用 Terraform 创建此连接时,您必须在 Terraform 配置文件中设置以下变量:
参数名称 | 数据类型 | 必需 | 说明 |
---|---|---|---|
数据库 | STRING | True | MongoDB 数据库的名称。 |
超时 | INTEGER | False | 连接超时(以秒为单位)。 |
enable_ssl | BOOLEAN | False | 此字段用于设置是否已启用 SSL。 |
app_name | STRING | False | MongoDB 的自定义应用名称。 |
max_staleness_seconds | INTEGER | False | 在客户端停止使用辅助副本进行读取操作之前,辅助副本可以过时多久(以秒为单位)。 |
write_concern | STRING | False | 用于请求确认写入操作已传播到指定数量的具有指定标记的实例的选项。 |
write_concern_timeout | INTEGER | False | 指定写入事务的超时时间(以毫秒为单位)。 |
write_concern_journal | BOOLEAN | False | 请求 MongoDB 确认写入操作已写入日志。 |
read_preference | ENUM | False | 读取此连接的偏好设置。支持的值包括:primary、primaryPreferred、secondary、secondaryPreferred、nearest |
cluster_type | ENUM | False | 指定 MongoDB 集群的类型。支持的值包括:REPLICA_SET、STANDALONE、SHARDED、UNKNOWN |
enable_encryption | BOOLEAN | False | 此字段用于设置是否已启用加密功能。 |
encryption_type | ENUM | False | 此字段用于设置启用的加密类型。支持的值包括:local |
encryption_schema | STRING | False | 加密架构信息,包括所用字段和加密算法。 |
encryption_master_key | SECRET | False | 包含加密主密钥的 Secret Manager Secret。 |
encryption_key_vault | STRING | False | 加密密钥保险柜值。 |
auth_database | STRING | True | 用于身份验证的 MongoDB 数据库的名称。 |
在集成中使用 MongoDB 连接
创建连接后,该连接将在 Apigee Integration 和 Application Integration 中可用。您可以通过连接器任务在集成中使用该连接。
- 如需了解如何在 Apigee Integration 中创建和使用连接器任务,请参阅连接器任务。
- 如需了解如何在 Application Integration 中创建和使用连接器任务,请参阅连接器任务。