管理连接

本页面介绍如何在 Cloud Data Fusion 6.5 版及更高版本中创建和管理连接。连接可存储连接到数据源所需的敏感数据,例如用户凭据和主机信息。

Cloud Data Fusion 6.5 版通过以下方式改善了连接体验:

  • 允许管理员流水线 StudioWranglerNamespace Admin 页面创建、复制、导入、导出、删除连接。
  • 允许开发者在其数据流水线中使用和重复使用其管理员创建的连接。

在 Cloud Data Fusion 6.5 之前的版本中,您可以在创建流水线时创建连接。数据科学家和 ETL 开发者每次创建流水线时都会提供凭据(例如连接 IP、端口和密码)。在 6.5 版及更高版本中,管理员可以改为创建和管理 Cloud Data Fusion 流水线的连接,而开发者可以使用这些连接,而无需提供凭据。

准备工作

创建升级 Cloud Data Fusion 实例,以升级到 6.5 版或更高版本。

您需要 Cloud Data Fusion Admin 角色

创建连接

如果您是 Admin,请按照以下步骤创建您的团队可在其流水线中使用的可重复使用的连接。

  1. 在 Cloud Data Fusion 界面中,点击左上角的菜单图标

  2. 在菜单的底部,点击 Namespace Admin

  3. 点击连接标签页。

  4. 点击添加连接

  5. 点击要创建的连接类型。例如,GCS

  6. 配置连接属性。

  7. 点击测试连接

  8. 看到成功消息后,点击创建

使用三点状菜单,您可以导出或复制您创建的任何连接。

在插件中使用连接

在插件中使用连接时,插件会继承创建连接时配置的所有属性。如需在某个支持的插件中使用连接,请按照以下步骤操作:

  1. 流水线 Studio 中,打开现有流水线。

  2. 来源下方,点击要使用其连接的来源插件。连接仅适用于以下批处理来源插件:

    • BigQuery
    • Cloud Storage
    • Kafka
    • Amazon S3
    • Cloud Spanner
  3. 将指针放在显示的来源节点上,然后点击属性

  4. 使用连接设置为

  5. 点击浏览连接。您可以选择现有连接,也可以新建一个连接。选择连接后,与该连接关联的所有属性将不再出现。连接属性存储在连接中。

  6. 配置其余的插件属性。

  7. 点击验证

  8. 点击对话框右上角的 X 按钮。

  9. 继续在 Pipeline Studio 中创建流水线。

导入连接

如需导入连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 点击导入

  3. 导航到要导入的 JSON 文件。

  4. 输入连接的名称并填写其他属性。

导出连接

如果要与其他团队成员共享连接、将其添加到版本控制或者从开发环境部署到测试环境或生产环境,则导出连接会很有帮助。

如需导出连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到您要导出的连接。

  3. Namespace Admin 页面,点击三个点 并点击导出。Cloud Data Fusion 会将连接属性导出为 JSON 文件。

后续步骤