管理连接

本页面介绍如何在 Cloud Data Fusion 6.5 及更高版本中创建和管理连接。

为了连接到数据源和接收器,连接会存储敏感数据,例如用户凭据和主机信息。您可以创建和管理 ETL 开发者、数据分析师和数据工程师可在 Wrangler 和数据流水线中重复使用的连接。

在 6.5 版及更高版本中,管理员可以创建和管理数据流水线的连接,并且开发者无需提供凭据即可使用这些连接。

如需详细了解支持的连接,请参阅连接参考

命名空间管理员页面中,您可以为每个命名空间添加、修改、复制、导入、导出和删除连接。在 Wrangler 中,您可以为每个命名空间添加、修改、复制、导出和删除连接。在 Pipeline Studio 中,您可以为每个命名空间的受支持插件添加和导入连接。

准备工作

  • 创建升级 Cloud Data Fusion 实例,以升级到 6.5 版或更高版本。

  • 您需要 Cloud Data Fusion Admin 角色

创建连接

  1. 在 Cloud Data Fusion 界面中,点击 菜单

  2. 点击命名空间管理员

  3. 点击连接标签页。

  4. 点击添加连接

  5. 点击要创建的连接类型。例如 BigQuery

  6. 配置连接属性。

  7. 点击测试连接

  8. 看到成功消息后,点击创建

  9. 可选:如需导出或复制连接,请点击 更多,然后按照提示进行操作。

在插件中使用连接

在插件中使用连接时,插件会继承创建连接时配置的所有属性。如需在某个支持的插件中使用连接,请按照以下步骤操作:

  1. 流水线 Studio 中,打开现有流水线。

  2. 来源下方,点击要使用其连接的来源插件。连接仅适用于以下批处理来源插件:

    • BigQuery
    • Cloud Storage
    • Kafka
    • Amazon S3
    • Cloud Spanner
  3. 将指针放在显示的来源节点上,然后点击属性

  4. 使用连接设置为

  5. 点击浏览连接。您可以选择现有连接,也可以新建一个连接。选择连接后,与该连接关联的所有属性将不再出现。连接属性存储在连接中。

  6. 配置其余的插件属性。

  7. 点击验证

  8. 点击对话框右上角的 X 按钮。

  9. 继续在 Pipeline Studio 中创建流水线。

添加连接

在为数据库源添加连接之前,必须将 JDBC 驱动程序上传到 Cloud Data Fusion。您可以从 Hub 或命名空间管理员页面上传驱动程序。

如需添加连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 点击 Add Connection(添加连接)。

  3. 添加连接页面中,点击您创建的连接类型。

  4. 配置连接属性。

  5. 最佳做法是点击测试连接,以确保连接正常运行。

  6. 点击创建

    连接会显示在连接类型下方,可供命名空间中的所有用户使用。此连接可在 Wrangler 和 Pipeline Studio 中的相应插件中使用。

修改连接

要修改连接属性,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到您要修改的连接。

  3. 点击 更多,然后点击修改

    您可以修改连接属性并测试连接。

  4. 点击保存

复制连接

如需复制连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到要复制的连接。

  3. 点击 更多,然后点击复制

    Cloud Data Fusion 会使用原始连接中的属性创建新的连接。

  4. 输入连接的名称。

  5. (可选)修改连接属性。

  6. 点击 Test Connection,并解决所有错误。

  7. 点击创建

    此连接可在 Wrangler 和 Pipeline Studio 中的相应源插件中使用。

导入连接

如需导入连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 点击导入,然后导航到要导入到 Cloud Data Fusion 中的 JSON 文件。

  3. 修改连接的名称和任何其他属性。

导出连接

如果要与其他团队成员共享连接,或者将连接添加到版本控制,或从开发环境部署到测试或生产环境,则必须导出连接。

如需导出连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到您要导出的连接。

  3. 命名空间管理员页面中,点击 更多,然后点击导出

    Cloud Data Fusion 会将连接属性导出为 JSON 文件。

删除连接

如需删除连接,请按以下步骤操作:

  1. 命名空间管理员页面中,点击连接

  2. 找到您要删除的连接。

  3. 命名空间管理员页面中,点击 更多,然后点击删除

    Cloud Data Fusion 会删除连接,并且不再可用。

后续步骤