管理连接

本页面介绍如何在 Cloud Data Fusion 6.5 及更高版本中创建和管理连接。

为了连接到数据源和接收器,连接会存储敏感数据,例如用户凭据和主机信息。您可以创建和管理 ETL 开发者、数据分析师和数据工程师可在 Wrangler 和数据流水线中重复使用的连接。

在 6.5 版及更高版本中,管理员可以创建和管理数据流水线的连接,开发者可以使用这些连接,而无需提供凭据。

如需详细了解支持的连接,请参阅连接参考

您可以在 Cloud Data Fusion 界面中管理每个命名空间的连接:

  • 命名空间管理员页面中,您可以添加、修改、删除、复制、导出和导入每个命名空间的连接。

  • 您可以通过 Wrangler 页面添加、修改、删除、复制和导出每个命名空间的连接。

  • Studio 页面中,您可以为每个命名空间的受支持插件添加和导入连接。

准备工作

创建连接

  1. 在 Cloud Data Fusion 网页界面中,点击 菜单 > 命名空间管理员 > 连接

  2. 点击添加连接

  3. 点击要创建的连接类型,例如 BigQuery

  4. 配置连接属性。

  5. 点击测试连接

  6. 看到成功消息后,点击创建

  7. 可选:如需导出或复制连接,请点击 更多并按照提示操作。

在插件中使用连接

当您在插件中使用连接时,插件会继承您在上一步中配置的连接属性。

如需在某个受支持的插件中使用连接,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中,在 Studio 页面上打开流水线。

  2. 来源下方,点击要使用其连接的来源插件。连接仅适用于以下批处理来源插件:

    • Amazon S3
    • BigQuery
    • Spanner
    • Cloud Storage
    • Cloud SQL for MySQL
    • Cloud SQL for PostgreSQL
    • 数据库
    • Kafka
    • Microsoft SQL Server
    • MySQL
    • Oracle
    • PostgreSQL
    • Salesforce
    • SAP Ariba
    • SAP BW Open Hub Batch Source
    • SAP ODP
    • Zendesk
  3. 将指针放在显示的来源节点上,然后点击属性

  4. 使用连接设置为

  5. 点击浏览连接。您可以选择现有连接,也可以新建一个连接。选择连接后,与该连接关联的所有属性将不再出现。连接属性存储在连接中。

  6. 配置其余的插件属性。

  7. 点击验证

  8. 点击 关闭

添加连接

在添加与数据库源的连接之前,您必须将 JDBC 驱动程序上传到 Cloud Data Fusion。您可以从 Hub 或命名空间管理员页面上传驱动程序。

要添加连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 点击添加连接

  3. 添加连接页面中,点击您要创建的连接类型。

  4. 配置连接属性。

  5. 最佳做法是,点击测试连接,确保连接正常。

  6. 点击创建

    连接会显示在 Connection Type 字段中,可供命名空间中的所有用户使用。该连接可在 Wrangler 页面和 Studio 页面上的相应插件属性中使用。

修改连接

要修改连接属性,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到您要修改的连接。

  3. 依次点击 更多修改

    您可以修改连接属性并测试连接。

  4. 点击保存

复制连接

如需复制连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到要复制的连接。

  3. 点击 更多,然后点击复制

    Cloud Data Fusion 会创建与原始连接中的属性的新连接。

  4. 输入连接的名称。

  5. 可选:修改连接属性。

  6. 点击测试连接并解决所有错误。

  7. 点击创建

    该连接可在 Wrangler 页面以及 Studio 页面上的相应来源插件属性中使用。

导入连接

如需导入连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 点击导入,然后找到要导入 Cloud Data Fusion 的 JSON 文件。

  3. 修改连接名称和任何其他属性。

导出连接

导出连接后,您可以将其与团队中的其他人共享,将其添加到版本控制中,或将其部署到其他环境(例如测试或生产环境)。

如需导出连接,请按以下步骤操作:

  1. Namespace Admin 页面,点击连接

  2. 找到要导出的连接。

  3. 命名空间管理员页面中,点击 更多,然后点击导出

    Cloud Data Fusion 会将连接属性导出为 JSON 文件。

删除连接

要删除关联,请按以下步骤操作:

  1. 命名空间管理员页面中,点击连接

  2. 找到您要删除的连接。

  3. 命名空间管理员页面中,点击 更多,然后点击删除

    Cloud Data Fusion 会删除连接,它无法再使用。

后续步骤