管理 Dataform 核心软件包

本文档介绍了如何管理 Dataform 核心框架 依赖项软件包,并将其更新到最新版本。

Dataform 核心是适用于应用的开源 Dataform 框架 使用 SQL、SQLX 和 JavaScript 开发 SQL 工作流。最佳做法是 始终使用 Dataform 核心框架的最新可用版本。 如需了解 Dataform 核心框架的版本, 请参阅 GitHub 上的 Dataform 版本

准备工作

  1. 创建代码库
  2. 创建并初始化开发工作区

所需的角色

为了获得管理和更新 Dataform Core 所需的权限, 请让管理员向您授予 以下 IAM 角色:

  • 管理 Dataform 核心软件包的位置: Dataform Admin (roles/dataform.admin) 代码库
  • 更新 Dataform 核心软件包: Dataform Editor (roles/dataform.editor) 工作区

如需详细了解如何授予角色,请参阅管理访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

管理 Dataform 核心软件包的位置

初始化代码库中的第一个工作区时,Dataform 自动将 Dataform 核心设置为依赖项软件包。 自 Dataform 核心 3.0.0起, Dataform 会将 Dataform 核心软件包安装到 workflow_settings.yaml 文件。在 Dataform 核心,在 package.json 文件。

在 Dataform 核心 3.0.0 及更高版本中,如果 Dataform 核心是 代码库,那么您应该在 workflow_settings.yaml 文件。对于使用之前的命令创建的代码库 Dataform Core 版本, 将 Dataform 核心软件包移至 workflow_settings.yaml

package.json 文件 需要在 Dataform 中安装其他软件包。 如果您的代码库使用其他软件包,请将 Dataform 核心软件包位于 package.json 中,因此所有软件包 在一个地方进行设置如果您的代码库没有 package.json创建 package.json 并移动 Dataform 核心软件包 以安装其他软件包。

将 Dataform 核心移至 workflow_settings.yaml

对于使用早于以下日期的 Dataform Core 版本创建的代码库: 3.0.0,如果您没有除 Dataform Core 之外的依赖项软件包, 那么您应该将 Dataform 核心软件包 从 package.json 更改为 workflow_settings.yaml,并将冗余副本 package.json 文件。

如需将 Dataform 核心软件包从 package.json 迁移到 workflow_settings.yaml 时,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Dataform 页面。

    转到 Dataform 页面

  2. 选择一个代码库,然后选择一个工作区。

  3. Files 窗格中,选择 workflow_settings.yaml 文件。

  4. workflow_settings.yaml 文件中,添加 Dataform 核心 文件包,格式如下:

    dataformCoreVersion: "VERSION"
    
    

    VERSION 替换为最新版本的 Dataform。 例如 3.0.0

  5. Files 窗格中,点击 package.json 旁边的 More 菜单。 然后点击删除

  6. 如需确认删除 dataform.json,请点击删除

  7. 点击安装软件包

将 Dataform 核心移至 package.json

需要 package.json 文件才能 在代码库中安装其他软件包。 如果您的代码库使用了其他软件包,那么您应存储所有软件包, 包括 Dataform 核心软件包,位于 package.json 中。

如果您的代码库不包含 package.json 文件,因为 Dataform 核心软件包在 workflow_settings.yaml 文件,您必须创建 package.json 安装其他软件包,然后将 Dataform 核心移至 将软件包从 workflow_settings.yaml 复制到新创建的 package.json

如需创建 package.json 文件并将 Dataform 核心软件包,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Dataform 页面。

    转到 Dataform 页面

  2. 选择一个代码库,然后选择一个工作区。

  3. 文件窗格中,点击 addAdd, 然后点击创建文件

  4. 添加文件路径字段中,输入 package.json

  5. 点击创建文件

  6. package.json 文件中,添加 Dataform 核心 文件包,格式如下:

    {
        "dependencies": {
            "@dataform/core": "VERSION"
        }
    }
    

    VERSION 替换为最新版本的 Dataform。 例如 3.0.0

  7. 点击安装软件包

  8. Files 窗格中,选择 workflow_settings.yaml

  9. workflow_settings.yaml 文件中,删除 dataformCoreVersion 属性。

更新 Dataform 核心

请务必先在非生产环境中测试新的软件包版本,然后再 部署到生产环境中。

如需更新 Dataform 核心依赖项软件包,请按以下步骤操作:

  1. 请在以下位置查找最新版本的 @dataform/coreGitHub 上的 Dataform 版本页面

  2. 在 Google Cloud 控制台中,前往 Dataform 页面。

    转到 Dataform 页面

  3. 选择一个代码库,然后选择一个工作区。

  4. Files 窗格中,选择 package.json 文件或 workflow_settings.yaml 文件。

    设置 Dataform 核心依赖项软件包的位置 取决于您的 Dataform 核心版本和软件包的使用情况。 如需了解详情,请参阅 管理 Dataform 核心软件包位置

  5. 将 Dataform 核心依赖项软件包更新为最新版本 版本:

    package.json

    {
        "dependencies": {
            "@dataform/core": "VERSION"
        }
    }
    

    VERSION 替换为最新版本的 Dataform。 例如 3.0.0。为防止软件包安装出现问题, 明确指定 Dataform 核心软件包的版本。 不使用 dependencies 个选项package.json,例如 >version

    1. 点击安装软件包

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"
    

    VERSION 替换为最新版本的 Dataform。 例如 3.0.0

    1. 点击安装软件包
  6. 提交更改

  7. 将更改推送到您的代码库

以下代码示例显示了将 @dataform/core 依赖项更新为 package.json 文件中的 3.0.0 版本:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

后续步骤