Dataform 核心是适用于应用的开源 Dataform 框架 使用 SQL、SQLX 和 JavaScript 开发 SQL 工作流。最佳做法是 始终使用 Dataform 核心框架的最新可用版本。 如需了解 Dataform 核心框架的版本, 请参阅 GitHub 上的 Dataform 版本。
准备工作
所需的角色
为了获得管理和更新 Dataform Core 所需的权限, 请让管理员向您授予 以下 IAM 角色:
-
管理 Dataform 核心软件包的位置:
Dataform Admin (
roles/dataform.admin
) 代码库 -
更新 Dataform 核心软件包:
Dataform Editor (
roles/dataform.editor
) 工作区
如需详细了解如何授予角色,请参阅管理访问权限。
管理 Dataform 核心软件包的位置
初始化代码库中的第一个工作区时,Dataform
自动将 Dataform 核心设置为依赖项软件包。
自 Dataform 核心 3.0.0
起,
Dataform 会将 Dataform 核心软件包安装到
workflow_settings.yaml
文件。在
Dataform 核心,在
package.json
文件。
在 Dataform 核心 3.0.0
及更高版本中,如果 Dataform 核心是
代码库,那么您应该在
workflow_settings.yaml
文件。对于使用之前的命令创建的代码库
Dataform Core 版本,
将 Dataform 核心软件包移至 workflow_settings.yaml
。
package.json
文件
需要在 Dataform 中安装其他软件包。
如果您的代码库使用其他软件包,请将
Dataform 核心软件包位于 package.json
中,因此所有软件包
在一个地方进行设置如果您的代码库没有 package.json
,
创建 package.json
并移动 Dataform 核心软件包
以安装其他软件包。
将 Dataform 核心移至 workflow_settings.yaml
对于使用早于以下日期的 Dataform Core 版本创建的代码库:
3.0.0
,如果您没有除 Dataform Core 之外的依赖项软件包,
那么您应该将 Dataform 核心软件包
从 package.json
更改为 workflow_settings.yaml
,并将冗余副本
package.json
文件。
如需将 Dataform 核心软件包从 package.json
迁移到
workflow_settings.yaml
时,请执行以下操作:
在 Google Cloud 控制台中,前往 Dataform 页面。
选择一个代码库,然后选择一个工作区。
在 Files 窗格中,选择
workflow_settings.yaml
文件。在
workflow_settings.yaml
文件中,添加 Dataform 核心 文件包,格式如下:dataformCoreVersion: "VERSION"
将 VERSION 替换为最新版本的 Dataform。 例如
3.0.0
。在 Files 窗格中,点击
package.json
旁边的 More 菜单。 然后点击删除。如需确认删除
dataform.json
,请点击删除。点击安装软件包。
将 Dataform 核心移至 package.json
需要 package.json
文件才能
在代码库中安装其他软件包。
如果您的代码库使用了其他软件包,那么您应存储所有软件包,
包括 Dataform 核心软件包,位于 package.json
中。
如果您的代码库不包含 package.json
文件,因为
Dataform 核心软件包在
workflow_settings.yaml
文件,您必须创建 package.json
安装其他软件包,然后将 Dataform 核心移至
将软件包从 workflow_settings.yaml
复制到新创建的 package.json
。
如需创建 package.json
文件并将
Dataform 核心软件包,请按以下步骤操作:
在 Google Cloud 控制台中,前往 Dataform 页面。
选择一个代码库,然后选择一个工作区。
在文件窗格中,点击 addAdd, 然后点击创建文件。
在添加文件路径字段中,输入
package.json
。点击创建文件。
在
package.json
文件中,添加 Dataform 核心 文件包,格式如下:{ "dependencies": { "@dataform/core": "VERSION" } }
将 VERSION 替换为最新版本的 Dataform。 例如
3.0.0
。点击安装软件包。
在 Files 窗格中,选择
workflow_settings.yaml
。在
workflow_settings.yaml
文件中,删除dataformCoreVersion
属性。
更新 Dataform 核心
请务必先在非生产环境中测试新的软件包版本,然后再 部署到生产环境中。
如需更新 Dataform 核心依赖项软件包,请按以下步骤操作:
请在以下位置查找最新版本的
@dataform/core
: GitHub 上的 Dataform 版本页面。在 Google Cloud 控制台中,前往 Dataform 页面。
选择一个代码库,然后选择一个工作区。
在 Files 窗格中,选择
package.json
文件或workflow_settings.yaml
文件。设置 Dataform 核心依赖项软件包的位置 取决于您的 Dataform 核心版本和软件包的使用情况。 如需了解详情,请参阅 管理 Dataform 核心软件包位置。
将 Dataform 核心依赖项软件包更新为最新版本 版本:
package.json
{ "dependencies": { "@dataform/core": "VERSION" } }
将 VERSION 替换为最新版本的 Dataform。 例如
3.0.0
。为防止软件包安装出现问题, 明确指定 Dataform 核心软件包的版本。 不使用dependencies
个选项 为package.json
,例如>version
。- 点击安装软件包。
workflow_settings.yaml
dataformCoreVersion: "VERSION"
将 VERSION 替换为最新版本的 Dataform。 例如
3.0.0
。- 点击安装软件包。
提交更改。
以下代码示例显示了将 @dataform/core
依赖项更新为
package.json
文件中的 3.0.0
版本:
{
"dependencies": {
"@dataform/core": "3.0.0"
}
}
后续步骤
- 如需详细了解
workflow_settings.yaml
文件,请参阅 配置 Dataform 设置。 - 如需了解如何安装其他软件包,请参阅 在 Dataform 中安装软件包。