Dataform Core es el framework de código abierto de Dataform para desarrollando flujos de trabajo de SQL con SQL, SQLX y JavaScript. Como práctica recomendada, usa siempre la versión más reciente disponible del framework principal de Dataform. Para obtener información sobre las versiones del framework principal de Dataform, consulta Versiones de Dataform en GitHub.
Antes de comenzar
Roles obligatorios
A fin de obtener los permisos que necesitas para administrar y actualizar el núcleo de Dataform, haz lo siguiente: solicita a tu administrador que te otorgue el los siguientes roles de IAM:
-
Administra la ubicación del paquete principal de Dataform:
Administrador de Dataform (
roles/dataform.admin
) en repositorios -
Actualiza el paquete principal de Dataform:
Editor de Dataform (
roles/dataform.editor
) en los lugares de trabajo
Si quieres obtener más información para otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Administra la ubicación del paquete principal de Dataform
Cuando inicializas el primer lugar de trabajo en un repositorio, Dataform
establece automáticamente el núcleo de Dataform como paquete de dependencia.
A partir del núcleo de Dataform 3.0.0
,
Dataform instala el paquete principal de Dataform en la
workflow_settings.yaml
de forma predeterminada. En versiones anteriores de
Dataform Core, el núcleo de Dataform se estableció en
el archivo package.json
.
En el núcleo de Dataform 3.0.0
y versiones posteriores, si el núcleo de Dataform es el
solo en tu repositorio, deberías configurarlo en
el archivo workflow_settings.yaml
. Para los repositorios creados con valores anteriores
de Dataform Core,
mover el paquete principal de Dataform a workflow_settings.yaml
El archivo package.json
tiene
para instalar paquetes adicionales en Dataform.
Si tu repositorio usa paquetes adicionales, configura los
Paquete principal de Dataform en package.json
para que todos los paquetes
están organizadas en un solo lugar. Si tu repositorio no tiene package.json
,
Crea package.json
y mueve el paquete principal de Dataform.
instalar paquetes adicionales.
Traslada el núcleo de Dataform a workflow_settings.yaml
Para repositorios creados con versiones del núcleo de Dataform anteriores a
3.0.0
, si no tienes paquetes de dependencia que no sean el núcleo de Dataform,
deberías mover el paquete principal de Dataform.
de package.json
a workflow_settings.yaml
y borra la parte redundante
package.json
archivo.
Para migrar el paquete principal de Dataform de package.json
a
workflow_settings.yaml
, haz lo siguiente:
En la consola de Google Cloud, ve a la página Dataform.
Selecciona un repositorio y, luego, un lugar de trabajo.
En el panel Files, selecciona el archivo
workflow_settings.yaml
.En el archivo
workflow_settings.yaml
, agrega el núcleo de Dataform. paquete en el siguiente formato:dataformCoreVersion: "VERSION"
Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo,
3.0.0
.En el panel Archivos, haz clic en el menú Más junto a
package.json
. y, luego, haz clic en Borrar.Para confirmar la eliminación de
dataform.json
, haz clic en Borrar.Haz clic en Install packages.
Traslada el núcleo de Dataform a package.json
El archivo package.json
es necesario para
instalar paquetes adicionales en un repositorio.
Si tu repositorio usa paquetes adicionales, deberías almacenar todos los paquetes
incluido el paquete principal de Dataform, en package.json
.
Si tu repositorio no contiene el archivo package.json
porque el
El paquete principal de Dataform se establece en
workflow_settings.yaml
, debes crear la package.json
para instalar paquetes adicionales y, luego, mueve el directorio principal de Dataform
de workflow_settings.yaml
al package.json
recién creado.
Para crear el archivo package.json
y mover
Sigue estos pasos en el paquete principal de Dataform:
En la consola de Google Cloud, ve a la página Dataform.
Selecciona un repositorio y, luego, un lugar de trabajo.
En el panel Archivos, haz clic en addAdd, Luego, haz clic en Crear archivo.
En el campo Add a file path, ingresa
package.json
.Haz clic en Crear archivo.
En el archivo
package.json
, agrega el núcleo de Dataform. paquete en el siguiente formato:{ "dependencies": { "@dataform/core": "VERSION" } }
Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo,
3.0.0
.Haz clic en Install packages.
En el panel Files, selecciona
workflow_settings.yaml
.En el archivo
workflow_settings.yaml
, borra la propiedaddataformCoreVersion
.
Actualizar núcleo de Dataform
Siempre prueba las versiones nuevas de los paquetes en un entorno que no sea de producción antes para implementarlo en tu entorno de producción.
Para actualizar el paquete de dependencia principal de Dataform, sigue estos pasos:
Busca la versión más reciente de
@dataform/core
en la Página de versiones de Dataform en GitHub.En la consola de Google Cloud, ve a la página Dataform.
Selecciona un repositorio y, luego, un lugar de trabajo.
En el panel Files, selecciona el archivo
package.json
o laworkflow_settings.yaml
.Es la ubicación en la que se establece el paquete de dependencia principal de Dataform. depende de tu versión del núcleo de Dataform y del uso de paquetes. Para obtener más información, consulta Administra la ubicación del paquete principal de Dataform.
Actualiza el paquete de dependencia principal de Dataform con la versión más reciente versión:
package.json
{ "dependencies": { "@dataform/core": "VERSION" } }
Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo,
3.0.0
. Para evitar problemas con la instalación de paquetes, especifica de forma explícita la versión del paquete principal de Dataform. No utilices Opciones dedependencies
depackage.json
, por ejemplo,>version
.- Haz clic en Install packages.
workflow_settings.yaml
dataformCoreVersion: "VERSION"
Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo,
3.0.0
.- Haz clic en Install packages.
En la siguiente muestra de código, se observa la dependencia @dataform/core
actualizada a
La versión de 3.0.0
en el archivo package.json
:
{
"dependencies": {
"@dataform/core": "3.0.0"
}
}
¿Qué sigue?
- Para obtener más información sobre el archivo
workflow_settings.yaml
, consulta Establece la configuración de Dataform. - Para aprender a instalar paquetes adicionales, consulta Instala un paquete en Dataform.