Administra el paquete principal de Dataform

En este documento, se muestra cómo administrar el framework principal de Dataform. de dependencias y actualízalo a la versión más reciente.

Dataform Core es el framework de código abierto de Dataform para desarrollando flujos de trabajo de SQL con SQL, SQLX y JavaScript. Como práctica recomendada, usa siempre la versión más reciente disponible del framework principal de Dataform. Para obtener información sobre las versiones del framework principal de Dataform, consulta Versiones de Dataform en GitHub.

Antes de comenzar

  1. Crea un repositorio.
  2. Crea e inicializa un lugar de trabajo de desarrollo.

Roles obligatorios

A fin de obtener los permisos que necesitas para administrar y actualizar el núcleo de Dataform, haz lo siguiente: solicita a tu administrador que te otorgue el los siguientes roles de IAM:

  • Administra la ubicación del paquete principal de Dataform: Administrador de Dataform (roles/dataform.admin) en repositorios
  • Actualiza el paquete principal de Dataform: Editor de Dataform (roles/dataform.editor) en los lugares de trabajo

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Administra la ubicación del paquete principal de Dataform

Cuando inicializas el primer lugar de trabajo en un repositorio, Dataform establece automáticamente el núcleo de Dataform como paquete de dependencia. A partir del núcleo de Dataform 3.0.0, Dataform instala el paquete principal de Dataform en la workflow_settings.yaml de forma predeterminada. En versiones anteriores de Dataform Core, el núcleo de Dataform se estableció en el archivo package.json.

En el núcleo de Dataform 3.0.0 y versiones posteriores, si el núcleo de Dataform es el solo en tu repositorio, deberías configurarlo en el archivo workflow_settings.yaml. Para los repositorios creados con valores anteriores de Dataform Core, mover el paquete principal de Dataform a workflow_settings.yaml

El archivo package.json tiene para instalar paquetes adicionales en Dataform. Si tu repositorio usa paquetes adicionales, configura los Paquete principal de Dataform en package.json para que todos los paquetes están organizadas en un solo lugar. Si tu repositorio no tiene package.json, Crea package.json y mueve el paquete principal de Dataform. instalar paquetes adicionales.

Traslada el núcleo de Dataform a workflow_settings.yaml

Para repositorios creados con versiones del núcleo de Dataform anteriores a 3.0.0, si no tienes paquetes de dependencia que no sean el núcleo de Dataform, deberías mover el paquete principal de Dataform. de package.json a workflow_settings.yaml y borra la parte redundante package.json archivo.

Para migrar el paquete principal de Dataform de package.json a workflow_settings.yaml, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a la página de Dataform

  2. Selecciona un repositorio y, luego, un lugar de trabajo.

  3. En el panel Files, selecciona el archivo workflow_settings.yaml.

  4. En el archivo workflow_settings.yaml, agrega el núcleo de Dataform. paquete en el siguiente formato:

    dataformCoreVersion: "VERSION"

    Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo, 3.0.0.

  5. En el panel Archivos, haz clic en el menú Más junto a package.json. y, luego, haz clic en Borrar.

  6. Para confirmar la eliminación de dataform.json, haz clic en Borrar.

  7. Haz clic en Install packages.

Traslada el núcleo de Dataform a package.json

El archivo package.json es necesario para instalar paquetes adicionales en un repositorio. Si tu repositorio usa paquetes adicionales, deberías almacenar todos los paquetes incluido el paquete principal de Dataform, en package.json.

Si tu repositorio no contiene el archivo package.json porque el El paquete principal de Dataform se establece en workflow_settings.yaml, debes crear la package.json para instalar paquetes adicionales y, luego, mueve el directorio principal de Dataform de workflow_settings.yaml al package.json recién creado.

Para crear el archivo package.json y mover Sigue estos pasos en el paquete principal de Dataform:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a la página de Dataform

  2. Selecciona un repositorio y, luego, un lugar de trabajo.

  3. En el panel Archivos, haz clic en addAdd, Luego, haz clic en Crear archivo.

  4. En el campo Add a file path, ingresa package.json.

  5. Haz clic en Crear archivo.

  6. En el archivo package.json, agrega el núcleo de Dataform. paquete en el siguiente formato:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo, 3.0.0.

  7. Haz clic en Install packages.

  8. En el panel Files, selecciona workflow_settings.yaml.

  9. En el archivo workflow_settings.yaml, borra la propiedad dataformCoreVersion.

Actualizar núcleo de Dataform

Siempre prueba las versiones nuevas de los paquetes en un entorno que no sea de producción antes para implementarlo en tu entorno de producción.

Para actualizar el paquete de dependencia principal de Dataform, sigue estos pasos:

  1. Busca la versión más reciente de @dataform/core en la Página de versiones de Dataform en GitHub.

  2. En la consola de Google Cloud, ve a la página Dataform.

    Ir a la página de Dataform

  3. Selecciona un repositorio y, luego, un lugar de trabajo.

  4. En el panel Files, selecciona el archivo package.json o la workflow_settings.yaml.

    Es la ubicación en la que se establece el paquete de dependencia principal de Dataform. depende de tu versión del núcleo de Dataform y del uso de paquetes. Para obtener más información, consulta Administra la ubicación del paquete principal de Dataform.

  5. Actualiza el paquete de dependencia principal de Dataform con la versión más reciente versión:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo, 3.0.0. Para evitar problemas con la instalación de paquetes, especifica de forma explícita la versión del paquete principal de Dataform. No utilices Opciones de dependencies de package.json, por ejemplo, >version.

    1. Haz clic en Install packages.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Reemplaza VERSION por la versión más reciente de Dataform. por ejemplo, 3.0.0.

    1. Haz clic en Install packages.

  6. Confirma los cambios.

  7. Envía cambios a tu repositorio.

En la siguiente muestra de código, se observa la dependencia @dataform/core actualizada a La versión de 3.0.0 en el archivo package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

¿Qué sigue?