Administra el paquete principal de Dataform

En este documento, se muestra cómo administrar el paquete de dependencias del framework principal de Dataform y actualizarlo a la versión más reciente.

Dataform core es el framework de código abierto de Dataform para desarrollar flujos de trabajo de SQL con SQL, SQLX y JavaScript. Como práctica recomendada, siempre usa la versión más reciente disponible del framework principal de Dataform. Para obtener información sobre las versiones del framework principal de Dataform, consulta Versiones de Dataform en GitHub.

Antes de comenzar

  1. Crea un repositorio.
  2. Crea e inicializa un espacio de trabajo de desarrollo.

Roles obligatorios

Para obtener los permisos que necesitas para administrar y actualizar el núcleo de Dataform, pídele a tu administrador que te otorgue los siguientes roles de IAM:

  • Administra la ubicación del paquete principal de Dataform: Administrador de Dataform (roles/dataform.admin) en los repositorios
  • Actualiza el paquete principal de Dataform: Editor de Dataform (roles/dataform.editor) en los espacios de trabajo.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Administra la ubicación del paquete principal de Dataform

Cuando inicializas el primer lugar de trabajo en un repositorio, Dataform configura automáticamente Dataform core como un paquete de dependencia. A partir de Dataform core 3.0.0, Dataform instala el paquete principal de Dataform en el archivo workflow_settings.yaml de forma predeterminada. En versiones anteriores de Dataform core, se configuraba en el archivo package.json.

En Dataform core 3.0.0 y versiones posteriores, si Dataform core es el único paquete en tu repositorio, debes configurarlo en el archivo workflow_settings.yaml. En el caso de los repositorios creados con versiones anteriores de Dataform core, mueve el paquete de Dataform core a workflow_settings.yaml.

El archivo package.json es obligatorio para instalar paquetes adicionales en Dataform. Si tu repositorio usa paquetes adicionales, configura el paquete principal de Dataform en package.json para que todos los paquetes se configuren en un solo lugar. Si tu repositorio no tiene package.json, crea package.json y mueve el paquete principal de Dataform para instalar paquetes adicionales.

Se trasladó el núcleo de Dataform a workflow_settings.yaml

En el caso de los repositorios creados con versiones de Dataform core anteriores a 3.0.0, si no tienes paquetes de dependencias que no sean de Dataform core, debes mover el paquete de Dataform core de package.json a workflow_settings.yaml y borrar el archivo package.json redundante.

Para migrar el paquete principal de Dataform de package.json a workflow_settings.yaml, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ve a la página Dataform

  2. Selecciona un repositorio y, luego, un espacio de trabajo.

  3. En el panel Files, selecciona el archivo workflow_settings.yaml.

  4. En el archivo workflow_settings.yaml, agrega el paquete principal de Dataform en el siguiente formato:

    dataformCoreVersion: "VERSION"

    Reemplaza VERSION por la versión más reciente de Dataform, por ejemplo, 3.0.0.

  5. En el panel Archivos, haz clic en el menú Más junto a package.json y, luego, en Borrar.

  6. Para confirmar la eliminación de dataform.json, haz clic en Borrar.

  7. Haz clic en Install packages.

Se trasladó el núcleo de Dataform a package.json

El archivo package.json es necesario para instalar paquetes adicionales en un repositorio. Si tu repositorio usa paquetes adicionales, debes almacenar todos los paquetes, incluido el paquete principal de Dataform, en package.json.

Si tu repositorio no contiene el archivo package.json porque el paquete principal de Dataform está configurado en el archivo workflow_settings.yaml, debes crear el archivo package.json para instalar paquetes adicionales y, luego, mover el paquete principal de Dataform de workflow_settings.yaml al package.json recién creado.

Para crear el archivo package.json y mover el paquete principal de Dataform, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ve a la página Dataform

  2. Selecciona un repositorio y, luego, un espacio de trabajo.

  3. En el panel Files, haz clic en addAdd y, luego, en Create file.

  4. En el campo Agregar una ruta de acceso al archivo, ingresa package.json.

  5. Haz clic en Crear archivo.

  6. En el archivo package.json, agrega el paquete principal de Dataform en el siguiente formato:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Reemplaza VERSION por la versión más reciente de Dataform, por ejemplo, 3.0.0.

  7. Haz clic en Install packages.

  8. En el panel Files, selecciona workflow_settings.yaml.

  9. En el archivo workflow_settings.yaml, borra la propiedad dataformCoreVersion.

Actualiza el núcleo de Dataform

Siempre prueba las versiones nuevas de los paquetes en un entorno que no sea de producción antes de implementarlas en tu entorno de producción.

Para actualizar el paquete de dependencias principales de Dataform, sigue estos pasos:

  1. Busca la versión más reciente de @dataform/core en la página de lanzamientos de Dataform en GitHub.

  2. En la consola de Google Cloud, ve a la página Dataform.

    Ve a la página Dataform

  3. Selecciona un repositorio y, luego, un espacio de trabajo.

  4. En el panel Files, selecciona el archivo package.json o el archivo workflow_settings.yaml.

    La ubicación en la que se establece el paquete de dependencia principal de Dataform depende de la versión de Dataform core y del uso que hagas de los paquetes. Para obtener más información, consulta Cómo administrar la ubicación del paquete principal de Dataform.

  5. Actualiza el paquete de dependencia principal de Dataform con la versión más reciente:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Reemplaza VERSION por la versión más reciente de Dataform, por ejemplo, 3.0.0. Para evitar problemas con la instalación de paquetes, especifica de forma explícita la versión del paquete principal de Dataform. No uses otras opciones dependencies de package.json, por ejemplo, >version.

    1. Haz clic en Install packages.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Reemplaza VERSION por la versión más reciente de Dataform, por ejemplo, 3.0.0.

    1. Haz clic en Install packages.

  6. Confirma los cambios.

  7. Envía los cambios a tu repositorio.

En la siguiente muestra de código, se muestra la dependencia @dataform/core actualizada a la versión 3.0.0 en el archivo package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

¿Qué sigue?