Crear un espacio de trabajo de desarrollo

Este documento le ayudará a hacer lo siguiente:

Información general sobre los espacios de trabajo de desarrollo

En Dataform, interactúas con el código de tu flujo de trabajo en un espacio de trabajo de desarrollo, que es tu propia copia editable de un repositorio. En un espacio de trabajo, puedes crear, editar o eliminar el contenido del repositorio sin afectar a otros usuarios que trabajen en el mismo repositorio. Después, puedes confirmar y enviar tus cambios al repositorio.

Puedes desarrollar tu flujo de trabajo con Dataform Core o JavaScript. Dataform compila tu código en consultas SQL en tiempo real.

En un espacio de trabajo de desarrollo, puedes realizar las siguientes tareas:

Componentes de un espacio de trabajo de desarrollo

Un espacio de trabajo de desarrollo de Dataform consta de las pestañas que se describen en las siguientes secciones.

Pestaña Código

Puedes usar el entorno de desarrollo de la pestaña Código para explorar archivos, desarrollar consultas, controlar las versiones de tus cambios y activar la ejecución en BigQuery. La pestaña contiene los siguientes componentes, que te permiten desarrollar flujos de trabajo:

  • Panel Archivos: muestra la estructura de archivos de tu espacio de trabajo y guarda automáticamente los cambios que hagas en ella. Los archivos seleccionados se abren en las pestañas del panel de desarrollo. En el campo Escribe para buscar, puedes buscar archivos o directorios de tu espacio de trabajo por su ruta.
  • Panel Control de versiones: muestra el estado del control de versiones de tu espacio de trabajo y las opciones de control de versiones.
  • Panel Desarrollo: muestra los archivos abiertos en pestañas. Guarda automáticamente los cambios en los archivos editados.
  • Botón Ejecutar: ejecuta una vista previa de la consulta de SQL compilada.
  • Botón Formato: da formato al código principal de Dataform o al código JavaScript.
  • Estado de compilación: muestra el estado de compilación del código de tu espacio de trabajo.
  • Panel Metadatos: muestra los metadatos del archivo editado.
  • Panel Consultas compiladas: compila las consultas del archivo editado en SQL. Si la compilación de la consulta falla, el panel muestra los errores de compilación. Si la compilación de la consulta se realiza correctamente, en el panel se muestran las consultas compiladas y se validan mediante pruebas sin ejecución en BigQuery. Si no se puede validar la consulta, el panel muestra los errores de validación. Si la validación de la consulta se realiza correctamente, el panel muestra cuántos bytes usaría la ejecución de las consultas en BigQuery.
  • Menú Iniciar ejecución: muestra las opciones para activar la ejecución de todo el flujo de trabajo de tu espacio de trabajo o de los elementos seleccionados.

Pestaña Gráfico compilado

En la pestaña Gráfico compilado, puedes ver el flujo de trabajo compilado definido en tu espacio de trabajo como un gráfico acíclico dirigido (DAG) interactivo. El gráfico muestra todas las acciones de tu flujo de trabajo y las relaciones entre ellas. Si hay errores de compilación en tu flujo de trabajo, la pestaña mostrará un mensaje de error en lugar del gráfico.

Puedes ampliar y reducir el gráfico, así como usar la navegación mediante arrastrar y soltar.

Puedes filtrar el gráfico por las siguientes propiedades:

  • Nombre
  • Etiqueta
  • Tipo
    • Aserción
    • Declaración
    • Tabla incremental
    • Vista materializada
    • Operaciones
    • Tabla
    • Desconocido
    • Ver

Puedes seleccionar varios filtros a la vez. Dataform los aplica con la condición OR.

Puede hacer clic en una acción del gráfico para ver sus detalles en los siguientes paneles:

  • Panel Metadatos: muestra el nombre completo, el tipo, las dependencias y los elementos dependientes de la acción seleccionada.
  • Panel Consulta: muestra la consulta SQL compilada de la acción seleccionada.

Pestaña Ejecuciones

En esta pestaña se muestran los registros de todas las ejecuciones activadas en el espacio de trabajo. También puedes ver las acciones y sus detalles de una ejecución seleccionada. Para obtener más información, consulta el artículo Monitorizar registros de ejecución.

Control de versiones en un espacio de trabajo

En un espacio de trabajo, interactúas con el repositorio mediante el control de versiones basado en Git. Las modificaciones que hagas en los archivos de tu espacio de trabajo empezarán como cambios locales sin confirmar que puedes confirmar y, después, enviar a tu repositorio para que estén disponibles para todos los usuarios del repositorio.

Si tu repositorio está conectado a un proveedor de Git remoto, puedes enviar los cambios de tu espacio de trabajo a tu rama de desarrollo principal. Selecciona la rama principal cuando conectes tu repositorio al proveedor de Git remoto. En un repositorio de Dataform no conectado, los cambios se envían a la rama predeterminada.

También puedes extraer los cambios del repositorio de Dataform o del repositorio remoto y combinarlos con los cambios locales de tu espacio de trabajo de desarrollo. Para obtener más información sobre el control de versiones en Dataform, consulta el artículo Controlar las versiones del código.

Antes de empezar

Si aún no lo has hecho, crea un repositorio de Dataform.

Roles obligatorios

Para obtener los permisos que necesitas para crear, inicializar y eliminar un espacio de trabajo de desarrollo, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Editor de Dataform (roles/dataform.editor) en los espacios de trabajo. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Crear un espacio de trabajo de desarrollo de Dataform

La primera vez que crees un espacio de trabajo de desarrollo en un repositorio nuevo, Dataform te pedirá que lo inicialices con un conjunto de archivos de configuración necesarios para que Dataform funcione.

Un espacio de trabajo de desarrollo inicializado contiene los siguientes directorios y archivos:

  • definitions/: un directorio para las definiciones de recursos, en el núcleo de Dataform o en JavaScript.

  • includes/: un directorio vacío para secuencias de comandos y variables que puedes reutilizar en todo el repositorio.

  • workflow_settings.yaml: el archivo de configuración predeterminado de Dataform que contiene el ID de proyecto y el esquema de BigQuery para publicar recursos. Google Cloud Puedes anular la configuración predeterminada para adaptarla a tus necesidades, pero no es obligatorio personalizarla para empezar a usar Dataform.

  • package.json: el archivo de configuración de dependencias de Dataform predeterminado con la versión más reciente de @dataform/core. Puedes usar este archivo para importar paquetes.

  • definitions/sample.sqlx: un archivo SQLX de ejemplo para ayudarte a empezar.

Para crear un espacio de desarrollo de Dataform, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Dataform.

    Ir a Dataform

  2. Selecciona el repositorio en el que quieras crear el nuevo espacio de desarrollo.

  3. En la página del repositorio, haz clic en Crear espacio de trabajo de desarrollo.

  4. En la ventana Crear espacio de trabajo de desarrollo, haga lo siguiente:

    1. En el campo ID de espacio de trabajo, introduce un ID único para el espacio de trabajo de desarrollo.

      Los IDs solo pueden incluir números, letras, guiones y guiones bajos.

    2. Haz clic en Crear.

Inicializar el espacio de trabajo en un repositorio de Dataform

Para inicializar un espacio de trabajo de desarrollo de Dataform, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Dataform.

    Ir a Dataform

  2. Selecciona el repositorio en el que quieras inicializar el espacio de trabajo vacío.

  3. En la pestaña Espacios de trabajo de desarrollo, haga clic en el nombre del espacio de trabajo vacío que quiera inicializar.

  4. En la página del espacio de trabajo de desarrollo, haz clic en Inicializar espacio de trabajo.

Eliminar un espacio de trabajo de Dataform

No hay ningún coste asociado a la creación de espacios de trabajo de desarrollo de Dataform. Sin embargo, si quieres eliminar un espacio de trabajo de desarrollo, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Dataform.

    Ir a Dataform

  2. Selecciona el repositorio que contenga el espacio de trabajo que quieras eliminar.

  3. Para evitar que se eliminen los cambios sin confirmar, confirma e inserta los cambios en tu repositorio de Git.

  4. En la pestaña Espacios de trabajo de desarrollo, selecciona el espacio de trabajo de desarrollo que quieras eliminar y, a continuación, haz clic en Eliminar espacios de trabajo seleccionados.

    Puedes eliminar varios espacios de trabajo a la vez.

  5. Para confirmar la acción, haz clic en Eliminar.

Siguientes pasos