Configurar acciones adicionales

En este documento se explica cómo hacer lo siguiente:

Antes de empezar

  1. En la Google Cloud consola, ve a la página Dataform.

    Ir a Dataform

  2. Seleccione o cree un repositorio.

  3. Seleccione o cree un espacio de trabajo de desarrollo.

  4. Crea una tabla.

  5. Define un archivo SQLX de cualquiera de los siguientes tipos:

Roles obligatorios

Para obtener los permisos que necesitas para completar las tareas de este documento, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Editor de Dataform (roles/dataform.editor) en los espacios de trabajo. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Definir una instrucción SQL que se ejecutará antes de crear la tabla

Puedes configurar Dataform para que ejecute una o varias instrucciones SQL antes de crear una tabla seleccionada en BigQuery. Para ejecutar una instrucción SQL antes de que Dataform cree una tabla seleccionada, añade la instrucción al bloque pre_operations del archivo SQLX de definición de tabla.

Para crear una instrucción SQL personalizada que se ejecute antes de que Dataform cree una tabla específica, siga estos pasos:

  1. Ve a tu espacio de desarrollo.
  2. En el panel Archivos, despliega definitions/.
  3. Abre un archivo de definición de tabla SQLX.
  4. Fuera del bloque config, introduce pre_operations { ... }.
  5. Dentro de pre_operations { ... }, añade tu instrucción SQL.
  6. Opcional: Para añadir varias instrucciones, sepáralas con ---.
  7. Opcional: Haz clic en Formato.

En el siguiente código de ejemplo se muestra una instrucción pre_operations que crea una función temporal que se puede usar en la instrucción select:

pre_operations {
  CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64)
    RETURNS FLOAT64
    AS ((x + 4) / y);
}

Define una instrucción SQL que se ejecutará después de crear la tabla.

Puedes configurar Dataform para que ejecute una o varias instrucciones SQL después de crear una tabla seleccionada en BigQuery. Para ejecutar una instrucción SQL después de que Dataform cree una tabla seleccionada, añade la instrucción al bloque post_operations del archivo SQLX de definición de la tabla. Puedes añadir varias instrucciones SQL al bloque post_operations.

Para crear una instrucción SQL personalizada que se ejecute después de que Dataform cree una tabla específica, sigue estos pasos:

  1. Ve a tu espacio de desarrollo.
  2. En el panel Archivos, despliega definitions/.
  3. Abre un archivo de definición de tabla SQLX.
  4. Fuera del bloque config, introduce post_operations { ... }.
  5. Dentro de post_operations { ... }, añade tu instrucción SQL.
  6. Opcional: Haz clic en Formato.

En el siguiente código de ejemplo se muestran instrucciones post_operations que conceden a los grupos acceso a la tabla creada:

  post_operations {
    GRANT `roles/bigquery.dataViewer`
    ON
    TABLE ${self()}
    TO "group:allusers@example.com", "user:otheruser@example.com"
  }

Inhabilitar la creación de tablas

Para evitar que Dataform cree una tabla seleccionada en BigQuery, puedes inhabilitarla en su archivo de definición de tabla SQLX. Dataform mantiene una tabla inhabilitada en el gráfico de dependencias, pero no la compila ni la crea. Esto puede ser útil, por ejemplo, si una tabla falla y no quieres que todo el flujo de trabajo falle mientras solucionas el problema.

Para inhabilitar una tabla, sigue estos pasos:

  1. Ve a tu espacio de desarrollo.
  2. En el panel Archivos, despliega definitions/.
  3. Selecciona un archivo de definición de tabla SQLX.
  4. En el bloque config del archivo, introduzca disabled: true.
  5. Opcional: Haz clic en Formato.

En el siguiente código de ejemplo se muestra una tabla inhabilitada:

config {
  type: "table",
  disabled: true
}

select * from ${ref("source_data")}

Añadir etiquetas de ejecución

En esta sección se muestra cómo añadir etiquetas a los archivos SQLX de Dataform Core para categorizar tu flujo de trabajo.

Para organizar los componentes de tu flujo de trabajo en colecciones, puedes añadir etiquetas personalizadas a los archivos SQLX de los siguientes tipos:

  • table
  • view
  • incremental
  • assertion
  • operations

Durante la ejecución de un flujo de trabajo, puedes ejecutar solo los archivos con una etiqueta seleccionada.

Con Cloud Composer o Workflows junto con Cloud Scheduler, puedes crear una programación que ejecute un flujo de trabajo de Dataform con una etiqueta seleccionada a un intervalo específico.

Añadir una etiqueta

Puedes añadir varias etiquetas a un archivo SQLX.

Para añadir una etiqueta a un archivo SQLX, sigue estos pasos:

  1. Ve a tu espacio de desarrollo.
  2. En el panel Archivos, despliega definitions/.
  3. Selecciona un archivo SQLX.

  4. En el bloque config, añade una etiqueta con el siguiente formato:

    tags: ["CUSTOM_TAG"]

    Sustituye CUSTOM_TAG por tu etiqueta.

  5. Opcional: Para añadir varias etiquetas, sepáralas con comas (,).

  6. Opcional: Haz clic en Formato.

En el siguiente código de ejemplo se muestra la vista user_counts con las etiquetas daily y hourly:

config {
  type: "view",
  name: "user_counts",
  tags: ["daily", "hourly"]
}

Siguientes pasos