Crear entornos de desarrollo
En esta guía de inicio rápido, se explican los pasos para crear entornos de desarrollo individuales en Dataform, de modo que cada desarrollador pueda trabajar en su propio entorno de desarrollo:
- Crea un repositorio de Dataform.
- Otorga acceso a BigQuery mediante Dataform.
Configura anulaciones de compilación de lugares de trabajo.
Configura anulaciones de compilación que Dataform aplicará a todos los lugares de trabajo en tu repositorio para convertirlos en entornos de desarrollo aislados.
Antes de comenzar
- Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Habilita las API de BigQuery and Dataform.
-
En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Habilita las API de BigQuery and Dataform.
Roles obligatorios
Si quieres obtener los permisos necesarios para realizar todas las tareas de este instructivo, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Administrador de Dataform (
roles/dataform.admin
) en repositorios -
Editor de Dataform (
roles/dataform.editor
) en Invocaciones de flujos de trabajo y lugares de trabajo
Si quieres obtener más información para otorgar roles, consulta Administra el acceso.
Es posible que también puedas obtener los permisos necesarios a través de los roles personalizados o de otros roles predefinidos.
Crea un repositorio de Dataform
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
Crear repositorio.En la página Crear repositorio, haz lo siguiente:
En el campo ID del repositorio, ingresa
quickstart-dev
.En la lista Región, selecciona
europe-west4
.Haz clic en Crear.
Haz clic en Listo.
Otorga acceso de Dataform a BigQuery
Para ejecutar flujos de trabajo en BigQuery, la cuenta de servicio de Dataform debe tener los siguientes roles necesarios:
- Editor de datos de BigQuery en proyectos en los que Dataform necesite acceso de lectura y escritura. Por lo general, incluyen el proyecto que aloja tu repositorio de Dataform.
- Visualizador de datos de BigQuery en proyectos en los que Dataform necesita acceso de solo lectura.
- Usuario de trabajo de BigQuery en el proyecto que aloja tu repositorio de Dataform.
Para otorgar estos roles, sigue estos pasos:
En la consola de Google Cloud, ve a la página IAM.
Haz clic en Agregar.
En el campo Principales nuevas, ingresa el ID de tu cuenta de servicio de Dataform.
En la lista desplegable Seleccionar una función, selecciona la función Usuario de trabajo de BigQuery.
Haz clic en Agregar otro rol y, luego, en la lista desplegable Selecciona un rol, selecciona el rol Editor de datos de BigQuery.
Haz clic en Agregar otro rol y, luego, en la lista desplegable Selecciona un rol, elige el rol Visualizador de datos de BigQuery.
Haz clic en Guardar.
Configura anulaciones de compilación de espacios de trabajo
Para crear entornos de desarrollo aislados con anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-dev
.Haz clic en Configuración y, luego, en Editar.
En el panel Anulaciones de compilación de lugares de trabajo, en el campo Sufijo de esquema, ingresa
${workspaceName}
.Cuando actives la ejecución en un lugar de trabajo, Dataform agregará el nombre del lugar de trabajo como sufijo al esquema predeterminado configurado en
dataform.json
. En esta guía de inicio rápido, se usa la configuración predeterminada de Dataform con el esquema predeterminadodataform
.Haz clic en Guardar.
Dataform aplica anulaciones de compilación de lugares de trabajo a todos los lugares de trabajo en tu repositorio.
Con esta configuración, cuando ejecutas un flujo de trabajo de SQL de forma manual en un lugar de trabajo,
Dataform lo ejecuta con anulaciones de compilación de lugares de trabajo.
Como resultado, Dataform ejecuta el flujo de trabajo de SQL en el esquema dataform_workspaceName
en BigQuery, lo que convierte el lugar de trabajo en un entorno de desarrollo aislado.
Por ejemplo, cuando activas la ejecución de forma manual en un lugar de trabajo sasha
, Dataform ejecuta tu flujo de trabajo de SQL en el esquema dataform_sasha
en BigQuery.
Para ejecutar flujos de trabajo de SQL sin anulaciones de compilación de lugares de trabajo, pero conservar las anulaciones de compilación de lugares de trabajo para entornos de desarrollo, puedes crear configuraciones de lanzamiento a fin de configurar otros entornos de ejecución, por ejemplo, staging
y production
.
Limpia
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página.
Borrar conjuntos de datos creados en BigQuery
Para evitar que se apliquen cargos por los recursos de BigQuery, borra los conjuntos de datos que tengan nombres que comiencen en dataform
, por ejemplo, dataform-sasha
.
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y elige un conjunto de datos.
Haz clic en el menú
Acciones y, luego, selecciona Borrar.En el diálogo Borrar conjunto de datos, ingresa
delete
en el campo y, luego, haz clic en Borrar.
Borra el repositorio de Dataform
Crear repositorios de Dataform no genera costos. Sin embargo, si deseas borrar un repositorio y todo su contenido, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Junto a
quickstart-dev
, haz clic en el menú Más de y, luego, selecciona Borrar.- En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar la eliminación.
Para confirmar la acción, haz clic en Borrar.
¿Qué sigue?
Para obtener más información sobre el ciclo de vida del código en Dataform, consulta Introducción al ciclo de vida del código en Dataform.
Si quieres obtener más información sobre las prácticas recomendadas para el ciclo de vida del código en Dataform, consulta Administra el ciclo de vida del código.
Para obtener más información sobre las anulaciones de compilación de lugares de trabajo en Dataform, consulta Crea anulaciones de compilación de lugares de trabajo.
Para aprender a programar ejecuciones de producción en Dataform, consulta Programa ejecuciones de producción.