Crear entornos de desarrollo

En esta guía de inicio rápido, se explican los pasos para crear entornos de desarrollo individuales en Dataform, de modo que cada desarrollador pueda trabajar en su propio entorno de desarrollo:

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

    Roles requeridos

    Para obtener los permisos que necesitas para realizar todas las tareas de este instructivo, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

    • Administrador de Dataform (roles/dataform.admin): Repositorios
    • Editor de Dataform (roles/dataform.editor): Espacios de trabajo e invocaciones de flujo de trabajo

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

    Crea un repositorio de Dataform

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en Crear repositorio.

    3. En la página Crear repositorio, haz lo siguiente:

      1. En el campo ID del repositorio, ingresa quickstart-dev.

      2. En la lista Región, selecciona europe-west4.

      3. Haz clic en Crear.

    4. Haz clic en Listo.

    Otorga acceso de Dataform a BigQuery

    Para ejecutar flujos de trabajo en BigQuery, el agente de servicio de Dataform, la cuenta de servicio personalizada o tu Cuenta de Google (vista previa) deben tener los siguientes roles obligatorios:

    Para otorgar estos roles, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página IAM.

      Ve a la página IAM

    2. Haz clic en Agregar.

    3. En el campo Principales nuevas, ingresa el ID del agente de servicio de Dataform, el ID de la cuenta de servicio o la dirección de correo electrónico de la Cuenta de Google (Versión preliminar).

    4. En el menú Seleccionar un rol, selecciona el rol Usuario de trabajo de BigQuery.

    5. Haz clic en Agregar otro rol y, luego, en el menú Selecciona un rol, elige el rol de Editor de datos de BigQuery.

    6. Haz clic en Agregar otro rol y, luego, en el menú Selecciona un rol, elige el rol Visualizador de datos de BigQuery.

    7. Haz clic en Guardar.

    Configura anulaciones de compilación de espacios de trabajo

    Para crear entornos de desarrollo aislados con anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-dev.

    3. Haz clic en Configuración y, luego, en Editar.

    4. En el panel Anulaciones de compilación de lugares de trabajo, en el campo Sufijo de esquema, ingresa ${workspaceName}.

      Cuando activas la ejecución en un lugar de trabajo, Dataform agrega el nombre del lugar de trabajo como sufijo al esquema predeterminado que se establece en la configuración del flujo de trabajo. En esta guía de inicio rápido, se usa la configuración predeterminada de Dataform con el esquema predeterminado dataform.

    5. Haz clic en Guardar.

    Dataform aplica anulaciones de compilación de lugares de trabajo a todos los lugares de trabajo en tu repositorio.

    Con esta configuración, cuando ejecutas manualmente un flujo de trabajo en un espacio de trabajo, Dataform lo ejecuta con anulaciones de compilación de espacios de trabajo. Como resultado, Dataform ejecuta el flujo de trabajo en el esquema dataform_workspaceName en BigQuery, lo que convierte el lugar de trabajo en un entorno de desarrollo aislado.

    Por ejemplo, cuando activas de forma manual la ejecución en un lugar de trabajo sasha, Dataform ejecuta tu flujo de trabajo en el esquema dataform_sasha en BigQuery.

    Para ejecutar flujos de trabajo sin anulaciones de compilación de espacios de trabajo, pero conservar las anulaciones de compilación de espacios de trabajo para entornos de desarrollo, puedes crear parámetros de configuración de lanzamiento para configurar otros entornos de ejecución, por ejemplo, staging y production.

    Limpia

    Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

    Borra los conjuntos de datos creados en BigQuery

    Para evitar que se apliquen cargos por los recursos de BigQuery, borra los conjuntos de datos que tengan nombres que comiencen en dataform, por ejemplo, dataform-sasha.

    1. En la consola de Google Cloud , ve a la página BigQuery.

      Ir a BigQuery

    2. En el panel Explorador, expande tu proyecto y selecciona un conjunto de datos.

    3. Haz clic en el menú Acciones y, luego, selecciona Borrar.

    4. En el cuadro de diálogo Borrar conjunto de datos, ingresa delete en el campo y, luego, haz clic en Borrar.

    Borra el repositorio de Dataform

    Crear repositorios de Dataform no genera costos. Sin embargo, si deseas borrar un repositorio y todo su contenido, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Para las quickstart-dev, haz clic en el menú Más y, luego, selecciona Borrar.

      1. En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar su eliminación.

    3. Para confirmar la acción, haz clic en Borrar.

    ¿Qué sigue?