Crea un repositorio de Dataform

En este documento, se muestra cómo crear un repositorio, configurar y editar la cuenta de servicio del repositorio, y borrar un repositorio en Dataform.

Cuando creas un repositorio de Dataform, debes establecer su siguiente configuración:

ID del repositorio

Es un ID único del repositorio. Los ID solo pueden incluir números, letras, guiones y guiones bajos.

Región

Región de Dataform para almacenar el repositorio y su contenido.

Esta región de almacenamiento puede ser diferente de la región de procesamiento en la que Dataform procesa tu código y almacena el resultado de las ejecuciones. De forma predeterminada, la región de procesamiento se establece en la región predeterminada del conjunto de datos de BigQuery. Puedes editar la región de procesamiento en el archivo dataform.json después de crear el repositorio. Para obtener más información, consulta Establece la configuración de Dataform.

Cuenta de servicio

Cuenta de servicio asociada con el repositorio. Puedes seleccionar la cuenta de servicio predeterminada de Dataform, una cuenta de servicio asociada a tu proyecto de Google Cloud o ingresar manualmente otra cuenta de servicio. De forma predeterminada, Dataform usa una cuenta de servicio derivada de tu número de proyecto en el siguiente formato:

[e-mail]

Dataform usa la cuenta de servicio predeterminada para todas las operaciones del repositorio. Puedes usar una cuenta de servicio diferente para ejecutar flujos de trabajo en tu repositorio, pero la cuenta de servicio predeterminada se sigue usando para todas las demás operaciones del repositorio.

Encriptación

Método de encriptación para el repositorio. Puedes usar la encriptación predeterminada o aplicar una clave de encriptación de Cloud KMS administrada por el cliente. Para obtener más información sobre el uso de claves de encriptación administradas por el cliente (CMEK) en Dataform, consulta Usa claves de encriptación administradas por el cliente.

Después de crear un repositorio, puedes conectarlo a GitHub o GitLab.

Importante: Para crear un repositorio de Dataform conectado a un repositorio de Git remoto que no está en la lista de entidades permitidas de la política dataform.restrictGitRemotes, primero agrega el repositorio de Git remoto a la lista allowedValues de la política y, luego, crea un repositorio de Dataform nuevo y conéctalo al repositorio remoto. Para obtener más información, consulta Restringe los repositorios remotos.

Antes de comenzar

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. Habilita las API de BigQuery and Dataform.

   Habilita las API

5. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

6. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

7. Habilita las API de BigQuery and Dataform.

   Habilita las API

8. Para usar la encriptación con CMEK en el repositorio, habilita la encriptación con CMEK de los repositorios de Dataform.

Importante: Antes de crear un repositorio de Dataform que quieras conectar a un repositorio de Git remoto, verifica si tu organización o proyecto restringe los repositorios de Git remotos con la política de la organización dataform.restrictGitRemotes. Si se implementó la política, asegúrate de que el repositorio remoto esté en la lista de entidades permitidas antes de crear el repositorio de Dataform y conectarlo a él. Para obtener más información, consulta Restringe los repositorios remotos

.

Funciones obligatorias

Si quieres obtener los permisos que necesitas para crear y borrar un repositorio, pídele a tu administrador que te otorgue el rol de IAM Administrador de Dataform (roles/dataform.admin) en los repositorios. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios a través de los roles personalizados o de otros roles predefinidos.

Para usar una cuenta de servicio que no sea la predeterminada de Dataform, otorga acceso a la cuenta de servicio personalizada.

Nota: Una cuenta de servicio personalizada asociada con un repositorio de Dataform solo se usa para ejecutar los flujos de trabajo de ese repositorio. Todas las demás operaciones del repositorio se siguen ejecutando con la cuenta de servicio predeterminada de Dataform.

Crear un repositorio

Para crear un repositorio de Dataform, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en Crear repositorio.

3. En la página Crear repositorio, en el campo ID del repositorio, ingresa un ID único.

   Los IDs solo pueden incluir números, letras, guiones y guiones bajos.

4. En la lista desplegable Región, selecciona una región de Dataform para almacenar el repositorio y su contenido. Selecciona la región de Dataform más cercana a tu ubicación.

   Para obtener una lista de las regiones de Dataform disponibles, consulta Ubicaciones. La región del repositorio no tiene que coincidir con la ubicación de tus conjuntos de datos de BigQuery.

   En el archivo dataform.json, puedes establecer la región de procesamiento en la que Dataform procesa tu código y almacena el resultado de las ejecuciones. La región de procesamiento debe coincidir con la ubicación de tus conjuntos de datos de BigQuery, pero no es necesario que coincida con la región del repositorio. Para obtener más información, consulta Establece la configuración de Dataform.

5. En el menú desplegable Cuenta de servicio, selecciona una cuenta de servicio para el repositorio.

   En el menú desplegable, puedes seleccionar la cuenta de servicio predeterminada de Dataform o cualquier cuenta de servicio asociada con el proyecto de Google Cloud al que tengas acceso. Ten en cuenta que las cuentas de servicio personalizadas se usan solo para la ejecución del flujo de trabajo. La cuenta de servicio predeterminada de Dataform sigue realizando las demás operaciones del repositorio.

   1. Opcional: Para seleccionar una cuenta de servicio que no se muestre en el menú desplegable, haz clic en Ingresar manualmente y, luego, ingresa un ID de cuenta de servicio.

6. En la sección Encriptación, selecciona el método de encriptación para el repositorio.

   1. Para usar la encriptación predeterminada, selecciona la opción Clave de encriptación administrada por Google.

   2. Para usar CMEK, selecciona la opción Claves de encriptación administradas por el cliente (CMEK).

      1. En el menú desplegable Selecciona una clave administrada por el cliente, selecciona una clave CMEK para el repositorio.
   Nota: No puedes cambiar el mecanismo de encriptación de un repositorio de Dataform después de crearlo.

   Para obtener más información, consulta Restricciones de CMEK de Dataform.

7. Haz clic en Crear y, luego, en Listo.

Edita la cuenta de servicio

Puedes asociar una cuenta de servicio personalizada con un repositorio de Dataform para la ejecución del flujo de trabajo. Todas las demás operaciones del repositorio se ejecutan a través de la cuenta de servicio predeterminada de Dataform.

Para editar la cuenta de servicio de un repositorio de Dataform, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Dataform.

   Ir a Dataform

2. Selecciona un repositorio y haz clic en Configuración.

3. En el campo Cuenta de servicio, haz clic en Editar cuenta de servicio.

4. En el menú desplegable Cuenta de servicio, selecciona una cuenta de servicio para el repositorio.

   En el menú desplegable, puedes seleccionar la cuenta de servicio predeterminada de Dataform o cualquier cuenta de servicio asociada con el proyecto de Google Cloud al que tengas acceso.

   1. Opcional: Para seleccionar una cuenta de servicio que no se muestre en el menú desplegable, haz clic en Ingresar manualmente y, luego, ingresa un ID de cuenta de servicio.

5. Haz clic en Guardar.

Borra un repositorio

Sigue estos pasos para borrar un repositorio y todo su contenido:

1. En la consola de Google Cloud, ve a la página Dataform.

   Ir a Dataform

2. Junto al repositorio que deseas borrar, haz clic en el menú Más y, luego, selecciona Borrar.

3. En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar su eliminación.

4. Haz clic en Borrar.

¿Qué sigue?

• Para obtener información sobre cómo definir la configuración de procesamiento de Dataform, consulta Establece la configuración de Dataform.

• Si quieres obtener información para vincular un repositorio de Dataform a un proveedor de Git de terceros, consulta Conéctate a un repositorio de Git de terceros.

• Para obtener información sobre el uso de CMEK en Dataform, consulta Usa claves de encriptación administradas por el cliente.

• Si quieres obtener información para crear un lugar de trabajo de desarrollo, consulta Crea un lugar de trabajo.