En este documento, se muestra cómo conectar un repositorio remoto a un repositorio de Dataform. Después de conectar los repositorios, los cambios que realices en un lugar de trabajo de desarrollo de Dataform se pueden enviar al repositorio remoto de Git y extraerse de él.
Puedes conectar un repositorio remoto a través de HTTPS o SSH.
En la siguiente tabla, se enumeran los proveedores de Git compatibles y los métodos de conexión disponibles para sus repositorios:
Proveedor de Git | Método de conexión |
---|---|
Servicios de Azure DevOps | SSH |
Bitbucket | SSH |
GitHub | SSH o HTTPS |
GitLab | SSH o HTTPS |
Antes de comenzar
- Si tu organización o proyecto restringe los repositorios de Git remotos con la Política de la organización de
dataform.restrictGitRemotes
, asegúrate de que el repositorio de Git remoto se agregue a la lista de entidades permitidas en la política antes de crear un repositorio de Dataform que quieras conectar a un repositorio remoto. Para obtener más información, consulta Cómo restringir repositorios remotos. - Selecciona o crea un repositorio de Dataform. La necesitarás más adelante para compartir un secreto con tu cuenta de servicio predeterminada de Dataform.
Roles obligatorios
Para obtener los permisos que necesitas para conectar un repositorio de Dataform a un repositorio de Git remoto,
pídele a tu administrador que te otorgue el rol de IAM de
Administrador de Dataform (roles/dataform.admin
) en los repositorios.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Cómo conectar un repositorio remoto a través de SSH
Para conectar un repositorio remoto a través de SSH, debes generar una clave SSH y un secreto de Secret Manager. La clave SSH consta de una clave SSH pública y una clave SSH privada. Debes compartir la clave SSH pública con tu proveedor de Git y crear un secreto de Secret Manager con la clave SSH privada. Luego, comparte el secreto con tu cuenta de servicio predeterminada de Dataform.
Dataform usa el secreto con la clave SSH privada para acceder a tu proveedor de Git y confirmar los cambios en nombre de los desarrolladores. Dataform realiza estas confirmaciones con la dirección de correo electrónico Google Cloud del desarrollador para que puedas saber quién realizó cada confirmación.
Para conectar un repositorio remoto a un repositorio de Dataform a través de SSH, sigue estos pasos:
En tu proveedor de Git, haz lo siguiente:
Servicios de Azure DevOps
- En Azure DevOps Services, crea una clave privada de SSH.
- Sube la clave SSH pública a tu repositorio de Azure DevOps Services.
Bitbucket
- En Bitbucket, crea una clave privada de SSH.
- Sube la clave SSH pública a tu repositorio de Bitbucket.
GitHub
- En GitHub, crea una clave SSH privada.
- Sube la clave SSH pública de GitHub a tu repositorio de GitHub.
GitLab
- En GitLab, crea una clave privada SSH.
- Sube la clave SSH pública de GitLab a tu repositorio de GitLab.
En el Administrador de secretos, crea un secreto y establece tu clave privada SSH como el valor secreto.
Otorga acceso al Secret a tu cuenta de servicio predeterminada de Dataform.
Tu cuenta de servicio de Dataform predeterminada tiene el siguiente formato:
service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
Otorga el rol
roles/secretmanager.secretAccessor
a la cuenta de servicio.
En la consola de Google Cloud, ve a la página Dataform.
Selecciona el repositorio de Dataform que deseas conectar al repositorio remoto.
En la página del repositorio, haz clic en Configuración > Conectar con Git.
En el panel Link to remote repository, en el campo Remote Git repository URL, ingresa la URL del repositorio de Git remoto, que finaliza con
.git
.La URL del repositorio de Git remoto debe tener uno de los siguientes formatos:
- URL absoluta:
ssh://git@{host_name}[:{port}]/{repository_path}
,port
es opcional. - URL similar a SCP:
git@{host_name}:{repository_path}
.
- URL absoluta:
En el campo Nombre de rama remota predeterminada, ingresa el nombre de la rama de desarrollo principal del repositorio remoto de Git.
En el menú desplegable Secret, selecciona el secreto para el repositorio remoto de Git.
En el campo Valor de clave de host público de SSH, ingresa la clave de host pública de tu proveedor de Git.
Servicios de Azure DevOps
El valor de la clave de host pública de SSH debe tener el formato de un archivo
known_hosts
. El valor debe contener un algoritmo y una clave pública codificados en el formatobase64
, pero sin el nombre de host ni la IP, en el siguiente formato:ALGORITHM BASE64_KEY_VALUE
Para recuperar la clave de host pública de los servicios de Azure DevOps, ejecuta el comando
ssh-keyscan -t rsa ssh.dev.azure.com
en la terminal.Bitbucket
El valor de la clave de host pública de SSH debe tener el formato de un archivo
known_hosts
. El valor debe contener un algoritmo y una clave pública codificados en el formatobase64
, pero sin el nombre de host ni la IP, en el siguiente formato:ALGORITHM BASE64_KEY_VALUE
Para recuperar la clave de host pública de Bitbucket, consulta Configura SSH.
GitHub
El valor de la clave de host pública de SSH debe tener el formato de un archivo
known_hosts
. El valor debe contener un algoritmo y una clave pública codificados en el formatobase64
, pero sin el nombre de host ni la IP, en el siguiente formato:ALGORITHM BASE64_KEY_VALUE
Para recuperar la clave de host pública de GitHub, consulta las huellas digitales de la clave SSH de GitHub.
GitLab
El valor de la clave de host pública de SSH debe tener el formato de un archivo
known_hosts
. El valor debe contener un algoritmo y una clave pública codificados en el formatobase64
, pero sin el nombre de host ni la IP, en el siguiente formato:ALGORITHM BASE64_KEY_VALUE
Para recuperar la clave de host pública de GitLab, consulta entradas
known_hosts
de SSH.Haz clic en Vincular.
Cómo conectar un repositorio remoto a través de HTTPS
Para conectar un repositorio remoto a través de HTTPS, debes crear un secreto de Secret Manager con un token de acceso personal y compartirlo con tu cuenta de servicio predeterminada de Dataform.
Luego, Dataform usa el token de acceso para acceder a tu proveedor de Git y confirmar los cambios en nombre de los desarrolladores. Dataform realiza estas confirmaciones con la dirección de correo electrónico Google Cloud del desarrollador para que puedas saber quién realizó cada confirmación.
Para conectar un repositorio remoto a un repositorio de Dataform a través de HTTPS, sigue estos pasos:
En tu proveedor de Git, haz lo siguiente:
GitHub
En GitHub, crea un token de acceso personal detallado o un token de acceso personal clásico.
- Para obtener un token de acceso personal de GitHub detallado, haz lo siguiente:
Selecciona el acceso al repositorio solo a los repositorios seleccionados y, luego, selecciona el repositorio al que deseas conectarte.
Otorga acceso de lectura y escritura al contenido del repositorio.
Establece un tiempo de vencimiento del token adecuado para tus necesidades.
- Para obtener un token de acceso personal clásico de GitHub, haz lo siguiente:
Otorga a Dataform el permiso
repo
.Establece un tiempo de vencimiento del token adecuado para tus necesidades.
Si tu organización usa el inicio de sesión único (SSO) de SAML, autoriza el token.
GitLab
En GitLab, crea un token de acceso personal de GitLab.
Asigna el nombre
dataform
al token.El token de acceso personal de GitLab debe llamarse
dataform
.Otorga a Dataform los permisos
api
,read_repository
ywrite_repository
.Establece un tiempo de vencimiento del token adecuado para tus necesidades.
En Secret Manager, crea un secreto que contenga el token de acceso personal de tu repositorio remoto.
Otorga acceso al Secret a tu cuenta de servicio predeterminada de Dataform.
Tu cuenta de servicio de Dataform predeterminada tiene el siguiente formato:
service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
- Otorga el rol
roles/secretmanager.secretAccessor
a la cuenta de servicio.
- Otorga el rol
En la consola de Google Cloud, ve a la página Dataform.
Selecciona el repositorio de Dataform que deseas conectar al repositorio remoto.
En la página del repositorio, haz clic en Configuración > Conectar con Git.
En el panel Link to remote repository, en el campo Remote Git repository URL, ingresa la URL del repositorio de Git remoto, que finaliza con
.git
.La URL del repositorio de Git remoto no puede contener nombres de usuario ni contraseñas.
En el campo Nombre de rama remota predeterminada, ingresa el nombre de la rama de desarrollo principal del repositorio remoto de Git.
En el menú desplegable Secret, selecciona el secreto para el repositorio remoto de GitHub.
Haz clic en Vincular.
Edita la conexión del repositorio remoto
Para editar una conexión entre un repositorio de Dataform y un repositorio de GitHub remoto, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en el repositorio que quieres editar.
En la página del repositorio, haz clic en Configuración > Editar conexión de Git.
En el panel Link to remote repository, edita la configuración de conexión.
Haz clic en Actualizar.
¿Qué sigue?
Para obtener más información sobre los repositorios de Dataform, consulta Cómo crear un repositorio.
Para crear un lugar de trabajo de desarrollo, consulta Crea un lugar de trabajo.
Para obtener información sobre cómo solucionar problemas con las conexiones de repositorios remotos, consulta Soluciona problemas de Dataform.