Administra canalizaciones con la administración del control de fuente

En esta página, se describe cómo administrar canalizaciones con el control de código fuente en Cloud Data Fusion mediante repositorios de Git

Información acerca de la administración del control de fuente

Cloud Data Fusion ofrece la capacidad de diseñar canalizaciones de forma visual para integraciones de ETL y ELT. Para una mejor administración de las canalizaciones entre desarrollo y producción, Cloud Data Fusion permite administrar el control de origen de las canalizaciones con GitHub y otros sistemas de control de versión.

La administración del control de origen en Cloud Data Fusion te permite hacer lo siguiente:

• Integrar cada espacio de nombres de Cloud Data Fusion en un sistema de control de versión
• Administra tus canalizaciones en un repositorio central de Git.
• Revisa y audita los cambios en la canalización.
• Revertir los cambios de la canalización
• Colaborar de forma eficaz con el equipo mientras se garantiza un control central.

Importante: La funcionalidad de sincronización de una sola canalización se admite en Cloud Data Fusion 6.9.0 y versiones posteriores Las funciones de sincronización varias canalizaciones es compatible con la versión 6.10.0 de Cloud Data Fusion y más adelante.

Antes de comenzar

• La administración de control de fuente admite la integración con GitHub, Bitbucket Server, Bitbucket Cloud, y repositorios de GitLab.
• OAuth de GitHub no es compatible.
• La administración del control de origen solo admite canalizaciones por lotes.
• La administración del control de origen solo admite JSON de diseño de canalización para operaciones de envío y extracción. No se admiten los parámetros de configuración de ejecución.
• El límite de tamaño del repositorio vinculado es de 5 GB.

Advertencia: Asegúrate de que las canalizaciones que se envían a los repositorios de Git no tengan incluir Secrets, como la cuenta de servicio JSON en texto sin formato. Para almacenar Secrets, te recomendamos que utilices claves seguras.

Importante: Para conectarte a un servidor de sistema de control de versión desde un instancia de Cloud Data Fusion, debes establecer la configuración de red para acceso de fuente pública. Para obtener más información, consulta Crea una instancia privada y, luego, Conéctate a una fuente pública desde una instancia privada.

Funciones y permisos requeridos

Nota: Los roles predefinidos y los permisos actuales de Cloud Data Fusion no abarcan necesariamente los permisos read, write y update_repo_metadata. en repositorios de Git de Source Control Management.

La administración del control de origen en Cloud Data Fusion consta de dos operaciones clave:

• Configura repositorios de control de código fuente
• Sincronización de canalizaciones con repositorios de Git mediante operaciones de envío y extracción

Para obtener los permisos que necesitas para usar la función Administración de control de fuente, pídele a tu administrador te otorgue cualquiera de los siguientes roles predefinidos en tu proyecto:

• Configura el repositorio de control de código fuente:

  • Operador de Cloud Data Fusion (roles/datafusion.operator)
  • Editor de Cloud Data Fusion (roles/datafusion.editor)
  • Administrador de Cloud Data Fusion (roles/datafusion.admin)

• Sincroniza canalizaciones con operaciones de envío o extracción desde un espacio de nombres:

  • Operador de Cloud Data Fusion (roles/datafusion.operator)
  • Desarrollador de Cloud Data Fusion (roles/datafusion.developer)
  • Editor de Cloud Data Fusion (roles/datafusion.editor)
  • Administrador de Cloud Data Fusion (roles/datafusion.admin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios roles predefinidos.

Configura un repositorio de Git

Para crear un repositorio de Git en GitHub, sigue las instrucciones que se describen en Crea un repositorio.

Nota: Si usas una instancia habilitada de Private Service Connect, asegúrate de que el servidor Git no esté alojado en el rango de IP 240.0.0.0/16 o 240.1.0.0/16 para evitar problemas de conexión entre Cloud Data Fusion y el servidor Git.

Para obtener más información sobre los tokens de acceso personal en GitHub y otras versiones sistemas de control de acceso, consulta las siguientes páginas:

• Documentación del token de acceso de Bitbucket para Cloud

• Documentación del token de acceso del servidor de Bitbucket

• GitHub: Crea un token de acceso personal y Crea un token de acceso personal detallado

• Documentación del token de acceso de GitLab

Nota: Te recomendamos usar el token de acceso personal detallado de GitHub, como Operador de Cloud Data Fusion y el editor de Cloud Data Fusion pueden acceder a los tokens guardados.

Conecta un repositorio de Git con Cloud Data Fusion

Cloud Data Fusion te permite configurar y conectar tu repositorio de Git en la pestaña Administración de control de fuente de cada espacio de nombres. Para vincular un espacio de nombres a repositorio de Git, sigue estos pasos:

Console

1. En Cloud Data Fusion Studio, haz clic en Menú.
2. Haz clic en Administrador de espacios de nombres.
3. En la página Administrador de espacios de nombres, haz clic en Administración de control de fuente. .
4. Haz clic en Vincular repositorio.

5. Ingresa los siguientes detalles:

   • Proveedor: Elige un proveedor de servicios de Git, como GitHub o GitLab.
   • URL del repositorio: Ingresa la URL en la que se puede encontrar tu repositorio a las que se accede. Para GitHub, la URL del repositorio es https://github.com/HOST/REPO.
   • Rama predeterminada (opcional): Ingresa la rama inicial de Git. Esta puede ser diferente de la predeterminada configurada en GitHub. Esta rama se usa para sincronizar canalizaciones, sin importar la rama predeterminada en GitHub.
   • Prefijo de la ruta de acceso (opcional): Ingresa un prefijo para el nombre de tu canalización que sea en el repositorio de Git. Por ejemplo, si el nombre de tu canalización es DataFusionQuickStart y si especificas el prefijo como namespaceName, la canalización se guarda como namespaceName/DataFusionQuickStart en el repositorio de Git.
   • Tipo de autenticación: Cloud Data Fusion permite usar el token de acceso personalizado como el tipo de autenticación. Este es seleccionados automáticamente.
   • Nombre del token: Ingresa un nombre que se pueda asociar con el token.
   • Token: Ingresa el token que proporciona el repositorio de GitHub.
   • Opcional: Nombre de usuario: Ingresa un nombre de usuario o un propietario para el token.

6. Haz clic en Validate. Espera a que se verifique la conexión.

7. Una vez completada la configuración, haz clic en Guardar y cerrar para confirmar configuración.

API de REST

1. Crea una clave secreta en Cloud Data Fusion que contiene el token de acceso personal

2. Ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/securekeys/PASSWORD_SECRET_KEY -X PUT -d '{ "description": "Example Secure Key","data": "PERSONAL_ACCESS_TOKEN"}'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • PASSWORD_SECRET_KEY: Es el nombre del secreto. que contiene un token de acceso personal.
   • PERSONAL_ACCESS_TOKEN: Acceso personal token de GitHub.

3. Ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X PUT -d '{"test": "TEST_ONLY", "config": {"provider": "PROVIDER_TYPE", "link": "REPO_URL", "defaultBranch": "DEFAULT_BRANCH", "pathPrefix": "PATH_TO_DIRECTORY", "auth": {"type": "AUTH_TYPE", "patConfig": {"passwordName": "PASSWORD_SECRET_KEY", "username": "USER_NAME"}}}}'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • TEST_ONLY: Configúralo en true si lo deseas. validar solo la configuración, no agregarle nada.
   • PROVIDER_TYPE: Es el nombre del proveedor de Git, que es GITHUB.
   • REPO_URL: Es la URL del repositorio que se vinculará. Usa Una URL de https, por ejemplo, https://github.com/user/repo.git
   • DEFAULT_BRANCH: Es la rama que se usa para envíos y las operaciones de extracción. Si se omite, se usa la rama configurada de forma predeterminada en el repositorio, por ejemplo, la rama principal.
   • PATH_TO_DIRECTORY: Es la ruta de acceso al directorio en el repositorio en el que se almacenan los archivos de configuración.
   • AUTH_TYPE: Es el tipo de autenticación. Solo se admite PAT. Consulta Token de acceso personal detallado en GitHub.
   • PASSWORD_SECRET_KEY: Es el nombre del secreto. que contiene el token de acceso personal para el tipo de autenticación PAT.
   • USER_NAME: puedes omitir este valor para el tipo de autenticación PAT.

Sincroniza canalizaciones de Cloud Data Fusion con un repositorio remoto

Después de configurar un repositorio de Git con un espacio de nombres, puedes enviar y extraer de Google Cloud, y sincronizarlas con el repositorio de Git.

Envía canalizaciones de Cloud Data Fusion al repositorio de Git

Para sincronizar varias canalizaciones implementadas de un espacio de nombres a un repositorio de Git, sigue estos pasos:

Console

1. En Cloud Data Fusion Studio, haz clic en Menú.
2. Haz clic en Administrador de espacios de nombres.
3. En la página Administrador de espacios de nombres, haz clic en Administración de control de fuente. .
4. Busca el repositorio de Git con el que deseas sincronizar los datos. Haz clic en Canalizaciones de sincronización.
5. Haz clic en la pestaña Canalizaciones de espacio de nombres.

6. Busca y selecciona las canalizaciones que quieres enviar a Git. en un repositorio de confianza.

   Si la última versión de la canalización se envía a Git o se extrae de allí repositorio, el estado Connected to Git muestra Connected. Si el botón de la canalización de datos nunca se envió a GitHub, el estado Conectada a Git muestra un espacio en blanco (-).

   Si implementas una versión más reciente de una canalización que ya está sincronizada con el En el repositorio de Git, el estado Connected to Git cambia de Connected a en blanco (-).

7. Haz clic en Enviar al repositorio.

8. Ingresa un mensaje de confirmación y haz clic en Aceptar.

   Se inicia la operación de envío y aparece un mensaje que indica que las canalizaciones seleccionadas se envían al repositorio remoto.

Cuando la operación de envío se completa con éxito, se muestra un mensaje de éxito se muestra indicando la cantidad de canalizaciones que se enviaron al control remoto en un repositorio de confianza.

Si la operación de envío falla, verifica la canalización en GitHub para ver si es el versión más reciente. Por cada operación de envío con errores, se muestra un mensaje de error que se muestra. Para ver los detalles del error, expande el mensaje de error.

Nota: Si una operación de envío para varias canalizaciones se encuentra en estado de ejecución, debes No puede iniciar otra operación de envío o extracción de forma simultánea en el espacio de nombres. hasta que finalice la operación actual. La lista de canalizaciones del Permanecen las pestañas Canalizaciones de espacio de nombres y Canalizaciones de repositorio. y se inhabilita hasta que se complete la operación de envío actual.

También puedes enviar canalizaciones individuales a un repositorio de Git desde la canalización Design Studio:

1. En Cloud Data Fusion Studio, haz clic en Menú.
2. Haz clic en Lista.
3. Haz clic en la canalización que deseas enviar al repositorio de Git.
4. En la página de la canalización, haz clic en Acciones >. Enviar al repositorio.
5. Ingresa un mensaje de confirmación y haz clic en Aceptar.

API de REST

1. Envía un conjunto de canalizaciones de Cloud Data Fusion al repositorio de Git:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/push -X POST
   -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}, "commitMessage": "COMMIT_MESSAGE"'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • PIPELINE_NAME_1, PIPELINE_NAME_2: los nombres de las canalizaciones que se enviarán.
   • COMMIT_MESSAGE: Es un mensaje de confirmación para Git. confirmar.

   La respuesta contiene el ID de la operación de envío. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Para consultar el estado de la operación de envío, ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • OPERATION_ID: El ID de operación recibido de la operación de envío.

   La respuesta contiene el estado de la operación de envío. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Para verificar si se completó la operación de envío, revisa el done. en la respuesta. Si la operación falló, revisa error. para conocer más detalles.

Extrae las canalizaciones del repositorio de Git hacia Cloud Data Fusion

Para sincronizar varias canalizaciones de un repositorio de Git con tu espacio de nombres, sigue estos pasos: pasos:

Console

1. En Cloud Data Fusion Studio, haz clic en Menú.
2. Haz clic en Administrador de espacios de nombres.
3. En la página Administrador de espacios de nombres, haz clic en Administración de control de fuente. .
4. Busca el repositorio de Git con el que deseas sincronizar y haz clic en Canalizaciones de sincronización.
5. Haz clic en la pestaña Canalizaciones del repositorio. Se muestran todas las canalizaciones almacenadas en el repositorio de Git.
6. Busca y selecciona las canalizaciones que quieres extraer de Git. en tu espacio de nombres de Cloud Data Fusion.

7. Haz clic en Extraer del repositorio.

   Se inicia la operación de extracción y se muestra un mensaje que indica que las canalizaciones seleccionadas se extraen del repositorio remoto. Cloud Data Fusion busca archivos JSON en la ruta configurada. los extrae y los implementa como canalizaciones en Cloud Data Fusion.

Cuando la operación de extracción se completa correctamente, se muestra un mensaje que se muestra indicando la cantidad de canalizaciones que se extrajeron del en un repositorio remoto.

Si la operación de extracción falla, se muestra un mensaje de error. Para ver del error, expande el mensaje de error.

Nota: Si una operación de extracción para varias canalizaciones se encuentra en estado de ejecución, debes No puede iniciar otra operación de envío o extracción de forma simultánea en el espacio de nombres. hasta que finalice la operación actual. La lista de canalizaciones del Permanecen las pestañas Canalizaciones de espacio de nombres y Canalizaciones de repositorio. y está inhabilitada hasta que se complete la operación de extracción actual.

También puedes extraer canalizaciones individuales de un repositorio de Git a un espacio de nombres. desde el estudio de diseño de canalizaciones:

1. En Cloud Data Fusion Studio, haz clic en Menú.
2. Haz clic en Lista.
3. Haz clic en la canalización que deseas extraer del repositorio de Git.
4. En la página de la canalización, haz clic en Acciones >. Extraer del repositorio.

API de REST

1. Extrae un conjunto de canalizaciones del repositorio de Git a Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/pull -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • PIPELINE_NAME_1, PIPELINE_NAME_2: los nombres de las canalizaciones que se extraerán.

   La respuesta contiene el ID de la operación de extracción. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Para consultar el estado de la operación de extracción, ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • OPERATION_ID: El ID de operación recibido de la operación de extracción.

   La respuesta contiene el estado de la operación de extracción. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Para verificar si se completó la operación de extracción, revisa done. en la respuesta. Si la operación falló, revisa error. para conocer más detalles.

Borra la configuración del repositorio de Git

Para borrar la configuración del repositorio de Git de un espacio de nombres, sigue estos pasos:

Console

1. En Cloud Data Fusion Studio, haz clic en Menú.
2. Haz clic en Administrador de espacios de nombres.
3. En la página Administrador de espacios de nombres, haz clic en Administración de control de fuente. .
4. Para la configuración del repositorio de Git que quieres borrar, haz clic en > Borrar.

API de REST

Borra la configuración del repositorio de Git:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X DELETE

Reemplaza NAMESPACE_ID por el ID del espacio de nombres.

¿Qué sigue?

• Más información sobre Usa un repositorio de GitHub para administrar canalizaciones.