Administrar canalizaciones con la administración de control de código fuente

En esta página, se describe cómo administrar canalizaciones con el control de código fuente en Cloud Data Fusion mediante repositorios de Git.

Acerca de la administración de control de fuente

Cloud Data Fusion proporciona la capacidad de diseñar visualmente las canalizaciones para las integraciones de ETL y ELT. Para una mejor administración de las canalizaciones entre el desarrollo y la producción, Cloud Data Fusion permite la administración de control de fuente de las canalizaciones mediante GitHub.

La administración de control de código fuente en Cloud Data Fusion te permite hacer lo siguiente:

• Integrar cada espacio de nombres de Cloud Data Fusion en GitHub
• Administra tus canalizaciones en un repositorio central de Git.
• Revisar y auditar los cambios en la canalización
• Revertir los cambios en la canalización
• Colaborar de forma eficaz con el equipo mientras se asegura un control central.

Importante: La funcionalidad de sincronización de una sola canalización es compatible con Cloud Data Fusion 6.9.0 y versiones posteriores. La función de sincronización de canalizaciones múltiples es compatible con Cloud Data Fusion 6.10.0 y versiones posteriores.

Antes de comenzar

• Source Control Management solo admite la integración con repositorios de GitHub.
• OAuth de GitHub no es compatible.
• Source Control Management solo admite canalizaciones por lotes.
• Source Control Management solo admite JSON de diseño de canalización para operaciones de envío y extracción. No se admiten las configuraciones de ejecución.
• El límite de tamaño del repositorio vinculado es de 5 GB.

Importante: Para conectarte a un servidor de GitHub desde una instancia privada de Cloud Data Fusion, debes establecer la configuración de red para el acceso de fuente pública. Para obtener más información, consulta Crea una instancia privada y Conéctate a una fuente pública desde una instancia privada.

Funciones y permisos requeridos

Nota: Las funciones predefinidas de Cloud Data Fusion y los permisos actuales no necesariamente abarcan los permisos read, write y update_repo_metadata en los repositorios de Git de la administración del control de fuente.

Source Control Management en Cloud Data Fusion consta de dos operaciones clave:

• Configura repositorios de control de código fuente
• Sincronización de canalizaciones con repositorios de Git mediante operaciones de envío y extracción

A fin de obtener los permisos que necesitas para usar la característica de administración de control de código fuente, pídele a tu administrador que te otorgue cualquiera de las siguientes funciones predefinidas en tu proyecto:

• Configura el repositorio de control de código fuente:

  • Operador de Cloud Data Fusion (roles/datafusion.operator)
  • Editor de Cloud Data Fusion (roles/datafusion.editor)
  • Administrador de Cloud Data Fusion (roles/datafusion.admin)

• Canalizaciones de sincronización con operaciones de envío o extracción desde un espacio de nombres:

  • Operador de Cloud Data Fusion (roles/datafusion.operator)
  • Desarrollador de Cloud Data Fusion (roles/datafusion.developer)
  • Editor de Cloud Data Fusion (roles/datafusion.editor)
  • Administrador de Cloud Data Fusion (roles/datafusion.admin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios mediante otras funciones predefinidas.

Configura un repositorio de Git

Para crear un repositorio de Git en GitHub, sigue las instrucciones que se describen en Crea un repositorio.

Nota: Si usas una instancia habilitada de Private Service Connect, asegúrate de que el servidor de Git no esté alojado en el rango de IP 240.0.0.0/16 o 240.1.0.0/16 para evitar problemas de conexión entre la instancia de Cloud Data Fusion y el servidor de Git.

Para obtener más información sobre los tokens de acceso personal en GitHub, consulta los siguientes documentos:

• Crea un token de acceso personal
• Crea un token de acceso personal detallado

Nota: Recomendamos usar el token de acceso personal detallado de GitHub, ya que los roles como Operador de Cloud Data Fusion y editor de Cloud Data Fusion pueden acceder a los tokens guardados.

Conecta un repositorio de Git con Cloud Data Fusion

Cloud Data Fusion te permite configurar y conectar tu repositorio de Git en la pestaña Source Control Management de cada espacio de nombres. Para vincular un espacio de nombres con tu repositorio de Git, sigue estos pasos:

Console

1. En la interfaz web de Cloud Data Fusion, haz clic en Menú.
2. Haz clic en Administrador de espacio de nombres.
3. En la página Administrador de espacio de nombres, haz clic en la pestaña Administración de control de fuente.
4. Haz clic en Vincular repositorio.

5. Ingresa los siguientes detalles:

   • Proveedor: Elige un proveedor de servicios de Git. Selecciona GitHub, ya que Source Control Management solo admite la integración con repositorios de GitHub.
   • URL del repositorio: Ingresa la URL para acceder a tu repositorio. En GitHub, la URL del repositorio es https://github.com/HOST/REPO.
   • Rama predeterminada (opcional): Ingresa la rama inicial de Git. Esta rama puede ser diferente de la predeterminada configurada en GitHub. Esta rama se usará para sincronizar canalizaciones, sin importar la rama predeterminada en GitHub.
   • Prefijo de ruta de acceso (opcional): Ingresa un prefijo para el nombre de tu canalización que se guardará en el repositorio de Git. Por ejemplo, si el nombre de tu canalización es DataFusionQuickStart y especificas el prefijo como namespaceName, la canalización se guardará como namespaceName/DataFusionQuickStart en el repositorio de Git.
   • Tipo de autenticación: Cloud Data Fusion te permite usar el token de acceso personalizado como tipo de autenticación. La selección se realiza de forma automática.
   • Token name: Ingresa un nombre que se pueda asociar con el token.
   • Token: Ingresa el token proporcionado por el repositorio de GitHub.
   • Nombre de usuario (opcional): Ingresa un nombre de usuario o propietario para el token.

6. Haz clic en Validate. Espera a que se verifique la conexión.

7. Cuando se complete la configuración, haz clic en Guardar y cerrar para confirmar la configuración.

API de REST

1. Crea una clave secreta en Cloud Data Fusion que contenga el token de acceso personal.

2. Ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/securekeys/PASSWORD_SECRET_KEY -X PUT -d '{ "description": "Example Secure Key","data": "PERSONAL_ACCESS_TOKEN"}'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • PASSWORD_SECRET_KEY: Es el nombre de la clave secreta que contiene el token de acceso personal.
   • PERSONAL_ACCESS_TOKEN: Es el token de acceso personal de GitHub.

3. Ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X PUT -d '{"test": "TEST_ONLY", "config": {"provider": "PROVIDER_TYPE", "link": "REPO_URL", "defaultBranch": "DEFAULT_BRANCH", "pathPrefix": "PATH_TO_DIRECTORY", "auth": {"type": "AUTH_TYPE", "patConfig": {"passwordName": "PASSWORD_SECRET_KEY", "username": "USER_NAME"}}}}'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • TEST_ONLY: Se establece en true si solo deseas validar la configuración y no agregar
   • PROVIDER_TYPE: Es el nombre del proveedor de Git, es decir, GITHUB.
   • REPO_URL: Es la URL del repositorio que se vinculará. Usa una URL https, por ejemplo, https://github.com/user/repo.git.
   • DEFAULT_BRANCH: Rama que se usa para operaciones de envío y extracción. Si se omite, se usará la rama predeterminada configurada en el repositorio, por ejemplo, la rama principal
   • PATH_TO_DIRECTORY: Es la ruta de acceso al directorio en el repositorio en el que se deben almacenar los archivos de configuración.
   • AUTH_TYPE: Es el tipo de autenticación. Solo se admite PAT. Consulta Token de acceso personal detallado en GitHub
   • PASSWORD_SECRET_KEY: Es el nombre de la clave secreta que contiene el token de acceso personal para el tipo de autenticación PAT.
   • USER_NAME: Puedes omitir este valor para el tipo de autenticación PAT.

Sincroniza canalizaciones de Cloud Data Fusion con un repositorio remoto

Después de configurar un repositorio de Git con un espacio de nombres, puedes enviar y extraer canalizaciones, y sincronizarlas con el repositorio de Git.

Envía canalizaciones de Cloud Data Fusion al repositorio de Git.

Importante: La funcionalidad de sincronizar varias canalizaciones desde el espacio de nombres se encuentra en Vista previa.
Esta función está sujeta a las "Condiciones de las ofertas de la fase previa a la DG" en la sección Condiciones del Servicio Generales de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles "tal cual" y es posible que tengan compatibilidad limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Para sincronizar varias canalizaciones implementadas desde un espacio de nombres a un repositorio de Git, sigue estos pasos:

Console

1. En la interfaz web de Cloud Data Fusion, haz clic en Menú.
2. Haz clic en Administrador de espacio de nombres.
3. En la página Administrador de espacio de nombres, haz clic en la pestaña Administración de control de fuente.
4. Busca el repositorio de Git con el que deseas sincronizar y haz clic en Sync Pipelines.
5. Haz clic en la pestaña Canalizaciones de espacio de nombres.

6. Busca y selecciona las canalizaciones que deseas enviar al repositorio de Git.

   Si la versión más reciente de la canalización se envía al repositorio de Git o se extrae de él, el estado Conectado a Git mostrará Connected. Si la canalización nunca se envió a GitHub, el estado Conectado a Git se mostrará en blanco (-).

   Si implementas una versión más reciente de una canalización que ya está sincronizada con el repositorio de Git, el estado Conectado a Git cambia de Connected a un espacio en blanco (-).

7. Haz clic en Enviar al repositorio.

8. Ingresa un Mensaje de confirmación y haz clic en Aceptar.

   Se inicia la operación de envío y se muestra un mensaje que indica que las canalizaciones seleccionadas se envían al repositorio remoto.

Cuando la operación de envío se completa de forma correcta, se muestra un mensaje que indica la cantidad de canalizaciones que se enviaron al repositorio remoto.

Si la operación de envío falla, verifica la canalización en GitHub para ver si es la versión más reciente. Por cada operación de envío que falla, aparece un mensaje de error. Para ver los detalles del error, expande el mensaje de error.

Nota: Si una operación de envío para varias canalizaciones está en estado de ejecución, no puedes iniciar otra operación de envío o extracción en el espacio de nombres hasta que se complete la operación actual. La lista de canalizaciones en las pestañas Canalizaciones de espacios de nombres y Canalizaciones del repositorio permanecerá inhabilitada hasta que se complete la operación de envío actual.

También puedes enviar canalizaciones individuales a un repositorio de Git desde el estudio de diseño de canalizaciones:

1. En la interfaz web de Cloud Data Fusion, haz clic en Menú.
2. Haz clic en Lista.
3. Haz clic en la canalización que deseas enviar al repositorio de Git.
4. En la página de la canalización, haz clic en Acciones > Enviar al repositorio.
5. Ingresa un Mensaje de confirmación y haz clic en Aceptar.

API de REST

1. Envía un conjunto de canalizaciones de Cloud Data Fusion al repositorio de Git:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/push -X POST
   -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}, "commitMessage": "COMMIT_MESSAGE"'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • PIPELINE_NAME_1, PIPELINE_NAME_2: Son los nombres de las canalizaciones que se enviarán.
   • COMMIT_MESSAGE: Es el mensaje de confirmación para la confirmación de Git.

   La respuesta contiene el ID de la operación de envío. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Para sondear el estado de la operación de envío, ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • OPERATION_ID: El ID de operación recibido de la operación de envío.

   La respuesta contiene el estado de la operación de envío. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Para verificar si se completó la operación de envío, revisa la propiedad done en la respuesta. Si la operación falló, consulta la propiedad error para obtener más detalles.

Extrae canalizaciones del repositorio de Git a Cloud Data Fusion

Importante: La funcionalidad de sincronizar varias canalizaciones desde el espacio de nombres se encuentra en Vista previa.
Esta función está sujeta a las "Condiciones de las ofertas de la fase previa a la DG" en la sección Condiciones del Servicio Generales de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles "tal cual" y es posible que tengan compatibilidad limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Para sincronizar varias canalizaciones de un repositorio de Git a tu espacio de nombres, sigue estos pasos:

Console

1. En la interfaz web de Cloud Data Fusion, haz clic en Menú.
2. Haz clic en Administrador de espacio de nombres.
3. En la página Administrador de espacio de nombres, haz clic en la pestaña Administración de control de fuente.
4. Busca el repositorio de Git con el que deseas sincronizar y haz clic en Sync Pipelines.
5. Haz clic en la pestaña Canalizaciones de repositorio. Se muestran todas las canalizaciones almacenadas en el repositorio de Git.
6. Busca y selecciona las canalizaciones que deseas extraer del repositorio de Git a tu espacio de nombres de Cloud Data Fusion.

7. Haz clic en Extraer del repositorio.

   Se inicia la operación de extracción y se muestra un mensaje que indica que las canalizaciones seleccionadas se están extrayendo del repositorio remoto. Cloud Data Fusion busca archivos JSON en la ruta configurada y los extrae y, luego, los implementa como canalizaciones en Cloud Data Fusion.

Cuando la operación de extracción se completa de forma correcta, se muestra un mensaje de éxito que indica la cantidad de canalizaciones que se extrajeron del repositorio remoto.

Si falla la operación de extracción, se mostrará un mensaje de error. Para ver los detalles del error, expande el mensaje de error.

Nota: Si una operación de extracción para varias canalizaciones está en estado de ejecución, no puedes iniciar otra operación de extracción o envío en el espacio de nombres hasta que se complete la operación actual. La lista de canalizaciones en las pestañas Canalizaciones de espacios de nombres y Canalizaciones del repositorio permanecerá inhabilitada hasta que se complete la operación de extracción actual.

También puedes extraer canalizaciones individuales de un repositorio de Git a un espacio de nombres desde el estudio de diseño de canalizaciones:

1. En la interfaz web de Cloud Data Fusion, haz clic en Menú.
2. Haz clic en Lista.
3. Haz clic en la canalización que deseas extraer del repositorio de Git.
4. En la página de la canalización, haz clic en Acciones > Extraer del repositorio.

API de REST

1. Extrae un conjunto de canalizaciones del repositorio de Git a Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/pull -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}'
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • PIPELINE_NAME_1, PIPELINE_NAME_2: Son los nombres de las canalizaciones que se extraerán.

   La respuesta contiene el ID de la operación de extracción. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Para sondear el estado de la operación de extracción, ejecuta el siguiente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Reemplaza lo siguiente:

   • NAMESPACE_ID: Es el ID del espacio de nombres.
   • OPERATION_ID: El ID de operación recibido de la operación de extracción.

   La respuesta contiene el estado de la operación de extracción. Por ejemplo:

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Para verificar si se completó la operación de extracción, revisa la propiedad done en la respuesta. Si la operación falló, consulta la propiedad error para obtener más detalles.

Borra la configuración del repositorio de Git

Para borrar la configuración del repositorio de Git de un espacio de nombres, sigue estos pasos:

Console

1. En la interfaz web de Cloud Data Fusion, haz clic en Menú.
2. Haz clic en Administrador de espacio de nombres.
3. En la página Administrador de espacio de nombres, haz clic en la pestaña Administración de control de fuente.
4. En la configuración del repositorio de Git que deseas borrar, haz clic en > Borrar.

API de REST

Borra la configuración del repositorio de Git:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X DELETE

Reemplaza NAMESPACE_ID por el ID del espacio de nombres.

¿Qué sigue?

• Obtén más información sobre Cómo usar un repositorio de GitHub para administrar canalizaciones.