Paso 6: Ejecuta la implementación
En esta página, se describe el sexto paso para implementar Cortex Data Foundation, el núcleo de Cortex Framework. En este paso, ejecutarás la implementación de la base de datos de Cortex Framework.
Proceso de compilación
Después de configurar el archivo config.json
como se describe en el Paso 5: Configura la implementación, sigue estas instrucciones para compilar tu proceso.
Ejecuta el siguiente comando para ubicarte en el repositorio clonado:
cd cortex-data-foundation
Ejecuta el comando de compilación con el bucket de registro de destino:
gcloud builds submit --project EXECUTION_PROJECT\ --substitutions=_GCS_BUCKET=LOGS_BUCKET
Reemplaza lo siguiente:
EXECUTION_PROJECT
con el proyecto de ejecución, probablemente el proyecto de origen.LOGS_BUCKET
con el nombre del bucket para el almacenamiento de registros. La cuenta de servicio de Cloud Build necesita acceso para escribirlos aquí.
Sigue el proceso de compilación principal a partir de los registros en la terminal o en la consola de Cloud Build, si tienes suficientes permisos. Consulta las siguientes imágenes para obtener más información.
Figura 1. Ejemplo de cómo ver el progreso de los registros en la terminal. Figura 2: Ejemplo de cómo ver el progreso de los registros en la consola. Hacer un seguimiento de los pasos de compilación secundarios activados desde la consola de Cloud Build o dentro de los registros creados a partir de los pasos Consulta las siguientes imágenes para obtener más información.
Figura 3. Ejemplo de seguimiento de pasos de compilación secundarios en la consola. Figura 4. Ejemplo de seguimiento de pasos de compilación secundarios dentro de los registros. Identifica cualquier problema con compilaciones individuales. Corrige los errores, si los hay. Se recomienda pegar el SQL generado en BigQuery para identificar y corregir los errores. La mayoría de los errores se relacionan con campos que están seleccionados, pero que no están presentes en la fuente replicada. La IU de BigQuery ayuda a identificarlos y comentarlos.
Figura 5. Ejemplo de identificación de problemas a través de los registros de Cloud Build.
Cómo mover archivos al bucket de DAG de Cloud Composer (Airflow)
Si elegiste generar archivos de integración o CDC y tienes una instancia de Cloud Composer (Airflow), puedes moverlos a su bucket final con el siguiente comando:
gcloud storage -m cp -r gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
gcloud storage -m cp -r gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/
Reemplaza lo siguiente:
OUTPUT_BUCKET
con el bucket de salida.COMPOSER_DAG_BUCKET
con el bucket de DAG de Cloud Composer (Airflow).
Personaliza y prepárate para la actualización
Muchos clientes empresariales tienen personalizaciones específicas de sus sistemas, como documentos adicionales en un flujo o tipos específicos de un registro. Son específicos para cada cliente y los analistas funcionales los configuran a medida que surgen las necesidades comerciales.
Cortex utiliza etiquetas ## CORTEX-CUSTOMER
en el código para indicar lugares donde es probable que se requieran tales personalizaciones. Usa el comando grep -R CORTEX-CUSTOMER
para verificar todos los comentarios ## CORTEX-CUSTOMER
que debes personalizar.
Además de las etiquetas CORTEX-CUSTOMER
, es posible que debas personalizar aún más lo siguiente. Para ello, confirma todos estos cambios con una etiqueta clara en el código en tu propio repositorio bifurcado o clonado:
- Agregar reglas de negocio
- Agregar otros conjuntos de datos y unirlos con vistas o tablas existentes
- Reutilizar las plantillas proporcionadas para llamar a APIs adicionales
- Modifica las secuencias de comandos de implementación.
- Aplicar más conceptos de malla de datos
- Adaptar algunas tablas o APIs publicadas para incluir campos adicionales que no se incluyen en el estándar
Adopta una canalización de CI/CD que funcione para tu organización para mantener estas mejoras probadas y tu solución general en un estado confiable y sólido. Una canalización puede volver a usar las secuencias de comandos cloudbuild.yaml
para activar la implementación de extremo a extremo de forma periódica o según
las operaciones de git según el repositorio que elijas mediante
automatización de compilaciones.
Usa el archivoconfig.json
para definir diferentes conjuntos de proyectos y conjuntos de datos para entornos de desarrollo, pruebas y producción. Usa pruebas automatizadas con tus propios datos de muestra para asegurarte de que los modelos siempre produzcan lo que esperas.
Etiquetar tus propios cambios de forma visible en tu bifurcación o clon de un repositorio junto con cierta automatización de pruebas y de implementación ayuda a realizar actualizaciones.
Asistencia
Si tienes algún problema o tienes solicitudes de funciones relacionadas con estos modelos o implementadores, crea un problema en el repositorio de Cortex Framework Data Foundation. Para ayudar a recopilar la información necesaria, ejecuta support.sh
desde el directorio clonado. Esta secuencia de comandos te guía a través de una serie de pasos para ayudarte a solucionar problemas.
Si tienes alguna solicitud o problema con Cortex Framework, ve a la sección asistencia en la página de descripción general.
Bloques y paneles de Looker
Aprovecha los paneles y bloques de Looker disponibles. Estos son, en esencia, modelos de datos reutilizables para patrones analíticos y fuentes de datos comunes de Cortex Framework. Para obtener más información, consulta Descripción general de los paneles y bloques de Looker.