Paso 6: Ejecutar el despliegue

En esta página se describe el sexto paso para desplegar Cortex Framework Data Foundation, el componente principal de Cortex Framework. En este paso, se despliega Cortex Framework Data Foundation.

Proceso de compilación

Después de configurar el archivo config.json como se describe en el paso 5: Configurar la implementación, sigue estas instrucciones para crear tu proceso.

  1. Ejecuta el siguiente comando para situarte en el repositorio clonado:

    cd cortex-data-foundation
    
  2. Ejecuta el comando de compilación con el registro de destino:

     gcloud builds submit \
     --substitutions=_GCS_BUCKET=LOGS_BUCKET,\
     _BUILD_ACCOUNT='projects/SOURCE_PROJECT/serviceAccounts/SERVICE_ACCOUNT@SOURCE_PROJECT.iam.gserviceaccount.com'
    

    Haz los cambios siguientes:

    • LOGS_BUCKET con el nombre del segmento de almacenamiento de registros. La cuenta de servicio de Cloud Build necesita acceso para escribirlos aquí.
    • SOURCE_PROJECT con el proyecto de origen.
    • SERVICE_ACCOUNT con el ID de la cuenta de servicio.
  3. Sigue el proceso de compilación principal consultando los registros en el terminal o en la consola de Cloud Build, si tienes suficientes permisos. Consulta las siguientes imágenes para obtener más información.

    Progreso de los registros

    Imagen 1. Ejemplo de cómo ver el progreso de los registros en el terminal.

    Progreso de los registros

    Imagen 2. Ejemplo de cómo ver el progreso de los registros en la consola.
  4. Monitoriza los pasos de compilación secundarios activados desde la consola de Cloud Build o en los registros creados a partir de los pasos. Consulta las siguientes imágenes para obtener más información.

    Seguimiento de los pasos de compilación de los elementos secundarios

    Imagen 3. Ejemplo de seguimiento de las fases de compilación secundarias en la consola.

    Seguimiento de los pasos de compilación de los elementos secundarios

    Imagen 4. Ejemplo de seguimiento de los pasos de compilación secundarios en los registros.
  5. Identifica los problemas que haya en las compilaciones. Corrige los errores que encuentres. Te recomendamos que pegues el código SQL generado en BigQuery para identificar y corregir los errores. La mayoría de los errores están relacionados con campos que se han seleccionado, pero que no están presentes en la fuente replicada. La interfaz de usuario de BigQuery ayuda a identificar y comentar esos elementos.

    Identificar problemas

    Imagen 5. Ejemplo de identificación de problemas a través de los registros de Cloud Build.

Mover archivos al segmento DAG de Cloud Composer (Airflow)

Si ha decidido generar archivos de integración o de CDC y tiene una instancia de Cloud Composer (Airflow), puede moverlos al bucket final con el siguiente comando:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

Haz los cambios siguientes:

  • OUTPUT_BUCKET con el segmento de salida.
  • COMPOSER_DAG_BUCKET con el segmento de DAG de Cloud Composer (Airflow).

Personalizar y prepararse para la actualización

Muchos clientes empresariales tienen personalizaciones específicas de sus sistemas, como documentos adicionales en un flujo o tipos específicos de un registro. Son específicas de cada cliente y las configuran los analistas funcionales a medida que surgen las necesidades empresariales.

Cortex utiliza etiquetas ## CORTEX-CUSTOMER en el código para indicar los lugares en los que es probable que se necesiten estas personalizaciones. Usa el comando grep -R CORTEX-CUSTOMER para consultar todos los comentarios ## CORTEX-CUSTOMER que deberías personalizar.

Además de las etiquetas CORTEX-CUSTOMER, es posible que tengas que personalizar aún más lo siguiente. Para ello, confirma todos estos cambios con una etiqueta clara en el código de tu repositorio bifurcado o clonado:

  • Añadiendo reglas de empresa.
  • Añadir otros conjuntos de datos y combinarlos con vistas o tablas
  • Reutilizar las plantillas proporcionadas para llamar a APIs adicionales.
  • Modificar secuencias de comandos de implementación.
  • Aplicar más conceptos de malla de datos.
  • Adaptar algunas tablas o APIs de destino para incluir campos adicionales que no se incluyan en el estándar.

Adopta una canalización de CI/CD que se adapte a tu organización para que estas mejoras se prueben y tu solución general se mantenga en un estado fiable y sólido. Una canalización puede reutilizar las cloudbuild.yaml secuencias de comandos para activar la implementación integral periódicamente o en función de las operaciones de Git, según el repositorio que elijas, mediante la automatización de las compilaciones.

Usa el archivo config.json para definir diferentes conjuntos de proyectos y conjuntos de datos para los entornos de desarrollo, staging y producción. Usa pruebas automatizadas con tus propios datos de muestra para asegurarte de que los modelos siempre producen lo que esperas.

Etiquetar los cambios de forma visible en tu fork o clon de un repositorio junto con cierta automatización de la implementación y las pruebas te ayudará a realizar actualizaciones.

Asistencia

Si tienes algún problema o quieres solicitar alguna función relacionada con estos modelos o con los implementadores, crea un problema en el repositorio Cortex Framework Data Foundation. Para ayudarte a recopilar la información necesaria, ejecuta support.sh desde el directorio clonado. Esta secuencia de comandos te guiará por una serie de pasos para ayudarte a solucionar el problema.

Si tienes alguna solicitud o problema con Cortex Framework, ve a la sección de asistencia de la página de resumen.

Looker Blocks y paneles de control

Aprovecha los bloques y los paneles de control de Looker disponibles. Se trata de modelos de datos reutilizables para patrones analíticos y fuentes de datos comunes de Cortex Framework. Para obtener más información, consulta la descripción general de los bloques y los paneles de Looker.