Passaggio 6: esegui il deployment

Questa pagina descrive il sesto passaggio per eseguire il deployment di Cortex Framework Data Foundation, il nucleo di Cortex Framework. In questo passaggio, esegui il deployment di Cortex Framework Data Foundation.

Nota: i passaggi descritti in questa pagina sono progettati specificamente per eseguire il deployment di Cortex Framework Data Foundation dal repository GitHub ufficiale.

Processo di compilazione

Dopo aver configurato il file config.json come descritto nel passaggio 5: configura il deployment, segui queste istruzioni per creare la procedura.

1. Esegui il comando seguente per individuare la posizione nel repository clonato:

   cd cortex-data-foundation
   

2. Esegui il comando di compilazione con il bucket dei log di destinazione:

   gcloud builds submit --project EXECUTION_PROJECT\
       --substitutions=_GCS_BUCKET=LOGS_BUCKET
   

   Sostituisci quanto segue:

   • EXECUTION_PROJECT con il progetto di esecuzione, probabilmente il progetto di origine.
   • LOGS_BUCKET con il nome del bucket per lo spazio di archiviazione dei log. L'account di servizio Cloud Build deve avere accesso per scriverli qui.

3. Segui il processo di compilazione principale esaminando i log nel terminale o nella console Cloud Build, se disponi delle autorizzazioni sufficienti. Per ulteriori riferimenti, consulta le seguenti immagini.

   

   Figura 1. Esempio di visualizzazione dell'avanzamento dei log nel terminale.

   

   Figura 2. Esempio di visualizzazione dell'avanzamento dei log nella console.

4. Monitora i passaggi di compilazione secondari attivati dalla console Cloud Build o all'interno dei log creati dai passaggi. Per maggiori informazioni, consulta le immagini che seguono.

   

   Figura 3. Esempio di monitoraggio dei passaggi di compilazione secondari nella console.

   

   Figura 4. Esempio di monitoraggio dei passaggi di compilazione secondari nei log.

5. Individua eventuali problemi con le singole build. Correggi eventuali errori. È consigliabile incollare il codice SQL generato in BigQuery per identificare e correggere gli errori. La maggior parte degli errori riguarda i campi selezionati, ma non presenti nell'origine replicata. L'interfaccia utente di BigQuery consente di identificarli e commentarli.

   

   Figura 5. Esempio di identificazione dei problemi tramite i log di Cloud Build.

Sposta i file nel bucket DAG di Cloud Composer (Airflow)

Se hai scelto di generare file di integrazione o CDC e hai un'istanza di Cloud Composer (Airflow), puoi spostarli nel bucket finale con il seguente comando:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

Sostituisci quanto segue:

• OUTPUT_BUCKET con il bucket di output.
• COMPOSER_DAG_BUCKET con il bucket DAG di Cloud Composer (Airflow).

Nota: questo passaggio è applicabile solo se è in esecuzione un'istanza di Airflow, poiché Airflow è comunemente utilizzato per gestire e orchestrare le pipeline di dati.

Personalizzare e prepararsi per l'upgrade

Molti clienti aziendali hanno personalizzazioni specifiche dei propri sistemi, ad esempio documenti aggiuntivi in un flusso o tipi specifici di record. Sono specifici per ogni cliente e vengono configurati dagli analisti funzionali in base alle esigenze dell'attività.

Cortex utilizza i tag ## CORTEX-CUSTOMER nel codice per indicare i punti in cui è probabile che siano necessarie queste personalizzazioni. Utilizza il comando grep -R CORTEX-CUSTOMER per controllare tutti i commenti ## CORTEX-CUSTOMER da personalizzare.

Oltre ai tag CORTEX-CUSTOMER, potrebbe essere necessario personalizzare ulteriormente quanto segue eseguendo il commit di tutte queste modifiche con un tag chiaro nel codice nel tuo repository clonato o derivato:

• Aggiunta di regole aziendali.
• Aggiunta di altri set di dati e unione con viste o tabelle esistenti
• Riutilizzo dei modelli forniti per chiamare API aggiuntive.
• Modifica degli script di deployment.
• Applicazione di altri concetti di data mesh.
• Adattare alcune tabelle o API implementate per includere campi aggiuntivi non inclusi nello standard.

Adotta una pipeline CI/CD adatta alla tua organizzazione per mantenere testati questi miglioramenti e la tua soluzione complessiva in uno stato affidabile e solido. Una pipeline può riutilizzare gli script cloudbuild.yaml per attivare periodicamente il deployment end-to-end o in base alle operazioni git, a seconda del repository scelto, automatizzando le build.

Utilizza il fileconfig.json per definire diversi insiemi di progetti e set di dati per gli ambienti di sviluppo, gestione temporanea e produzione. Utilizza i test automatici con i tuoi dati di esempio per assicurarti che i modelli producano sempre ciò che ti aspetti.

Il tagging delle tue modifiche in modo visibile nel fork o nel clone di un repository, insieme ad alcune automazioni di deployment e test, aiuta a eseguire gli upgrade.

Assistenza

Se riscontri problemi o hai richieste di funzionalità relative a questi modelli o a questi deployer, crea un problema nel repository Cortex Framework Data Foundation. Per aiutarti a raccogliere le informazioni necessarie, esegui support.sh dalla directory clonata. Questo script ti guida attraverso una serie di passaggi per aiutarti a risolvere i problemi.

Per eventuali richieste o problemi relativi a Cortex Framework, vai alla sezione Assistenza nella pagina Panoramica.

Looker Blocks e dashboard

Sfrutta i dashboard e i blocchi di Looker disponibili. Si tratta essenzialmente di modelli di dati riutilizzabili per pattern di analisi e origini dati comuni per Cortex Framework. Per ulteriori informazioni, consulta la panoramica di dashboard e blocchi di Looker.