Cette page a été traduite par l'API Cloud Translation.

Étape 6: Exécuter le déploiement

Cette page décrit la sixième étape du déploiement de Cortex Framework Data Foundation, le cœur de Cortex Framework. À cette étape, vous exécutez le déploiement de la fondation de données du framework Cortex.

Processus de compilation

Après avoir configuré le fichier config.json comme décrit à l'étape 5: Configurer le déploiement, suivez ces instructions pour créer votre processus.

Exécutez la commande suivante pour vous placer dans le dépôt cloné:
```
cd cortex-data-foundation
```
Exécutez la commande de compilation avec le bucket de journaux cible:
```
gcloud builds submit --project EXECUTION_PROJECT\
    --substitutions=_GCS_BUCKET=LOGS_BUCKET
```
Remplacez les éléments suivants :
- EXECUTION_PROJECT avec le projet d'exécution, probablement le projet source.
- LOGS_BUCKET par le nom du bucket pour le stockage des journaux. Le compte de service Cloud Build doit avoir accès pour les écrire ici.
Suivez le processus de compilation principal en consultant les journaux dans le terminal ou dans la console Cloud Build, si vous disposez d'autorisations suffisantes. Pour en savoir plus, consultez les images suivantes.

Figure 1 Exemple d'affichage de la progression des journaux dans le terminal.

Figure 2 Exemple d'affichage de la progression des journaux dans la console.
Suivez les étapes de compilation enfant déclenchées à partir de la console Cloud Build ou dans les journaux créés à partir des étapes. Pour en savoir plus, consultez les images suivantes.

Figure 3 Exemple de suivi des étapes de compilation enfant dans la console.

Figure 4. Exemple de suivi des étapes de compilation enfant dans les journaux.
Identifiez les problèmes liés à chaque build. Corrigez les erreurs, le cas échéant. Nous vous recommandons de coller le code SQL généré dans BigQuery pour identifier et corriger les erreurs. La plupart des erreurs sont liées à des champs sélectionnés, mais qui ne figurent pas dans la source répliquée. L'interface utilisateur de BigQuery permet de les identifier et de les commenter.

Figure 5 Exemple d'identification de problèmes à l'aide des journaux Cloud Build.

Déplacer des fichiers vers le bucket DAG Cloud Composer (Airflow)

Si vous avez choisi de générer des fichiers d'intégration ou de CDC et que vous disposez d'une instance de Cloud Composer (Airflow), vous pouvez les déplacer vers leur bucket final à l'aide de la commande suivante:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

Remplacez les éléments suivants :

OUTPUT_BUCKET par le bucket de sortie.
COMPOSER_DAG_BUCKET avec le bucket de DAG Cloud Composer (Airflow).

Personnaliser et préparer la mise à niveau

De nombreux clients professionnels ont des personnalisations spécifiques de leurs systèmes, comme des documents supplémentaires dans un flux ou des types d'enregistrements spécifiques. Ils sont spécifiques à chaque client et configurés par les analystes fonctionnels à mesure que les besoins de l'entreprise évoluent.

Cortex utilise des balises ## CORTEX-CUSTOMER dans le code pour indiquer les emplacements où de telles personnalisations sont probablement requises. Utilisez la commande grep -R CORTEX-CUSTOMER pour vérifier tous les commentaires ## CORTEX-CUSTOMER que vous devez personnaliser.

En plus des balises CORTEX-CUSTOMER, vous devrez peut-être personnaliser davantage les éléments suivants en validant toutes ces modifications avec une balise claire dans le code dans votre propre dépôt dissocié ou cloné:

Ajouter des règles métier
Ajouter d'autres ensembles de données et les associer à des vues ou des tables existantes
Réutiliser les modèles fournis pour appeler des API supplémentaires
Modifier les scripts de déploiement
Application d'autres concepts de maillage de données
Adaptation de certaines tables ou API installées pour inclure des champs supplémentaires non inclus dans la norme.

Adoptez un pipeline CI/CD adapté à votre organisation pour tester ces améliorations et maintenir votre solution globale dans un état fiable et robuste. Un pipeline peut réutiliser les scripts cloudbuild.yaml pour déclencher un déploiement de bout en bout périodiquement ou en fonction des opérations git en fonction du dépôt de votre choix en automatisant les builds.

Utilisez le fichier config.json pour définir différents ensembles de projets et de ensembles de données pour les environnements de développement, de préproduction et de production. Utilisez des tests automatisés avec vos propres exemples de données pour vous assurer que les modèles produisent toujours ce que vous attendez.

Le taggage visible de vos propres modifications dans votre fork ou clone d'un dépôt, ainsi que l'automatisation du déploiement et des tests, vous aide à effectuer des mises à niveau.

Assistance

Si vous rencontrez des problèmes ou si vous avez des demandes de fonctionnalités concernant ces modèles ou ces déployeurs, créez un problème dans le dépôt Cortex Framework Data Foundation. Pour vous aider à collecter les informations nécessaires, exécutez support.sh à partir du répertoire cloné. Ce script vous guide tout au long d'une série d'étapes pour vous aider à résoudre le problème.

Pour toute demande ou tout problème concernant Cortex Framework, consultez la section Assistance de la page "Présentation".

Blocs Looker et tableaux de bord

Profitez des blocs Looker et des tableaux de bord disponibles. Il s'agit essentiellement de modèles de données réutilisables pour les modèles d'analyse et les sources de données courants de Cortex Framework. Pour en savoir plus, consultez la page Présentation des blocs Looker et des tableaux de bord.