Cette page explique comment définir des préférences, des macros et des arguments d'exécution dans les pipelines Cloud Data Fusion.
Termes clés
- Macros
- Les macros sont des espaces réservés dans le plug-in Cloud Data Fusion
de configuration. Elles sont représentées par des variables contenues dans
${ }, telles que${input_file_path}Les macros apportent de la flexibilité à vos pipelines vous permettant d'utiliser des valeurs d'espace réservé, qui sont remplacées par des valeurs réelles de l'environnement d'exécution. Cela permet de configurer dynamiquement des paramètres tels que les chemins d'accès aux fichiers et les noms de tables. - Préférences
- Les préférences sont des configurations prédéfinies qui s'appliquent à différents dans Cloud Data Fusion, y compris le système, les espaces de noms, des applications (qui contiennent des pipelines) et des programmes individuels au sein de les pipelines de ML. Les préférences vous permettent de définir des valeurs par défaut pour de configuration. Les valeurs par défaut peuvent être héritées par les pipelines et les programmes à des niveaux inférieurs, ce qui réduit les tâches de configuration répétitives.
- Arguments d'exécution
- Les arguments d'exécution sont des paires clé/valeur qui fournissent des valeurs et potentiellement remplacer les préférences lorsque vous déployez ou exécutez un pipeline. Ils sont hautement personnalisables, ce qui vous permet d'ajuster les configurations par exécution de pipeline, sans modifier le pipeline sous-jacent ni préférences.
Configurer des macros
Pour utiliser une macro comme valeur de propriété de plug-in, procédez comme suit:
- Dans Cloud Data Fusion Studio, accédez au nœud du plug-in et cliquez sur Propriétés.
- Accédez au champ dans lequel vous souhaitez utiliser une macro, puis cliquez sur **M** à côté du champ.
- Saisissez une touche pour la macro. Par exemple, dans les propriétés du plug-in de la source de fichier, saisissez la clé suivante dans le champ "Format" :
${format.type}.
Définir les valeurs de la macro
Définissez des valeurs pour les macros avant de prévisualiser les données d'un pipeline et avant de l'exécuter un pipeline. Vous pouvez définir des valeurs de macro aux endroits suivants:
- Plug-ins setter d'arguments
- Arguments d'exécution
- Préférences de l'application
- Préférences d'espace de noms
- Préférences système
Exécuter un pipeline avec des macros permet de :
- Cloud Data Fusion vérifie d'abord si le pipeline inclut un
Plug-in setter d'argument:
- S'il dispose d'un setter d'arguments, Cloud Data Fusion utilise les valeurs des macros à partir de celui-ci.
- Si aucun argument setter n'est défini ou si des macros ne sont pas attribuées dans l'argument setter, Cloud Data Fusion utilise les valeurs des arguments d'exécution du pipeline.
- Les arguments d'exécution héritent des macros des préférences de l'application.
- Les préférences d'application héritent des macros des préférences d'espace de noms
- Les préférences d'espace de noms héritent des macros des préférences système.
Exemples
Les macros sont couramment utilisées dans les champs de chemin d'accès. Au lieu d'utiliser des chemins codés en dur, vous pouvez utiliser des chemins dynamiques. Par exemple, dans un plug-in source Cloud Storage,
peut remplacer la valeur du chemin par plusieurs macros. La valeur suivante divise les éléments de bucket, de dossier et de fichier : gs://${bucket.name}/${folder}/${file.name}.
L'exemple suivant charge les données d'un bucket statique et d'un fichier avec
qui n'est pas statique, saisissez le nom du bucket et utilisez une macro
nom du fichier: gs://<BUCKET_NAME>/${folder}/${file.name}.
Configurer les préférences
La section suivante décrit la hiérarchie des préférences, où les préférences sont définie, héritée ou remplacée.
Définir les préférences système
Vous pouvez définir des préférences pour le système. Étant donné que les noms de macro doivent être uniques, chaque préférence s'applique à tous les pipelines qui utilisent cette macro.
Par exemple, vous disposez d'un pipeline avec une source de base de données et vous utilisez des macros pour le nom de la base de données et le nom d'utilisateur. Vous pouvez définir des préférences de base de données et de nom d'utilisateur dans les préférences système. Chaque espace de noms et chaque pipeline de cette instance héritent de ces préférences.
Pour définir les préférences système, procédez comme suit :
- Dans Cloud Data Fusion Studio, cliquez sur Administration système > Configuration.
- Cliquez sur Préférences système > Modifier les préférences système.
- Dans la boîte de dialogue Préférences, saisissez de nouvelles préférences ou modifiez les préférences existantes.
- Cliquez sur Enregistrer et fermer. Ces préférences sont disponibles les espaces de noms, les applications et les pipelines.
Définir les préférences d'espace de noms
Vous pouvez définir des préférences pour des espaces de noms individuels.
Lorsque vous définissez des préférences d'espace de noms, les préférences système héritées s'affichent. Lorsque vous définissez des préférences pour un espace de noms, vous pouvez remplacer les préférences héritées en définissant des valeurs différentes. Vous pouvez également ajouter des préférences d'espace de noms.
Pour définir des préférences d'espace de noms, procédez comme suit :
- Dans Cloud Data Fusion Studio, cliquez sur Administrateur système > Configuration.
- Cliquez sur Espaces de noms. et sélectionnez un espace de noms pour ouvrir sa page de configuration.
- Pour modifier les préférences héritées ou ajouter de nouvelles préférences, accédez à la
Dans l'onglet Préférences, cliquez sur Modifier. Une boîte de dialogue Preferences (Préférences) s'ouvre, dans laquelle vous pouvez saisir une nouvelle préférence ou remplacer les préférences système héritées. Cliquez sur
<span class="material-icons">add</span>Ajouter. saisissez la clé et la nouvelle valeur de la macro. - Cliquez sur Enregistrer et fermer. La préférence d'espace de noms est créée avec la nouvelle qui prévaut sur les préférences du système.
Définir les préférences de l'application
Vous pouvez définir des préférences pour chaque pipeline déployé dans un espace de noms. Lorsque vous définissez des préférences d'application, toutes les préférences de système et d'espace de noms héritées s'affichent. Lorsque vous définissez des préférences pour une application, vous pouvez ignorer les paramètres en définissant des valeurs différentes ou ajoutez de nouvelles préférences pour le application:
- Dans Cloud Data Fusion Studio, cliquez sur , puis sur le menu Espace de noms pour sélectionner l'espace de noms auquel vous souhaitez ajouter des préférences d'application.
- Cliquez sur Centre de contrôle.
- Cliquez sur l'icône en forme de clé à molette "Définir les préférences". La page "Préférences" s'affiche et liste toutes les préférences héritées.
- Pour modifier les préférences héritées ou ajouter de nouvelles préférences, accédez à la
Dans l'onglet Préférences, cliquez sur Modifier. Une boîte de dialogue Préférences s'ouvre.
où vous pouvez saisir une nouvelle préférence ou ignorer les préférences du système hérité
préférences. Cliquez sur
<span class="material-icons">add</span>Ajouter. saisissez la clé et la nouvelle valeur de la macro. - Cliquez sur Enregistrer et fermer. La préférence de l'application est créée avec la nouvelle valeur, qui remplace les préférences du système ou de l'espace de noms. Lorsque vous exécuter le pipeline déployé, les préférences de l'application apparaissent sous forme d'environnement d'exécution que vous pouvez modifier si vous le souhaitez.
Configurer des arguments d'exécution
Configurez des arguments d'exécution afin de fournir des valeurs pour les macros et éventuellement de remplacer lorsque vous déployez ou exécutez un pipeline.
Arguments d'exécution pour la prévisualisation des données
Pour définir les valeurs de chaque macro du pipeline lorsque vous prévisualisez des données dans le Cloud Data Fusion Studio, cliquez sur Liste > Configurer.
Arguments d'exécution pour exécuter des pipelines déployés
Si un pipeline inclut des macros, après son déploiement, vous ajouterez un environnement d'exécution , qui définissent les valeurs des macros.
Lorsque vous déployez un pipeline avec des macros, cliquez sur le menu déroulant à côté de Run (Exécuter) pour ouvrir la boîte de dialogue Runtime arguments (Arguments d'exécution) et définir les valeurs pour chaque macro.
Définir les préférences de pipeline
Pour définir les préférences d'un pipeline, procédez comme suit:
- Dans Cloud Data Fusion Studio, cliquez sur Liste >. Déployé, puis sélectionnez un pipeline déployé pour l'afficher.
- Dans le canevas du pipeline, cliquez sur menu déroulant situé à côté de Exécuter. La boîte de dialogue Arguments d'exécution s'ouvre.
- Dans la boîte de dialogue Arguments d'exécution qui s'affiche, spécifiez la valeur du paramètre chaque macro du pipeline.
Présentation des préférences, des macros et des arguments d'exécution
Vous pouvez définir des préférences aux niveaux suivants:
- Préférences système : niveau le plus élevé où vous définissez des préférences, telles que les valeurs par défaut, pour l'ensemble de l'instance.
- Préférences de l'espace de noms: hérite des préférences du champ Système préférences. Vous pouvez définir des préférences pour un espace de noms spécifique.
- Application preference (Préférences d'application) : hérite des préférences de l'option Namespace (Espace de noms) préférences. Ils peuvent être propres à des applications individuelles (contenant pipelines).
- Arguments d'exécution : paires clé-valeur qui remplacent les préférences à des niveaux supérieurs.
Si vous définissez une préférence au niveau des préférences système, les valeurs de macro se remplissent automatiquement dans les préférences d'espace de noms, d'application, et les arguments d'exécution.
Si vous définissez des préférences au niveau de l'espace de noms, elles apparaissent dans la liste des préférences héritées dans les préférences de l'application. Si un pipeline utilise définie dans une préférence, les arguments d'exécution utilisent la paire valeur/clé définie dans la préférence. Vous pouvez remplacer les valeurs des préférences à chaque niveau de préférence et dans les arguments d'exécution.
Utilisez des préférences, des macros et des arguments d'exécution dans les cas d'utilisation suivants :
- Développer un pipeline Intégrer des macros dans les cas où vous avez besoin de valeurs dynamiques pour les propriétés du plug-in.
- Facultatif : définir les préférences Définissez les valeurs par défaut des macros dans les préférences à différents niveaux.
- Déployer et exécuter un pipeline Lorsque vous exécutez un pipeline,
se produit:
- Les préférences du niveau approprié, telles que les préférences système ou les préférences d'espace de noms, sont appliquées.
- Tous les arguments d'exécution que vous fournissez remplacent les valeurs aux macros dans les préférences.
- Cloud Data Fusion résout les macros en remplaçant leurs valeurs à partir des arguments d'exécution (ou des préférences si aucun argument d'exécution n'est fourni).
Exemple
Un pipeline dispose d'un récepteur BigQuery dont la valeur de nom de table doit changent de façon dynamique. Pour configurer cette fonctionnalité, procédez comme suit :
- Définissez la macro. Dans les propriétés du récepteur, utilisez la macro suivante dans
Champ Nom de la table:
${output_table}. - **Définissez votre préférence. **Dans les préférences de l'application, définissez une préférence.
pour
${output_table}par la valeur par défaut suivante:data_staging. - Définissez l'argument d'exécution. Lors de l'exécution du pipeline, indiquez
argument d'exécution (par exemple,
output_table=final_analytics_data).
Lors de l'exécution du pipeline, la macro ${output_table}, est remplacée par final_analytics_data.