Questa pagina spiega come impostare preferenze, macro e argomenti di runtime nelle pipeline Cloud Data Fusion.
Termini chiave
- Macro
- Le macro sono segnaposto all'interno delle configurazioni dei plug-in di Cloud Data Fusion. Sono rappresentate da variabili racchiuse tra
${ }, ad esempio${input_file_path}. Le macro introducono flessibilità nelle pipeline consentendoti di utilizzare valori segnaposto, che vengono sostituiti con valori effettivi in fase di esecuzione. In questo modo viene attivata la configurazione dinamica per i parametri, ad esempio i percorsi dei file e i nomi delle tabelle. - Preferenze
- Le preferenze sono configurazioni predefinite che si applicano a vari livelli all'interno di Cloud Data Fusion, inclusi il sistema stesso, gli spazi dei nomi, le applicazioni (che contengono le pipeline) e i singoli programmi all'interno delle pipeline. Le preferenze ti consentono di impostare valori predefiniti per le configurazioni più utilizzate. I valori predefiniti possono essere ereditati da pipeline e programmi a livelli inferiori, riducendo le attività di configurazione ripetitive.
- Argomenti di runtime
- Gli argomenti di runtime sono coppie chiave-valore che forniscono valori per le macro e potenzialmente sostituiscono le preferenze quando esegui il deployment o l'esecuzione di una pipeline. Sono altamente personalizzabili e ti consentono di modificare le configurazioni su base singola esecuzione della pipeline, senza modificare la pipeline o le preferenze sottostanti.
Configurare le macro
Per utilizzare una macro per il valore di una proprietà del plug-in:
- In Cloud Data Fusion Studio, vai al nodo del plug-in e fai clic su proprietà.
- Vai al campo in cui vuoi utilizzare una macro e fai clic su** M** accanto al campo.
- Inserisci una chiave per la macro. Ad esempio, nelle proprietà del plug-in della fonte file, inserisci la seguente chiave nel campo Formato:
${format.type}.
Impostare i valori delle macro
Imposta i valori per le macro prima di visualizzare l'anteprima dei dati di una pipeline e prima di eseguire una pipeline. Puoi impostare i valori delle macro nei seguenti punti:
- Plug-in Argument Setter
- Argomenti di runtime
- Preferenze relative alle applicazioni
- Preferenze dello spazio dei nomi
- Preferenze di sistema
L'esecuzione di una pipeline con macro comporta quanto segue:
- Cloud Data Fusion controlla innanzitutto se la pipeline include un plug-in di impostazione degli argomenti:
- Se ha un settatore di argomenti, Cloud Data Fusion utilizza i valori per le macro.
- Se non è presente un set di argomenti o se esistono macro che non sono assegnate nel set di argomenti, Cloud Data Fusion utilizza i valori negli argomenti di runtime della pipeline.
- Gli argomenti di runtime ereditano le macro dalle preferenze dell'applicazione.
- Le preferenze dell'applicazione ereditano le macro dalle preferenze dello spazio dei nomi
- Le preferenze dello spazio dei nomi ereditano le macro dalle preferenze di sistema.
Esempi
Un utilizzo comune delle macro è nei campi del percorso. Invece di utilizzare percorsi hardcoded, puoi utilizzare percorsi dinamici. Ad esempio, in un plug-in di origine Cloud Storage, puoi sostituire il valore del percorso con più macro. Il seguente valore suddivide gli elementi del bucket, della cartella e del file: gs://${bucket.name}/${folder}/${file.name}.
Il seguente esempio carica i dati da un bucket statico e da un file con un nome non statico. Inserisci il nome del bucket e utilizza una macro per il nome file: gs://<BUCKET_NAME>/${folder}/${file.name}.
Per saperne di più, consulta Macro e funzioni macro.
Configurare le preferenze
La sezione seguente descrive la gerarchia delle preferenze, in cui le preferenze vengono impostate, ereditate o sostituite.
Impostare le preferenze di sistema
Puoi impostare le preferenze per il sistema. Poiché i nomi delle macro devono essere univoci, ogni preferenza si applica a tutte le pipeline che utilizzano la macro.
Ad esempio, hai una pipeline con un'origine database e utilizzi le macro per il nome e il nome utente del database. Puoi impostare le preferenze relative al database e al nome utente nelle preferenze di sistema. Ogni spazio dei nomi e ogni pipeline in quell'istanza eredita queste preferenze.
Per impostare le preferenze di sistema:
- In Cloud Data Fusion Studio, fai clic su Amministrazione sistema > Configurazione.
- Fai clic su Preferenze di sistema > Modifica preferenze di sistema.
- Nella finestra di dialogo Preferenze, inserisci nuove preferenze o modifica quelle esistenti.
- Fai clic su Salva e chiudi. Queste preferenze sono disponibili in tutti gli spazi dei nomi, le applicazioni e le pipeline.
Impostare le preferenze relative allo spazio dei nomi
Puoi impostare le preferenze per singoli spazi dei nomi.
Quando imposti le preferenze dello spazio dei nomi, vengono visualizzate eventuali preferenze di sistema ereditate. Quando imposti le preferenze per un ambito, puoi sostituire le preferenze ereditate impostando valori diversi. Puoi anche aggiungere nuove preferenze dello spazio dei nomi.
Per impostare le preferenze del namespace:
- In Cloud Data Fusion Studio, fai clic su Amministratore di sistema > Configurazione.
- Fai clic su Spazi dei nomi e seleziona uno spazio dei nomi per aprire la relativa pagina di configurazione.
- Per modificare le preferenze ereditate o aggiungerne di nuove, vai alla
scheda Preferenze e fai clic su Modifica. Si apre una finestra di dialogo Preferenze in cui puoi inserire una nuova preferenza o sostituire le preferenze di sistema ereditate. Fai clic su
<span class="material-icons">add</span>Aggiungi e inserisci la chiave e il nuovo valore per la macro. - Fai clic su Salva e chiudi. La preferenza dello spazio dei nomi viene creata con il nuovo valore, che ha la precedenza sulla preferenza di sistema.
Impostare le preferenze dell'applicazione
Puoi impostare le preferenze per ogni pipeline di cui è stato eseguito il deployment in un ambito. Quando imposti le preferenze dell'applicazione, vengono visualizzate eventuali preferenze di sistema e dello spazio dei nomi ereditate. Quando imposti le preferenze per un'applicazione, puoi sostituire quelle ereditate impostando valori diversi o aggiungere nuove preferenze per l'applicazione:
- In Cloud Data Fusion Studio, fai clic su e poi sul menu Spazio dei nomi per selezionare lo spazio dei nomi in cui vuoi aggiungere le preferenze dell'applicazione.
- Fai clic su Centro di controllo.
- Fai clic sull'icona a forma di chiave inglese Imposta preferenze. Viene visualizzata la pagina Preferenze, che elenca tutte le preferenze ereditate.
- Per modificare le preferenze ereditate o aggiungerne di nuove, vai alla
scheda Preferenze e fai clic su Modifica. Si apre una finestra di dialogo Preferenze in cui puoi inserire una nuova preferenza o sostituire le preferenze di sistema ereditate. Fai clic su
<span class="material-icons">add</span>Aggiungi e inserisci la chiave e il nuovo valore per la macro. - Fai clic su Salva e chiudi. La preferenza dell'applicazione viene creata con il nuovo valore, che sostituisce le preferenze di sistema o dello spazio dei nomi. Quando esamini la pipeline di cui è stato eseguito il deployment, le preferenze dell'applicazione vengono visualizzate come argomenti di runtime, che puoi eventualmente modificare.
Configura gli argomenti di runtime
Configura gli argomenti di runtime per fornire valori per le macro e potenzialmente eseguire la sostituzione delle preferenze quando esegui il deployment o l'esecuzione di una pipeline.
Argomenti di runtime per l'anteprima dei dati
Per impostare i valori per ogni macro nella pipeline quando esamini i dati in Cloud Data Fusion Studio, fai clic su Elenco > Configura.
Argomenti di runtime per l'esecuzione delle pipeline di cui è stato eseguito il deployment
Se una pipeline include macro, dopo averla dispiata, aggiungi argomenti di runtime che impostano i valori per le macro.
Quando esegui il deployment di una pipeline con macro, fai clic sul menu a discesa accanto a Esegui per aprire la finestra di dialogo Argomenti di runtime e impostare i valori per ogni macro.
Impostare le preferenze della pipeline
Per impostare le preferenze per una pipeline:
- In Cloud Data Fusion Studio, fai clic su Elenco > Eseguito e seleziona una pipeline di cui visualizzare i dettagli.
- Nel riquadro della pipeline, fai clic sul menu a discesa accanto a Esegui. Viene visualizzata la finestra di dialogo Argomenti di runtime.
- Nella finestra di dialogo Argomenti di runtime che si apre, specifica il valore per ogni macro nella pipeline.
Panoramica di preferenze, macro e argomenti di runtime
Puoi configurare le preferenze ai seguenti livelli:
- Preferenze di sistema: il livello più alto in cui imposti le preferenze, come quelle predefinite, per l'intera istanza.
- Preferenze dello spazio dei nomi: eredita le preferenze da Preferenze di sistema. Puoi impostare le preferenze per uno spazio dei nomi specifico.
- Preferenze applicazione: eredita le preferenze da Preferenze nome spazio. Possono essere univoci per singole applicazioni (contenente pipeline).
- Argomenti di runtime: coppie chiave-valore che sostituiscono le preferenze a livelli superiori.
Se imposti una preferenza a livello di preferenze di sistema, i valori delle macro vengono completati automaticamente nelle preferenze dello spazio dei nomi, nelle preferenze dell'applicazione e negli argomenti di runtime.
Se imposti le preferenze a livello di spazio dei nomi, queste vengono visualizzate nell'elenco delle preferenze ereditate nelle preferenze dell'applicazione. Se una pipeline utilizza una macro definita in una preferenza, gli argomenti di runtime utilizzano la coppia chiave-valore definita nella preferenza. Puoi sostituire i valori delle preferenze a ciascun livello di preferenza e negli argomenti di runtime.
Utilizza preferenze, macro e argomenti di runtime per i seguenti casi d'uso:
- Sviluppo di una pipeline. Incorpora le macro dove hai bisogno di valori dinamici per le proprietà del plug-in.
- (Facoltativo) Impostazione delle preferenze. Impostare valori predefiniti per le macro nelle preferenze a vari livelli.
- Esegui il deployment e l'esecuzione di una pipeline. Quando esegui una pipeline, si verifica quanto segue:
- Vengono applicate le preferenze per il livello pertinente, ad esempio le preferenze di sistema o dello spazio dei nomi.
- Gli eventuali argomenti di runtime forniti sostituiscono i valori assegnati alle macro nelle preferenze.
- Cloud Data Fusion risolve le macro sostituendo i relativi valori dagli argomenti di runtime (o dalle preferenze se non viene fornito un argomento di runtime).
Esempio
Una pipeline ha un destinazione BigQuery con un valore del nome della tabella che deve cambiare dinamicamente. Per configurare questa opzione:
- Imposta la macro. Nelle proprietà della destinazione, utilizza la seguente macro nel
campo Nome tabella:
${output_table}. - **Imposta la preferenza. **Nelle preferenze dell'applicazione, imposta una preferenza per
${output_table}con il seguente valore predefinito:data_staging. - Imposta l'argomento di runtime. Quando esegui la pipeline, fornisci un
argomento di runtime, ad esempio
output_table=final_analytics_data.
Durante l'esecuzione della pipeline, la macro ${output_table}, viene sostituita con
final_analytics_data.