Questa pagina spiega l'impostazione di preferenze, macro e argomenti di runtime in pipeline di Cloud Data Fusion.
Termini chiave
- Macro
- Le macro sono segnaposto all'interno delle configurazioni del plug-in Cloud Data Fusion. Sono rappresentate da variabili racchiuse tra
${ }, ad esempio${input_file_path}. Le macro introducono flessibilità nelle pipeline permettendoti di utilizzare valori segnaposto, che vengono sostituiti con valori effettivi in runtime. In questo modo viene attivata la configurazione dinamica per i parametri, come i percorsi dei file e i nomi delle tabelle. - Preferenze
- Le preferenze sono configurazioni predefinite che si applicano diversi livelli in Cloud Data Fusion, tra cui il sistema stesso, gli spazi dei nomi, (che contengono pipeline) e i singoli programmi al suo interno pipeline di dati. Le preferenze ti consentono di impostare i valori predefiniti per configurazioni. I valori predefiniti possono essere ereditati da pipeline e programmi a livelli inferiori, riducendo le attività di configurazione ripetitive.
- Argomenti di runtime
- Gli argomenti di runtime sono coppie chiave/valore che forniscono valori per ed eventualmente sostituire le preferenze quando esegui il deployment o l'esecuzione di una pipeline. Sono altamente personalizzabili e ti consentono di modificare le configurazioni su base singola esecuzione della pipeline, senza modificare la pipeline o le preferenze sottostanti.
Configurare le macro
Per utilizzare una macro per il valore di una proprietà del plug-in:
- In Cloud Data Fusion Studio, vai al nodo del plug-in e fai clic su proprietà.
- Vai al campo in cui vuoi utilizzare una macro e fai clic su **M** accanto al campo.
- Inserisci una chiave per la macro. Ad esempio, nel plug-in dell'origine file
proprietà, inserisci la seguente chiave nel campo Formato:
${format.type}.
Impostare i valori delle macro
Imposta i valori per le macro prima di visualizzare l'anteprima dei dati per una pipeline e prima di eseguirli una pipeline. Puoi impostare i valori delle macro nelle seguenti posizioni:
- Plug-in per il setter di argomenti
- Argomenti di runtime
- Preferenze di applicazione
- Preferenze dello spazio dei nomi
- Preferenze di sistema
L'esecuzione di una pipeline con macro permette di:
- Cloud Data Fusion controlla innanzitutto se la pipeline include un plug-in di impostazione degli argomenti:
- Se ha un setter di argomenti, Cloud Data Fusion utilizza per le macro.
- Se non è presente un set di argomenti o se esistono macro che non sono assegnate nel set di argomenti, Cloud Data Fusion utilizza i valori negli argomenti di runtime della pipeline.
- Gli argomenti di runtime ereditano le macro dalle preferenze dell'applicazione.
- Le preferenze dell'applicazione ereditano le macro dalle preferenze dello spazio dei nomi
- Le preferenze dello spazio dei nomi ereditano le macro dalle preferenze di sistema.
Esempi
Un utilizzo comune delle macro è nei campi del percorso. Anziché utilizzare percorsi hardcoded, puoi utilizzare percorsi dinamici. Ad esempio, in un plug-in di origine Cloud Storage, puoi sostituire il valore del percorso con più macro. Il seguente valore divide
elementi del bucket, della cartella e del file: gs://${bucket.name}/${folder}/${file.name}.
L'esempio seguente carica i dati da un bucket statico e da un file con un nome non statico. Inserisci il nome del bucket e utilizza una macro per il nome file: gs://<BUCKET_NAME>/${folder}/${file.name}.
Imposta le preferenze
La sezione seguente descrive la gerarchia delle preferenze, in cui le preferenze vengono impostati, ereditati o sostituiti.
Imposta preferenze di sistema
Puoi impostare le preferenze per il sistema. Poiché i nomi delle macro devono essere univoci, ciascuna preferenza si applica a tutte le pipeline che utilizzano la macro.
Ad esempio, hai una pipeline con un'origine database e utilizzi le macro per il nome e il nome utente del database. Puoi impostare le preferenze relative al database e al nome utente nelle preferenze di sistema. Ogni spazio dei nomi e ogni pipeline in quell'istanza eredita queste preferenze.
Per impostare le preferenze di sistema:
- In Cloud Data Fusion Studio, fai clic su Amministratore di sistema > Configurazione.
- Fai clic su Sistema preferenze > Modifica preferenze di sistema.
- Nella finestra di dialogo Preferenze, inserisci nuove preferenze o modifica quelle esistenti.
- Fai clic su Salva e chiudi. Queste preferenze sono disponibili in tutti gli spazi dei nomi, le applicazioni e le pipeline.
Imposta preferenze dello spazio dei nomi
Puoi impostare preferenze per singoli spazi dei nomi.
Quando imposti le preferenze dello spazio dei nomi, vengono visualizzate eventuali preferenze di sistema ereditate. Quando imposti le preferenze per uno spazio dei nomi, puoi ignorare le preferenze ereditate impostando valori diversi. Puoi anche aggiungere nuove preferenze per lo spazio dei nomi.
Per impostare le preferenze dello spazio dei nomi:
- In Cloud Data Fusion Studio, fai clic su Amministratore di sistema > Configurazione.
- Fai clic su Spazi dei nomi e seleziona uno spazio dei nomi per aprire la relativa pagina di configurazione.
- Per modificare le preferenze ereditate o aggiungerne di nuove, vai alla
scheda Preferenze e fai clic su Modifica. Si apre la finestra di dialogo Preferenze
dove puoi inserire una nuova preferenza o sostituire il sistema ereditato
preferenze. Fai clic su
<span class="material-icons">add</span>Aggiungi e inserisci la chiave e il nuovo valore per la macro. - Fai clic su Salva e chiudi. La preferenza per lo spazio dei nomi viene creata che ha la precedenza sulla preferenza di sistema.
Impostazione delle preferenze per le applicazioni
Puoi impostare le preferenze per ogni pipeline di cui è stato eseguito il deployment in uno spazio dei nomi. Quando imposti le preferenze dell'applicazione, vengono visualizzate eventuali preferenze di sistema e dello spazio dei nomi ereditate. Quando imposti le preferenze per un'applicazione, puoi sostituire quelle ereditate impostando valori diversi o aggiungere nuove preferenze per l'applicazione:
- In Cloud Data Fusion Studio, fai clic su e poi sul menu Spazio dei nomi per seleziona lo spazio dei nomi in cui vuoi aggiungere le preferenze dell'applicazione.
- Fai clic su Centro di controllo.
- Fai clic sull'icona a forma di chiave inglese Imposta preferenze. Viene visualizzata la pagina Preferenze, che elenca tutte le preferenze ereditate.
- Per modificare le preferenze ereditate o aggiungerne di nuove, vai alla
scheda Preferenze e fai clic su Modifica. Si apre una finestra di dialogo Preferenze in cui puoi inserire una nuova preferenza o sostituire le preferenze di sistema ereditate. Fai clic su
<span class="material-icons">add</span>Aggiungi e inserisci la chiave e il nuovo valore per la macro. - Fai clic su Salva e chiudi. La preferenza per l'applicazione viene creata nuovo valore, che sostituisce le preferenze di sistema o dello spazio dei nomi. Quando esamini la pipeline di cui è stato eseguito il deployment, le preferenze dell'applicazione vengono visualizzate come argomenti di runtime, che puoi eventualmente modificare.
Configura argomenti di runtime
Configura argomenti di runtime per fornire valori per le macro e potenzialmente sostituirli delle tue applicazioni, quando esegui il deployment o l'esecuzione di una pipeline.
Argomenti di runtime per l'anteprima dei dati
Per impostare i valori per ogni macro nella pipeline quando esamini in anteprima i dati in Cloud Data Fusion Studio, fai clic su Elenco > Configura.
Argomenti di runtime per l'esecuzione delle pipeline di cui è stato eseguito il deployment
Se una pipeline include macro, dopo aver eseguito il deployment di una pipeline, aggiungi il runtime argomenti, che impostano i valori delle macro.
Quando esegui il deployment di una pipeline con macro, fai clic su Menu a discesa accanto a Esegui per aprire la finestra di dialogo Argomenti di runtime e impostare i valori per ciascun .
Impostare le preferenze della pipeline
Per impostare le preferenze per una pipeline:
- In Cloud Data Fusion Studio, fai clic su Elenco >. Deployment eseguito e seleziona una pipeline di cui è stato eseguito il deployment per visualizzarla.
- Nel riquadro della pipeline, fai clic sul menu a discesa accanto a Esegui. Viene visualizzata la finestra di dialogo Argomenti di runtime.
- Nella finestra di dialogo Argomenti di runtime che si apre, specifica il valore per ogni macro nella pipeline.
Panoramica di preferenze, macro e argomenti di runtime
Puoi impostare le preferenze ai seguenti livelli:
- Preferenze di sistema: il livello più alto in cui imposti le preferenze, come quelle predefinite, per l'intera istanza.
- Preferenze spazio dei nomi: eredita le preferenze da Sistema preferenze. Puoi impostare le preferenze per uno spazio dei nomi specifico.
- Preferenze applicazione: eredita le preferenze dallo spazio dei nomi preferenze. Possono essere univoci per singole applicazioni (contenente pipeline).
- Argomenti di runtime: coppie chiave/valore che eseguono l'override delle preferenze in livelli superiori.
Se imposti una preferenza a livello di preferenze di sistema, i valori delle macro vengono completati automaticamente nelle preferenze dello spazio dei nomi, nelle preferenze dell'applicazione e negli argomenti di runtime.
Se imposti le preferenze a livello di spazio dei nomi, queste vengono visualizzate nell'elenco delle preferenze ereditate nelle preferenze dell'applicazione. Se una pipeline utilizza una macro definita in una preferenza, gli argomenti di runtime utilizzano la coppia chiave-valore definita nella preferenza. Puoi sostituire i valori delle preferenze a ciascun livello di preferenza e negli argomenti di runtime.
Utilizza preferenze, macro e argomenti di runtime per i seguenti casi d'uso:
- Sviluppare una pipeline. Incorpora le macro quando hai bisogno di valori dinamici per le proprietà dei plug-in.
- (Facoltativo) Impostare le preferenze. Impostare valori predefiniti per le macro nelle preferenze a vari livelli.
- Esegui il deployment e l'esecuzione di una pipeline. Quando esegui una pipeline, si verifica quanto segue:
- Vengono applicate le preferenze per il livello pertinente, ad esempio le preferenze di sistema o dello spazio dei nomi.
- Gli eventuali argomenti di runtime forniti sostituiscono i valori assegnati alle macro nelle preferenze.
- Cloud Data Fusion risolve le macro sostituendo le relative dagli argomenti di runtime (o le preferenze, se un argomento non è specificato).
Esempio
Una pipeline ha un destinazione BigQuery con un valore del nome della tabella che deve cambiare dinamicamente. Per configurarlo, procedi nel seguente modo:
- Imposta la macro. Nelle proprietà dell'emissario, utilizza la seguente macro nel
campo Nome tabella:
${output_table}. - **Imposta la preferenza. **Nelle preferenze dell'applicazione, imposta una preferenza per
${output_table}con il seguente valore predefinito:data_staging. - Imposta l'argomento di runtime. Quando esegui la pipeline, fornisci
un argomento runtime, ad esempio
output_table=final_analytics_data.
Durante l'esecuzione della pipeline, la macro ${output_table}, viene sostituita con
final_analytics_data.