Questa pagina descrive i modi in cui è possibile gestire le configurazioni per le pipeline di cui è stato eseguito il deployment.
Prima di iniziare
Questa pagina richiede alcune conoscenze di base sui profili di calcolo e le prestazioni della pipeline.
Configurazione del profilo di calcolo
Puoi modificare il profilo di computing o personalizzare i parametri del profilo di calcolo predefinito che esegue la pipeline. Per maggiori informazioni, consulta Gestire i profili di calcolo e Proprietà del provisioner Dataproc.
Configurazione della pipeline
Per ogni pipeline, puoi abilitare o disabilitare la strumentazione, ad esempio le metriche di temporizzazione. Per impostazione predefinita, la strumentazione è attiva. Se la strumentazione è abilitata, quando esegui la pipeline, Cloud Data Fusion genera metriche per ciascun nodo della pipeline. Le seguenti metriche vengono visualizzate nella scheda Metriche di ciascun nodo. Le metriche di origine, trasformazione e sink variano leggermente.
- Record in uscita
- Record in
- Numero totale di errori
- Record in uscita al secondo
- Tempo di elaborazione minimo (un record)
- Tempo di elaborazione massimo (un record)
- Deviazione standard
- Tempo di elaborazione medio
Ti consigliamo di attivare sempre la strumentazione, a meno che l'ambiente non sia a corto di risorse.
Per le pipeline in modalità flusso, puoi anche impostare l'intervallo batch (secondi/minuti) per i flussi di dati.
Configurazione del motore
Apache Spark è il motore di esecuzione predefinito. Puoi passare parametri personalizzati per Spark. Per saperne di più, consulta Elaborazione parallela.
Risorse
Puoi specificare la memoria e il numero di CPU per il driver e l'esecutore Spark. Il conducente orchestra il lavoro di Spark. L'esecutore gestisce l'elaborazione dei dati in Spark. Per saperne di più, consulta Gestione delle risorse.
Avviso della pipeline
Puoi configurare la pipeline per inviare avvisi e avviare attività di post-elaborazione al termine dell'esecuzione della pipeline. Gli avvisi della pipeline vengono creati quando progetti la pipeline. Dopo aver eseguito il deployment della pipeline, puoi visualizzare gli avvisi. Puoi modificare la pipeline per cambiare le impostazioni di avviso. Per ulteriori informazioni, consulta Creare avvisi.
Push-down trasformazione
Puoi abilitare il push-down di trasformazione se vuoi che una pipeline esegua determinate trasformazioni in BigQuery. Per ulteriori informazioni, consulta la panoramica della Transformation Pushdown.
Passaggi successivi
- Scopri di più su come visualizzare e scaricare i log della pipeline in Cloud Data Fusion.