Gestisci le configurazioni della pipeline

Questa pagina descrive i modi in cui è possibile gestire le configurazioni per le pipeline di cui è stato eseguito il deployment.

Prima di iniziare

Questa pagina richiede alcune conoscenze di base sui profili di calcolo e le prestazioni della pipeline.

Configurazione del profilo di calcolo

Puoi modificare il profilo di computing o personalizzare i parametri del profilo di calcolo predefinito che esegue la pipeline. Per maggiori informazioni, consulta Gestire i profili di calcolo e Proprietà del provisioner Dataproc.

Configurazione della pipeline

Per ogni pipeline, puoi abilitare o disabilitare la strumentazione, ad esempio le metriche di temporizzazione. Per impostazione predefinita, la strumentazione è attiva. Se la strumentazione è abilitata, quando esegui la pipeline, Cloud Data Fusion genera metriche per ciascun nodo della pipeline. Le seguenti metriche vengono visualizzate nella scheda Metriche di ciascun nodo. Le metriche di origine, trasformazione e sink variano leggermente.

  • Record in uscita
  • Record in
  • Numero totale di errori
  • Record in uscita al secondo
  • Tempo di elaborazione minimo (un record)
  • Tempo di elaborazione massimo (un record)
  • Deviazione standard
  • Tempo di elaborazione medio

Ti consigliamo di attivare sempre la strumentazione, a meno che l'ambiente non sia a corto di risorse.

Per le pipeline in modalità flusso, puoi anche impostare l'intervallo batch (secondi/minuti) per i flussi di dati.

Configurazione del motore

Apache Spark è il motore di esecuzione predefinito. Puoi passare parametri personalizzati per Spark. Per saperne di più, consulta Elaborazione parallela.

Risorse

Puoi specificare la memoria e il numero di CPU per il driver e l'esecutore Spark. Il conducente orchestra il lavoro di Spark. L'esecutore gestisce l'elaborazione dei dati in Spark. Per saperne di più, consulta Gestione delle risorse.

Avviso della pipeline

Puoi configurare la pipeline per inviare avvisi e avviare attività di post-elaborazione al termine dell'esecuzione della pipeline. Gli avvisi della pipeline vengono creati quando progetti la pipeline. Dopo aver eseguito il deployment della pipeline, puoi visualizzare gli avvisi. Puoi modificare la pipeline per cambiare le impostazioni di avviso. Per ulteriori informazioni, consulta Creare avvisi.

Push-down trasformazione

Puoi abilitare il push-down di trasformazione se vuoi che una pipeline esegua determinate trasformazioni in BigQuery. Per ulteriori informazioni, consulta la panoramica della Transformation Pushdown.

Passaggi successivi