Gestire le configurazioni della pipeline

Questa pagina descrive i modi in cui puoi gestire le configurazioni per le pipeline di cui è stato eseguito il deployment.

Prima di iniziare

Questa pagina richiede alcune conoscenze di base sui profili di calcolo e delle prestazioni della pipeline.

Configurazione del profilo di calcolo

Puoi modificare il profilo di calcolo o personalizzare i parametri del profilo di calcolo predefinito che esegue la pipeline. Per ulteriori informazioni, vedi Gestisci i profili di calcolo e le proprietà del provisioner Dataproc.

Configurazione della pipeline

Per ogni pipeline, puoi abilitare o disabilitare la strumentazione, ad esempio la tempistica metriche di valutazione. Per impostazione predefinita, la misurazione è attiva. Se la misurazione è abilitata, quando esegui la pipeline, Cloud Data Fusion genera metriche per ogni nodo della pipeline. Le seguenti metriche vengono visualizzate nella scheda Metriche di ogni nodo. La le metriche di origine, di trasformazione e di sink variano leggermente.

  • Record in uscita
  • Registrazioni in
  • Numero totale di errori
  • Record inviati al secondo
  • Tempo di elaborazione minimo (un record)
  • Tempo di elaborazione massimo (un record)
  • Deviazione standard
  • Tempo di elaborazione medio

Ti consigliamo di attivare sempre la funzionalità di misurazione, a meno che l'ambiente non abbia risorse limitate.

Per le pipeline in modalità flusso, puoi anche impostare l'intervallo batch (secondi/minuti) per i flussi di dati.

Configurazione del motore

Apache Spark è il motore di esecuzione predefinito. Puoi passare parametri personalizzati per Spark. Per ulteriori informazioni, consulta Elaborazione parallela.

Risorse

Puoi specificare la memoria e il numero di CPU per il driver e l'executor Spark. Il driver orchestra il job Spark. L'esecutore gestisce i dati dell'elaborazione in Spark. Per saperne di più, consulta Gestione delle risorse.

Avviso sulla pipeline

Puoi configurare la pipeline per inviare avvisi e avviare attività di post-elaborazione al termine dell'esecuzione della pipeline. Puoi creare avvisi della pipeline quando la progetti. Dopo aver eseguito il deployment della pipeline, puoi visualizzare gli avvisi. Puoi modificare della pipeline per modificare le impostazioni degli avvisi. Per ulteriori informazioni, vedi Crea avvisi.

Pushdown delle trasformazioni

Puoi attivare il pushdown delle trasformazioni se vuoi che una pipeline esegua determinate trasformazioni in BigQuery. Per ulteriori informazioni, consulta la panoramica del pushdown delle trasformazioni.

Passaggi successivi