Gestire le configurazioni della pipeline

Questa pagina descrive i modi in cui puoi gestire le configurazioni per le pipeline di cui è stato eseguito il deployment.

Prima di iniziare

Questa pagina richiede alcune conoscenze di base sui profili di calcolo e sul rendimento della pipeline.

Configurazione del profilo di calcolo

Puoi modificare il profilo di calcolo o personalizzare i parametri del profilo di calcolo predefinito che esegue la pipeline. Per saperne di più, consulta Gestire i profili di calcolo e Proprietà del provisioner Dataproc.

Configurazione della pipeline

Per ogni pipeline, puoi attivare o disattivare la misurazione, ad esempio le metriche sul tempo. Per impostazione predefinita, la misurazione è attiva. Se la misurazione è abilitata, quando esegui la pipeline, Cloud Data Fusion genera metriche per ogni nodo della pipeline. Le seguenti metriche vengono visualizzate nella scheda Metriche di ogni nodo. Le metriche di origine, trasformazione e destinazione variano leggermente.

  • Record in uscita
  • Registrazioni in
  • Numero totale di errori
  • Record in uscita al secondo
  • Tempo di elaborazione minimo (un record)
  • Tempo di elaborazione massimo (un record)
  • Deviazione standard
  • Tempo di elaborazione medio

Ti consigliamo di attivare sempre la funzionalità di misurazione, a meno che l'ambiente non abbia risorse limitate.

Per le pipeline in streaming, puoi anche impostare l'intervallo batch (secondi/minuti) per i dati in streaming.

Configurazione del motore

Apache Spark è il motore di esecuzione predefinito. Puoi passare parametri personalizzati per Spark. Per ulteriori informazioni, consulta Elaborazione parallela.

Risorse

Puoi specificare la memoria e il numero di CPU per il driver e l'executor Spark. Il driver orchestra il job Spark. L'executor gestisce l'elaborazione dei dati in Spark. Per ulteriori informazioni, consulta Gestione delle risorse.

Avviso sulla pipeline

Puoi configurare la pipeline in modo da inviare avvisi e avviare le attività di post-elaborazione al termine dell'esecuzione della pipeline. Puoi creare avvisi relativi alla pipeline quando la progetti. Dopo aver eseguito il deployment della pipeline, puoi visualizzare gli avvisi. Puoi modificare la pipeline per modificare le impostazioni di avviso. Per ulteriori informazioni, consulta Creare avvisi.

Pushdown delle trasformazioni

Puoi attivare il pushdown delle trasformazioni se vuoi che una pipeline esegua determinate trasformazioni in BigQuery. Per ulteriori informazioni, consulta la panoramica del pushdown delle trasformazioni.

Passaggi successivi