Questa pagina descrive come eseguire una pipeline in Cloud Data Fusion su un cluster Dataproc esistente.
Per impostazione predefinita, Cloud Data Fusion crea cluster temporanei per ogni pipeline: crea un cluster all'inizio dell'esecuzione della pipeline, poi lo elimina al termine dell'esecuzione. Anche se questo comportamento consente di risparmiare sui costi garantendo che le risorse vengano create solo quando necessario, questo comportamento predefinito potrebbe non essere appropriato nei seguenti scenari:
Se il tempo necessario per creare un nuovo cluster per ogni pipeline è proibitivo per il tuo caso d'uso,
Se la tua organizzazione richiede che la creazione del cluster sia gestita centralmente, ad esempio quando vuoi applicare determinati criteri per tutti i cluster Dataproc.
Per questi scenari, esegui invece le pipeline su un cluster esistente con i seguenti passaggi.
Prima di iniziare
È necessario quanto segue:
Un'istanza di Cloud Data Fusion.
Un cluster Dataproc esistente.
Se esegui le tue pipeline in Cloud Data Fusion versione 6.2, utilizza un'immagine Dataproc precedente che viene eseguita con Hadoop 2.x (ad esempio 1.5-debian10) oppure esegui l'upgrade alla versione più recente di Cloud Data Fusion.
Connettiti al cluster esistente
In Cloud Data Fusion 6.2.1 e versioni successive, puoi connetterti a un cluster Dataproc esistente quando crei un nuovo profilo Compute Engine.
Vai all'istanza:
Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.
Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.
Fai clic su Amministratore di sistema.
Fai clic sulla scheda Configuration (Configurazione).
Fai clic su Profili di computing del sistema.
Fai clic su Crea nuovo profilo. Si apre una pagina di provisioner.
Fai clic su Data Dataproc esistente.
Inserisci le informazioni per profilo, cluster e monitoraggio.
Fai clic su Crea.
Configura la pipeline per utilizzare il profilo personalizzato
Vai all'istanza:
Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.
Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.
Vai alla pipeline nella pagina di Studio.
Fai clic su Configura.
Fai clic su Configurazione calcolo.
Fai clic sul profilo che hai creato.
Figura 1: fai clic sul profilo personalizzato Eseguire la pipeline. Viene eseguito sul cluster Dataproc esistente.
Passaggi successivi
- Scopri di più sulla configurazione dei cluster.
- Risolvi i problemi relativi all'eliminazione dei cluster.