Componenti Dataproc

Quando crei un cluster, i componenti standard dell'ecosistema Apache Hadoop vengono installati automaticamente nel cluster (consulta l'elenco delle versioni di Dataproc). Puoi installare componenti aggiuntivi, denominati "componenti facoltativi", sul cluster quando lo crei. L'aggiunta di componenti facoltativi a un cluster è simile a quella tramite azioni di inizializzazione, ma offre i seguenti vantaggi:

• Tempi di avvio dei cluster più rapidi
• Compatibilità testata con versioni specifiche di Dataproc
• Utilizzo di un parametro cluster invece di uno script di azioni di inizializzazione
• I componenti facoltativi sono integrati con altri componenti di Dataproc. Ad esempio, quando Anaconda e Zeppelin sono installati su un cluster, Zeppelin utilizzerà l'interprete e le librerie Python di Anaconda.

I componenti facoltativi vengono installati su un cluster prima che vengano eseguite azioni di inizializzazione sul cluster.

Componenti facoltativi disponibili

Componente facoltativo	COMPONENT_NAME nei comandi gcloud e nelle richieste API	Versione immagine	Fase di rilascio
Anaconda	ANACONDA	1.3 e versioni successive (non disponibile a partire dalla 2.0)	GA
Docker	DOCKER	1.5 e versioni successive	GA
Flink	FLINK	1.5 e versioni successive	GA
HBase	HBASE	1.5 e versioni successive (non disponibile in 2.1 e versioni successive)	Beta
WebHCat di Hive	HIVE_WEBHCAT	1.3 e versioni successive	GA
Hudi	Hudi	1.5 e versioni successive	GA
Blocco note Jupyter	GIOVE	1.3 e versioni successive	GA
Presto	PRESTO	1.3 e versioni successive (non disponibile a partire dalla 2.1)	GA
Intervallo	RANGER	1.3 e versioni successive	GA
Solr	SOLR	1.3 e versioni successive	GA
Trino	TRINO	2.1 e versioni successive	GA
Blocco note Zeppelin	ZEPPELINA	1.3 e versioni successive	GA
Zookeeper	ZOOKEEPER	1.0 e versioni successive	GA

Vedi Interfacce web dei cluster per la connessione alle interfacce web dei componenti in esecuzione sui cluster. Consulta anche il gateway dei componenti di Dataproc, che consente di connettersi alle interfacce web del core di Dataproc e dei componenti facoltativi, incluse le UI YARN, HDFS, Jupyter e Zeppelin, senza richiedere l'utilizzo di tunnel SSH o la modifica delle regole firewall per consentire il traffico in entrata.

Aggiunta di componenti facoltativi

Nota: gli esempi di utilizzo riportati di seguito si riferiscono ai componenti GA (disponibilità generale).

Comando g-cloud

Per creare un cluster Dataproc e installare uno o più componenti facoltativi sul cluster, utilizza il comando gcloud beta dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

I componenti facoltativi possono essere specificati tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Console

Nella console Google Cloud, apri la pagina Crea un cluster di Dataproc. Il riquadro Configura cluster è selezionato. In Componenti facoltativi nella sezione Componenti, seleziona uno o più componenti da installare sul cluster.