Componenti di Dataproc

Quando crei un cluster, i componenti dell'ecosistema Apache Hadoop standard vengono installati automaticamente nel cluster (vedi Elenco versioni di Dataproc). Puoi installare componenti aggiuntivi, chiamati "componenti facoltativi", sul cluster quando crei il cluster. L'aggiunta di componenti facoltativi a un cluster è simile all'aggiunta di componenti tramite l'utilizzo di azioni di inizializzazione, ma presenta i seguenti vantaggi:

• Tempi di avvio del cluster più rapidi
• Testato compatibilità per versioni specifiche di Dataproc
• Uso di un parametro cluster anziché di uno script di azione di inizializzazione
• I componenti facoltativi sono integrati con altri componenti Dataproc. Ad esempio, quando Anaconda e Zeppelin sono installati su un cluster, Zeppelin utilizzerà l'interprete Python e le librerie di Anaconda.

I componenti facoltativi vengono installati in un cluster prima che vengano eseguite azioni di inizializzazione sul cluster.

Componenti facoltativi disponibili

Componente facoltativo	COMPONENT_NAME nei comandi gcloud e nelle richieste API	Versione immagine	Fase di rilascio
Anaconda	ANACONDA	1.3 e versioni successive (non disponibile in 2.0 e versioni successive)	GA
Docker	DOCKER	1.5 e versioni successive	GA
Faccina con ciglia	FLINK	1.5 e versioni successive	GA
HBase	HBASE	1.5 e versioni successive (non disponibile in 2.1 e versioni successive)	Beta
Hive WebHCat	HIVE_WEBHCAT	1.3 e versioni successive	GA
Hudi	Hudi	1.5 e versioni successive	GA
Taccuino Jupyter	GIORNATORE	1.3 e versioni successive	GA
Presto	PRESTO	1.3 e versioni successive (non disponibile in 2.1 e versioni successive)	GA
Ranger	DISTANZA	1.3 e versioni successive	GA
Solr	SOLARI	1.3 e versioni successive	GA
Trino	TRINO	2.1 e versioni successive	GA
Taccuino Zeppelin	ZEPPELIN	1.3 e versioni successive	GA
Zookeeper	ZOOKEE	1.0 e versioni successive	GA

Vedi Interfacce web del cluster per la connessione alle interfacce web dei componenti in esecuzione sui cluster. Visita anche il gateway dei componenti di Dataproc che ti consente di connetterti alle interfacce web del core Dataproc e dei componenti facoltativi, inclusi gli UI YARN, HDFS, Jupyter e Zeppelin, senza richiedere l'uso di tunnel SSH o la modifica di regole firewall per consentire il traffico in entrata.

Aggiunta di componenti facoltativi

Nota: gli esempi di utilizzo riportati di seguito riguardano i componenti Disponibilità generale (GA).

Comando gcloud

Per creare un cluster Dataproc e installare uno o più componenti facoltativi sul cluster, utilizza il comando gcloud beta dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

I componenti facoltativi possono essere specificati tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.

Console

Nella console Google Cloud, apri la pagina Crea un cluster di Dataproc. Il riquadro Configurazione cluster è selezionato. Nella sezione Componenti della sezione Componenti, seleziona uno o più componenti da installare sul cluster.