Componenti di Dataproc

Quando crei un cluster, l'ecosistema Apache Hadoop standard vengono installati automaticamente sul cluster (vedi Elenco delle versioni di Dataproc). Puoi installare componenti aggiuntivi, chiamati "componenti facoltativi", sul cluster quando lo crei. L'aggiunta di componenti facoltativi a un cluster è simile all'aggiunta di componenti tramite l'uso di azioni di inizializzazione, ma presenta i seguenti vantaggi:

• Tempi di avvio del cluster più rapidi
• Compatibilità testata con versioni di Dataproc specifiche
• Utilizzo di un parametro cluster anziché di uno script di azioni di inizializzazione

di Gemini Advanced.

Su un cluster sono installati componenti facoltativi prima di qualsiasi azioni di inizializzazione vengono eseguite sul cluster.

Componenti facoltativi disponibili

Componente facoltativo	COMPONENT_NAME nei comandi gcloud e nelle richieste API	Versione immagine	Fase di rilascio
Docker	DOCKER	1.5 e versioni successive	GA
Flink	FLINK	1.5 e versioni successive	GA
HBase	HBASE	1.5 e versioni successive (non disponibile in 2.1 e versioni successive)	Beta
WebHCat Hive	HIVE_WEBHCAT	1.3 e versioni successive	GA
Hudi	Hudi	1.5 e versioni successive	GA
Blocco note Jupyter	JUPYTER	1.3 e versioni successive	GA
Presto	PRESTO	1.3 e versioni successive (non disponibile in 2.1 e versioni successive)	GA
Ranger	RANGER	1.3 e versioni successive	GA
Solr	SOLR	1.3 e versioni successive	GA
Trino	TRINO	2.1 e versioni successive	GA
Blocco note di Zeppelin	ZEPPELIN	1.3 e versioni successive	GA
Zookeeper	ZOOKEEPER	1.0 e versioni successive	GA

Vedi Interfacce web dei cluster per connetterti alle interfacce web dei componenti in esecuzione sui cluster. Consulta anche Dataproc Gateway dei componenti che ti permette di connetterti alle interfacce web di Dataproc componenti principali e opzionali, tra cui YARN, HDFS, Jupyter, e Zeppelin, senza richiedere l'uso di i tunnel SSH o modifica delle regole firewall per consentire il traffico in entrata.

Aggiunta di componenti facoltativi

Nota: gli esempi di utilizzo riportati di seguito sono relativi Disponibilità generale (GA) componenti.

Comando g-cloud

Per creare un cluster Dataproc e installare uno o più componenti facoltativi del cluster, utilizza gcloud beta dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Per specificare componenti facoltativi tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di un clusters.create richiesta.

Console

Nella console Google Cloud, apri Dataproc Crea un cluster . Il riquadro Configura cluster è selezionato. In Componenti facoltativi nella Componenti, seleziona uno o più componenti da installare sul cluster.