Componentes de Dataproc

Cuando creas un clúster, los componentes estándar del ecosistema de Apache Hadoop se instalan automáticamente en el clúster (consulta Lista de versiones de Dataproc). Puedes instalar componentes adicionales, llamados "componentes opcionales", en el clúster cuando creas el clúster. Agregar componentes opcionales a un clúster es similar a agregar componentes por medio de acciones de inicialización, pero tiene las siguientes ventajas:

• Tiempos de inicio más rápidos de los clústeres
• Compatibilidad probada con versiones específicas de Dataproc
• Uso de un parámetro del clúster en lugar de una secuencia de comandos de acción de inicialización
• Los componentes opcionales están integrados en otros componentes de Dataproc. Por ejemplo, cuando Anaconda y Zeppelin están instalados en un clúster, Zeppelin usará las bibliotecas y el intérprete de Python de Anaconda.

Los componentes opcionales se pueden agregar a los clústeres creados con la versión 1.3 de Dataproc y las posteriores.

Los componentes opcionales se instalan en un clúster antes de que se ejecuten en él las acciones de inicialización.

Componentes opcionales disponibles

Componente opcional	COMPONENT_NAME en comandos de gcloud y solicitudes a la API	Versión de la imagen	Etapa de actualización
Anaconda	ANACONDA	Versión 1.3 y posteriores (no disponible en la versión 2.0 y posteriores)	DG
Docker	DOCKER	1.5 y posteriores	DG
Druid	DRUID	1.3 y posteriores	Alfa
Flink	FLINK	1.5 y posteriores	DG
HBase	BASE	1.5 y posteriores	Beta
Hive WebHCat	HIVE_WEBHCAT	1.3 y posteriores	DG
Notebook de Jupyter	JUPYTER	1.3 y posteriores	DG
Presto	PRESTO	1.3 y posteriores	DG
Ranger	RANGER	1.3 y posteriores	DG
Solr	SOLR	1.3 y posteriores	DG
Notebook de Zeppelin	ZEPPELIN	1.3 y posteriores	DG
Zookeeper	ZOOKEEPER	1.0 y versiones posteriores	DG

Consulta Interfaces web del clúster para conectarte a las interfaces web de componentes que se ejecutan en clústeres. Consulta también la puerta de enlace de componentes de Dataproc, que te permite conectarte a las interfaces web de los componentes principales y opcionales de Dataproc, incluidas las interfaces de usuario de YARN, HDFS, Jupyter y Zeppelin, sin necesidad de usar túneles SSH o la modificación de las reglas de firewall para permitir el tráfico entrante.

Agrega componentes opcionales

Nota: Los siguientes ejemplos de uso corresponden a componentes de disponibilidad general (DG). Consulta la página del componente Druid para ver ejemplos de uso que se aplican a este componente de versión previa a la disponibilidad general.

Comando de gcloud

Para crear un clúster de Dataproc e instalar uno o más componentes opcionales en el clúster, usa el comando gcloud beta dataproc clusters create cluster-name con la marca --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API de REST

Los componentes opcionales se pueden especificar mediante la API de Dataproc con SoftwareConfig.Component como parte de una solicitud clusters.create.

Console

En la consola, abre la página Crear un clúster de Dataproc. Se selecciona el panel Configurar clúster. En Componentes opcionales, en la sección Componentes, selecciona uno o más componentes que desees instalar en tu clúster.