Conceptos

Descripción general de Dataproc

• ¿Qué es Dataproc?

  Una introducción a Dataproc y sus características

Accede a clústeres

• Interfaces web de clústeres

  Interfaces web disponibles para los componentes de código abierto de Dataproc y cómo conectarse a ellos

• Puerta de enlace del componente

  Usa la puerta de enlace de componentes para conectarte a los componentes del clúster.

• Configuración de red

  Configura tu red de clúster.

• Conéctate mediante SSH a un clúster

  Usa SSH para conectarte a un nodo del clúster.

Componentes

• Descripción general

  Descripción general de los componentes del clúster

• Componente opcional de Anaconda

  Instala el componente Anaconda en tu clúster.

• Componente opcional de Docker

  Instala el componente de Docker en tu clúster.

• Componente opcional de Druid ^Alfa

  Instala el componente de Druid en tu clúster.

• Componente opcional de Flink

  Instala el componente de Flink en tu clúster.

• Componente opcional de HBase^Beta

  Instala el componente HBase en tu clúster.

• Componente opcional de Hive WebHCat

  Instala el componente WebHCat de Hive en tu clúster.

• Componente opcional de hudi

  Instala el componente Hudi en tu clúster.

• Componente opcional de Jupyter

  Instala el componente de Jupyter en tu clúster.

• Componente opcional de Presto

  Instala el componente de Presto en tu clúster.

• Componente opcional de Ranger

  Instala el componente de Ranger en tu clúster.

• Usar Ranger con Kerberos

  Usa el componente Ranger con Kerberos en tu clúster.

• Crea una copia de seguridad y restablece un esquema de Ranger

  Sigue las instrucciones para crear una copia de seguridad y restablecer un esquema de Ranger.

• Componente opcional de Solr

  Instala el componente Solr en tu clúster.

• Componente opcional de Trino

  Instala el componente de Trino en tu clúster.

• Componente opcional de Zeppelin

  Instala el componente de Zeppelin en tu clúster.

• Componente opcional de Zookeeper

  Instala el componente Zookeeper en tu clúster.

Opciones de Compute

• Tipos de máquina admitidos

  Dataproc le permite especificar tipos personalizados de máquinas para cargas de trabajo especiales.

• Clústeres de GPU

  Usa unidades de procesamiento de gráficos (GPU) con tus clústeres de Dataproc.

• Unidades de estado sólido locales

  Adjunta SSD locales a clústeres de Dataproc.

• Plataforma de CPU mínima

  Especifica una plataforma de CPU mínima para tu clúster de Dataproc.

• Discos de arranque en unidades de estado sólido persistentes (PD-SSD)

  Crea clústeres con discos de arranque SSD persistentes.

• Trabajadores secundarios: VM interrumpibles y no interrumpibles

  Comprende y usa trabajadores secundarios interrumpibles y no interrumpibles en tu clúster de Dataproc.

Configura y ejecuta trabajos

• El ciclo de un trabajo

  Comprende la regulación de trabajo de Dataproc.

• Cómo solucionar problemas relacionados con retrasos en los trabajos

  Comprende y evita las causas comunes de demoras en los trabajos.

• Servidor de historial persistente

  Obtén información sobre el servidor de historial persistente de Dataproc.

• Trabajos reiniciables

  Crea trabajos que se reinician en caso de error. Ideal para trabajos de transmisión y de larga duración.

• Ejecuta un trabajo de Spark en Dataproc en GKE

  Crea un clúster virtual de Dataproc en GKE y, luego, ejecuta un trabajo de Spark en el clúster virtual.

• Personaliza el entorno de ejecución del trabajo de Spark con Docker en YARN

  Usa una imagen de Docker para personalizar tu entorno de trabajo de Spark.

Configura clústeres

• Ajuste de escala automático de clústeres

  Obtén información sobre cómo usar el ajuste de escala automático para cambiar el tamaño automáticamente de los clústeres y así satisfacer las demandas de las cargas de trabajo de los usuarios.

• Ubicación de zona automática

  Permite que Dataproc seleccione una zona para tu clúster.

• Metadatos de clústeres

  Obtén información sobre los metadatos de clúster de Dataproc y cómo configurar tus propios metadatos personalizados.

• Propiedades del clúster

  Propiedades de configuración para los componentes de código abierto de Dataproc y cómo acceder a ellos.

• Modo de flexibilidad mejorada

  Para mantener los trabajos en ejecución, cambia la ubicación en la que se guardan los datos intermedios.

• Modo de alta disponibilidad

  Aumenta la resiliencia de HDFS y YARN para la falta de disponibilidad del servicio

• Acciones de inicialización

  Especifica acciones para ejecutar en todos o algunos nodos de clúster en la configuración.

• Configuración de red

  Configura tu red de clúster.

• Cómo escalar clústeres

  Aumenta o disminuye el número de nodos trabajadores en un clúster, incluso mientras se ejecutan trabajos.

• Eliminación programada

  Borra tu clúster luego de un período específico o en un momento específico.

• Configuración de seguridad

  Habilita las funciones de seguridad del clúster.

• Procesamiento confidencial

  Crea un clúster con Confidential VMs

• Claves de encriptación administradas por el cliente (CMEK)

  Administra las claves encriptadas para los datos de trabajo y clúster de Dataproc.

• Complemento de Ranger Cloud Storage

  Usa el complemento de Ranger en Cloud Storage con Dataproc".

• Cuentas de servicio de Dataproc

  Comprender las cuentas de servicio de Dataproc

• Clústeres de nodo único

  Crea clústeres de zona de pruebas básicos con un solo nodo.

• Clústeres de nodo de usuario único

  Crea clústeres en nodos de instancia única.

• Buckets de etapa de pruebas y temporales

  Obtén información sobre la etapa de pruebas de Dataproc y los depósitos temporales.

Conectores

• Conector de BigQuery

  Usa BigQuery para Apache Hadoop en tus clústeres de Dataproc.

• Ejemplos de código del conector de BigQuery

  Consulta las muestras de código de BigQuery.

• Bigtable con Dataproc

  Usa la API compatible con HBase de Cloud Bigtable Apache con tus clústeres de Dataproc.

• Conector de Cloud Storage

  Usa el conector de Cloud Storage en tus clústeres.

• Pub/Sub Lite con Dataproc

  Usa Pub/Sub Lite con Dataproc.

Almacenamiento de datos

• Almacenamiento de datos en Hadoop

  Comprender el almacenamiento de datos de Hadoop en Dataproc

Identity and Access Management (IAM)

• Permisos de Dataproc y funciones de IAM

  Configura funciones de IAM para permitir que los usuarios y grupos accedan a los recursos de tu proyecto de Dataproc.

• Principales de Dataproc y sus funciones

  Obtén información sobre las principales de Dataproc y las funciones necesarias para crear, administrar y ejecutar tareas en un clúster.

• IAM detallada de Dataproc

  Configura permisos detallados, específicos del clúster.

• Autenticación del clúster personal de Dataproc

  Configura la autenticación del clúster personal.

• Instancias múltiples basadas en la cuenta de servicio de Dataproc

  Configura clústeres multiusuario

• Administra recursos de Dataproc con restricciones personalizadas

  Configurar restricciones personalizadas para administrar los recursos de Dataproc

Extremos regionales de Dataproc

• Extremos regionales

  Usa extremos regionales con los recursos de Dataproc.

Servicios

• Servicios

  Obtén más información sobre los servicios de Dataproc.

Control de versiones

• Descripción general

  Versiones de software usadas en clústeres de Dataproc y cómo seleccionarlas.

• Descripción general

  Versiones de software usadas en clústeres de Dataproc y cómo seleccionarlas.

• Versiones 2.1.x

  Versión 2.1 de la imagen de Dataproc.

• Versiones de actualización 2.0.x

  Versión 2.0 de la imagen de Dataproc.

• Versiones 1.5.x

  Versión 1.5 de la imagen de Dataproc.

• Versiones 1.4.x

  Versión 1.4 de la imagen de Dataproc.

• Listas de versiones de imágenes de clústeres de Dataproc

  Listas de versiones admitidas en la actualidad en los clústeres de Dataproc.

Plantillas de flujo de trabajo

• Descripción general

  Obtén información sobre las plantillas de flujo de trabajo.

• Supervisa y depura flujos de trabajo

  Cómo supervisar y depurar flujos de trabajo.

• Parametrización

  Aprende a parametrizar tus plantillas de flujo de trabajo.

• Usa archivos YAML

  Aprende a usar archivos YAML en tu flujo de trabajo.

• Usa selectores de clúster

  Aprende a usar selectores de clúster en tu flujo de trabajo.

• Usa flujos de trabajo intercalados

  Aprende a crear y ejecutar flujos de trabajo intercalados.

• Usa flujos de trabajo

  Aprende a configurar y ejecutar flujos de trabajo.

• Soluciones de programación del flujo de trabajo

  Ejecuta flujos de trabajo con Cloud Scheduler, Cloud Functions y Cloud Composer.