Tareas comunes y fundamentales
-
Autentícate en Dataproc
Aprende a autenticarte en Dataproc.
-
Crea un clúster
Crea un clúster con la consola de Google Cloud o Google Cloud CLI.
-
Crea un clúster parcial
Crear un clúster parcial que tenga una cantidad mínima de trabajadores principales
-
Crea una imagen personalizada
Aprende a crear una imagen personalizada y, luego, instalarla en un clúster de Dataproc.
-
Crear y administrar etiquetas
Crea y administra etiquetas de usuario de Dataproc.
-
Administra las dependencias de Java y Scala para Spark
Aprende cómo administrar dependencias de Java y Scala, y resolver conflictos para aplicaciones Apache Spark.
-
Administra un clúster
Actualiza o cierra un clúster.
-
Ejecutar notebooks de Vertex AI Workbench en clústeres de Dataproc
Ejecutar el archivo de notebook de una instancia administrada en un clúster de Dataproc.
-
Configura un proyecto
Configura un proyecto nuevo para usar Dataproc.
-
Iniciar y detener clústeres
Iniciar y detener un clúster de Dataproc
-
Envía un trabajo
Envía diferentes tipos de trabajo con la consola de Google Cloud, Google Cloud CLI o un SSH en una instancia de clúster.
Dataproc en GKE
-
Descripción general de Dataproc on GKE
Una descripción general de Dataproc en GKE .
-
Guía de inicio rápido: Ejecuta un trabajo de Spark en Dataproc en GKE
Crear un clúster virtual de Dataproc on GKE y, luego, ejecutar un trabajo de Spark en él.
-
Recrea y actualiza un clúster virtual de Dataproc on GKE
Volver a crear y actualizar un clúster virtual de Dataproc on GKE
-
Borra un clúster virtual de Dataproc on GKE
Borrar un clúster virtual de Dataproc on GKE
-
Imágenes de contenedor personalizadas de Dataproc en GKE
Cómo crear imágenes de contenedor de Dataproc on GKE.
-
Diagnostica un clúster de Dataproc on GKE
Cómo diagnosticar un clúster de Dataproc on GKE
-
Identidad y roles de IAM de Dataproc on GKE
permisos de IAM de Dataproc on GKE.
-
Registros de Dataproc on GKE
Ver registros de Dataproc on GKE
-
Dataproc en grupos de nodos de GKE
Administrar Dataproc en grupos de nodos de GKE
-
Versiones de actualización de Dataproc on GKE
Información sobre la versión de actualización de Dataproc on GKE.
-
Escala un clúster de Dataproc on GKE
Cómo escalar un clúster de Dataproc on GKE.
Dataproc Hub
-
Descripción general de Dataproc Hub
Comprende los conceptos básicos de Dataproc Hub.
-
Configura un Dataproc Hub
Configura Dataproc Hub para abrir la IU de JupyterLab en clústeres de Dataproc de usuario único.
-
Usa un Dataproc Hub
Usa una instancia de Dataproc Hub para abrir la IU de JupyterLab en un clúster de Dataproc de un solo usuario.
Grupos de nodos de Dataproc
Plantillas de Dataproc
-
Plantillas de Dataproc
Usa plantillas de Dataproc para configurar y ejecutar cargas de trabajo y trabajos de Dataproc.
-
Registros de Dataproc
Usa Cloud Logging para ver los registros de trabajos y del clúster de Dataproc.
-
Resultado y registros del trabajo de Dataproc
Configurar y ver el resultado del trabajo de Dataproc
-
Ver registros de auditoría de Dataproc
Cómo ver los registros de auditoría de Dataproc
-
Cloud Monitoring
Usa Cloud Monitoring para ver las métricas del clúster de Dataproc.
-
Crear alertas de métricas de Dataproc
Crear alertas de métricas de trabajos y clústeres de Dataproc
-
Cloud Profiler
Usa Cloud Profiler para generar perfiles de uso de CPU de trabajos y asignaciones de memoria de Spark y Hadoop.
-
Migra datos de HDFS
Migra datos del sistema de archivos Hadoop (HDFS) a Cloud Storage para su uso con Dataproc y otros servicios.
-
Migra clústeres
Migra clústeres de Apache Spark y Apache Hadoop a Cloud Dataproc.
-
Migra trabajos
Traslada Spark, Hadoop, Hive, Pig y otros tipos de trabajo a Cloud Dataproc.