Crea un clúster de Dataproc con la consola de Google Cloud

Crea un clúster de Dataproc con la consola de Google Cloud

En esta página, se muestra cómo usar la consola de Google Cloud para crear una clúster de Dataproc, ejecuta una consulta Apache Spark trabajo en el clúster y, luego, modificarás la cantidad de trabajadores en el clúster.

---

Para seguir la guía paso a paso en esta tarea directamente en la consola de Google Cloud, haz clic en Guiarme:

GUIARME

---

Antes de comenzar

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. Enable the Dataproc API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

7. Enable the Dataproc API.

   Enable the API

Crea un clúster

1. En la consola de Google Cloud, dirígete a Dataproc página Clústeres.

   Ir a los clústeres

2. Haga clic en Crear clúster.

3. En el diálogo Crear clúster de Dataproc, haz clic en Crear. la fila Clúster en Compute Engine.

4. En el campo Nombre del clúster, ingresa example-cluster.

5. En las listas Región y Zona, selecciona una región y una zona.

   Selecciona una región (por ejemplo, us-east1 o europe-west1). para aislar recursos, como instancias de máquina virtual (VM) y Cloud Storage y las ubicaciones de almacenamiento de metadatos que usan Dataproc, en la región. Para ver más información, consulta Regiones y zonas disponibles y Extremos regionales.

6. Para todas las demás opciones, usa la configuración predeterminada.

7. Para crear el clúster, haz clic en Crear.

   El clúster nuevo aparecerá en una lista en la página Clústeres. El estado es Aprovisionando hasta que el clúster esté listo para usarse y, luego, cambia a Running. El aprovisionamiento del clúster puede tardar minutos.

Enviar un trabajo de Spark

Envía un trabajo de Spark que estime un valor de pi:

1. En el menú de navegación de Dataproc, haz clic en Trabajos.

2. En la página Trabajos, haz clic en Submit job y, luego, haz lo siguiente: lo siguiente:

   1. En el campo Clúster, haz clic en Explorar.
   2. En la fila example-cluster, haz clic en Seleccionar.
   3. En el campo ID del trabajo, usa la configuración predeterminada o proporciona un ID que es única para tu proyecto de Google Cloud.
   4. En Tipo de trabajo, selecciona Spark.
   5. En el campo Main class or jar, ingresa org.apache.spark.examples.SparkPi
   6. En el campo Archivos JAR, ingresa file:///usr/lib/spark/examples/jars/spark-examples.jar

   7. En el campo Arguments, ingresa 1000 para configurar la cantidad de tareas.

      Nota: El trabajo de Spark calcula pi mediante el Método Monte Carlo. Genera puntos x e y en un plano cartesiano que modela una círculo encerrado por un cuadrado unitario. El argumento de entrada (1000) determina el número de pares x-y que se generarán; cuantos más pares se generen, más mayor exactitud de la estimación. Esta estimación utiliza Nodos trabajadores de Dataproc para paralelizar el procesamiento. Para más información, consulta Cómo estimar el número pi con el método de Montecarlo y JavaSparkPi.java en GitHub.

   8. Haz clic en Enviar.

      Tu trabajo se muestra en la página Detalles del trabajo. El estado del trabajo es Running o Starting, y luego cambia a Succeeded se envía.

      Para evitar el desplazamiento en el resultado, haz clic en Ajuste de línea: desactivado. El resultado es similar a lo siguiente:

      Pi is roughly 3.1416759514167594
      

      Para ver los detalles del trabajo, haz clic en la pestaña Configuración.

Actualiza un clúster

Cambia la cantidad de instancias de trabajador para actualizar tu clúster:

1. En el menú de navegación, haz clic en Clústeres.
2. En la lista de clústeres, haz clic en example-cluster.

3. En la página Detalles del clúster, haz clic en la pestaña Configuración.

   Se mostrará la configuración del clúster.

4. Haz clic en  Editar.

5. En el campo Nodos trabajadores, ingresa 5.

6. Haz clic en Guardar.

El clúster ya se actualizó. Para disminuir la cantidad de nodos trabajadores al el valor original, sigue el mismo procedimiento.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

1. En la página Detalles del clúster de example-cluster, haz clic en Haz clic en Borrar para borrar el clúster.
2. Para confirmar que deseas borrar el clúster, haz clic en Borrar.

¿Qué sigue?

• Prueba esta guía de inicio rápido con otras herramientas:
  • Usa el Explorador de API.
  • Usa Google Cloud CLI.
• Aprende a diseñar reglas de firewall sólidas cuando creas un proyecto.
• Obtén más información sobre cómo escribir y ejecutar un trabajo de Spark Scala.