Guía de inicio rápido para usar la consola

En esta página, se muestra cómo usar Google Cloud Platform Console para crear un clúster de Cloud Dataproc, ejecutar un trabajo simple de Apache Spark en el clúster y luego modificar la cantidad de trabajadores en él.

Puedes descubrir cómo realizar las mismas tareas con Guías de inicio rápido sobre cómo usar el Explorador de API y Guías de inicio rápido sobre cómo usar la herramienta de línea de comandos de gcloud.

Antes de comenzar

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. Select or create a GCP project.

   Note: If you don't plan to keep the resources you create in this procedure, create a new project instead of selecting an existing project. After you finish following these steps, you can delete the project, removing all resources associated with the project.

   Go to the Project selector page

3. Comprueba que la facturación esté habilitada en tu proyecto.

   Descubre cómo puedes habilitar la facturación

4. Habilita las Cloud Dataproc API necesarias.

   Habilita las API

Crea un clúster

1. Ve a la página Clústeres de Cloud Dataproc de GCP Console.
2. Haz clic en Create cluster (Crear clúster).
3. Ingresa example-cluster en el campo Name (Nombre).
4. Selecciona una región y una zona para el clúster en los menús desplegables Region (Región) y Zone (Zona) (región global y zona us-central1-a se muestran seleccionadas, a continuación). La región global es la predeterminada. Este es un extremo multirregión especial que puede implementar instancias en cualquier zona de Compute Engine especificada por el usuario. Además, puedes especificar distintas regiones, como us-east1 o europe-west1, para aislar recursos (como las instancias de VM y Cloud Storage) y las ubicaciones de almacenamiento de metadatos que Cloud Dataproc usa en la región especificada por el usuario. Consulta Extremos regionales para obtener más información sobre la diferencia entre los extremos globales y regionales. Consulta Regiones y zonas disponibles para obtener información sobre cómo seleccionar una región. También puedes ejecutar el comando gcloud compute regions list para ver una lista de las regiones disponibles.

5. Usa los valores predeterminados para todas las demás opciones.

   

6. Haz clic en Create (Crear) para generar el clúster.

El clúster nuevo debe aparecer en la lista de clústeres. El estado del clúster aparece como "Provisioning" (Aprovisionándose) hasta que esté listo para usarse y después cambia a "Running" (En ejecución).

Envía un trabajo

Haz lo siguiente para ejecutar un trabajo de Spark de muestra:

1. Selecciona Jobs (Trabajos) en el menú de navegación izquierdo para cambiar a la vista de trabajos de Dataproc.
2. Haz clic en Submit job (Enviar trabajo).
3. Selecciona tu clúster nuevo example-cluster del menú desplegable Cluster (Clúster).
4. Selecciona Spark del menú desplegable Job type (Tipo de trabajo).
5. Ingresa file:///usr/lib/spark/examples/jars/spark-examples.jar en el campo Jar file (Archivo jar).
6. Ingresa org.apache.spark.examples.SparkPi en el campo Main class or jar (Jar o clase principal).
7. Ingresa 1000 en el campo Arguments (Argumentos) para configurar el número de tareas.

Cómo calcula pi el trabajo: el trabajo de Spark usa el método de Montecarlo para estimar el valor de pi. Genera coordenadas x,y en un plano cartesiano que da forma a un cuadrado unitario que encierra un círculo. El argumento de entrada (1000) determina la cantidad de pares x,y que se generarán; cuantos más pares se generen, mayor será la precisión de la estimación. Se aprovechan los nodos trabajadores de Cloud Dataproc para procesar de forma paralela la estimación. Para obtener más información, consulta Cómo estimar pi con el método de Montecarlo y JavaSparkPi.java en GitHub.

1. Haz clic en Submit (Enviar).

Tu trabajo debería aparecer en la lista de Jobs (Trabajos), que muestra los trabajos de su proyecto con el clúster, el tipo y el estado actual. El estado del trabajo aparece como "Running" (En ejecución) y cambia a "Succeeded" (Finalizado con éxito) cuando se completa. Realiza lo siguiente para ver el resultado del trabajo finalizado:

1. Haz clic en el ID de trabajo, en la lista de Jobs (Trabajos).
2. Selecciona Line Wrapping (Ajuste de línea) para evitar el desplazamiento.

Debes ver que tu trabajo calculó un valor aproximado de pi correctamente.

Actualiza un clúster

Haz lo siguiente para cambiar la cantidad de instancias de nodos trabajadores de su clúster:

1. En el panel de navegación izquierdo, seleccione Clusters (Clústeres) para regresar a la vista de clústeres de Cloud Dataproc.
2. Haz clic en example-cluster en la lista de Clusters (Clústeres). De forma predeterminada, la página muestra una descripción general del uso de CPU del clúster.
3. Haz clic en Configuration (Configuración) para mostrar la configuración actual de tu clúster.
4. Haga clic en Edit. Ahora, puedes editar la cantidad de nodos trabajadores.
5. Ingresa 5 en el campo Nodos trabajadores.
6. Haz clic en Save (Guardar).

Tu clúster ya se actualizó. Sigue el mismo procedimiento para disminuir la cantidad de nodos trabajadores al valor original.

Limpia

Para evitar que se generen cargos en tu cuenta de GCP por los recursos que usaste en esta guía de inicio rápido:

1. En la página Clúster de example-cluster, haz clic en Borrar para borrar el clúster. Se te solicitará que confirmes si deseas borrar el clúster. Haz clic en Aceptar.
2. También debes quitar cualquier depósito de Cloud Storage que creó el clúster mediante la ejecución del siguiente comando:

   gsutil rm gs://bucket/subdir/**
   

Pasos siguientes

• Obtén información sobre cómo escribir y ejecutar un trabajo de Scala.
• Obtén información sobre cómo instalar y ejecutar un notebook de Jupyter.