Guía de inicio rápido: Crea un clúster de Dataproc con Cloud Console

Crear un clúster de Dataproc mediante Cloud Console

En esta página, se muestra cómo usar Google Cloud Console para crear un clúster de Dataproc, ejecutar un trabajo básico de Apache Spark en el clúster y, luego, modificar la cantidad de trabajadores en él.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

  3. Comprueba que la facturación esté habilitada en tu proyecto.

    Descubre cómo puedes habilitar la facturación

  4. Habilita la API de Dataproc.

    Habilita la API

  5. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

  6. Comprueba que la facturación esté habilitada en tu proyecto.

    Descubre cómo puedes habilitar la facturación

  7. Habilita la API de Dataproc.

    Habilita la API

Cree un clúster

  1. En Cloud Console, ve a la página de Clústeres de Dataproc.

    Ir a los clústeres

  2. Haga clic en Crear clúster.

  3. En el campo Nombre del clúster, ingresa example-cluster.

  4. En las listas Región y Zona, selecciona una región y una zona.

    Puedes seleccionar una región específica (por ejemplo, us-east1 o europe-west1) para aislar recursos como las instancias de máquina virtual (VM) y las ubicaciones de almacenamiento de metadatos y Cloud Storage que usa Dataproc en la región especificada. También puedes seleccionar global, que es un extremo multirregión especial que puede implementar instancias en cualquier zona de Compute Engine especificada por el usuario. Para obtener más información, consulta Regiones y zonas disponibles y Extremos regionales.

  5. Para todas las demás opciones, usa la configuración predeterminada.

  6. Para crear el clúster, haz clic en Crear.

    Tu clúster nuevo aparecerá en una lista en la página Clústeres. El estado es Aprovisionando hasta que el clúster esté listo para usarse y, luego, el estado cambia a En ejecución. El aprovisionamiento del clúster puede llevar unos minutos.

Enviar un trabajo de Spark

Envíe un trabajo de Spark que calcule un valor aproximado de pi:

  1. En el menú de navegación de Dataproc, haz clic en Trabajos.
  2. En la página Trabajos, haz clic en Enviar trabajo y, luego, haz lo siguiente:

    1. En el campo Clúster, haz clic en Explorar.
    2. En la fila de example-cluster, haga clic en Seleccionar.
    3. En el campo ID de trabajo, usa la configuración predeterminada o proporciona un ID único para tu proyecto de Google Cloud.
    4. En Tipo de trabajo, selecciona Spark.
    5. En el campo Main class or jar, ingresa org.apache.spark.examples.SparkPi.
    6. En el campo Jar files (Archivos JAR), ingresa file:///usr/lib/spark/examples/jars/spark-examples.jar.
    7. En el campo Arguments (Argumentos), ingresa 1000 para configurar la cantidad de tareas.

    8. Haga clic en Submit.

      Tu trabajo se muestra en la página Detalles del trabajo. El estado del trabajo es Running o Running, y luego cambia a Succeeded después de que se envió.

      Para evitar el desplazamiento en el resultado, haz clic en Ajuste de línea: desactivado. El resultado es similar al siguiente:

      Pi is roughly 3.1416759514167594
      

      Para ver los detalles del trabajo, haz clic en la pestaña Configuración.

Actualice un clúster

Para actualizar tu clúster, cambia la cantidad de instancias de trabajador:

  1. En el menú de navegación, haz clic en Clústeres.
  2. En la lista de clústeres, haz clic en example-cluster.
  3. En la página Detalles del clúster, haz clic en la pestaña Configuración.

    Se muestra la configuración de tu clúster.

  4. Haz clic en  Editar.

  5. En el campo Nodos trabajadores, ingresa 5.

  6. Haz clic en Guardar.

Su clúster ya se actualizó. Para disminuir la cantidad de nodos trabajadores al valor original, sigue el mismo procedimiento.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

  1. En la página Detalles del clúster de example-cluster, haz clic en Borrar para borrar el clúster.
  2. Para confirmar que deseas borrar el clúster, haz clic en Borrar.

¿Qué sigue?