Cómo crear un clúster de Dataproc
Requisitos:
Nombre: El nombre del clúster debe comenzar con una letra minúscula seguida por un máximo de 51 letras minúsculas, números y guiones, y no puede terminar con un guion.
Región del clúster: Debes especificar una región de Compute Engine para el clúster, como
us-east1
oeurope-west1
, a fin de aislar los recursos del clúster, como las instancias de VM y los metadatos del clúster almacenados en Cloud Storage, dentro de la región.- Consulta Extremos regionales para obtener más información sobre los extremos regionales.
- Consulta Regiones y zonas disponibles para obtener información sobre cómo seleccionar una región. También puedes ejecutar el comando
gcloud compute regions list
para mostrar una lista de las regiones disponibles.
Conectividad: Las instancias de máquina virtual de Compute Engine (VM) en un clúster de Dataproc, que consta de VM principales y de trabajador, requieren conectividad cruzada de red de IP interna completa. La red de VPC
default
proporciona esta conectividad (consulta Configuración de la red de clústeres de Dataproc).
gcloud
Para crear un clúster de Dataproc en la línea de comandos, ejecuta el comando gcloud dataproc clusters create de manera local en una ventana de terminal o en Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION
El comando crea un clúster con la configuración predeterminada del servicio de Dataproc para tus instancias de máquina virtual principal y de trabajador, los tamaños y tipos de discos, el tipo de red, la región y la zona donde se implementa tu clúster, y otros parámetros de configuración del clúster. Consulta el comando gcloud dataproc clusters create si deseas obtener información sobre el uso de marcas de línea de comandos para personalizar la configuración de los clústeres.
Crea un clúster con un archivo YAML
- Ejecuta el siguiente comando de
gcloud
para exportar la configuración de un clúster de Dataproc existente a un archivocluster.yaml
.gcloud dataproc clusters export EXISTING_CLUSTER_NAME \ --region=REGION \ --destination=cluster.yaml
- Importa la configuración del archivo YAML para crear un clúster nuevo.
gcloud dataproc clusters import NEW_CLUSTER_NAME \ --region=REGION \ --source=cluster.yaml
Nota: Durante la operación de exportación, se filtran los campos específicos del clúster, como el nombre del clúster, los campos de solo salida y las etiquetas aplicadas automáticamente. Estos campos no están permitidos en el archivo YAML importado que se usa para crear un clúster.
REST
En esta sección, se muestra cómo crear un clúster con los valores requeridos y la configuración predeterminada (1 principal, 2 trabajadores).
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- project-id: ID del proyecto de Google Cloud
- region: región del clúster
- clusterName: nombre del clúster
HTTP method and URL:
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
Cuerpo JSON de la solicitud:
{ "clusterName": "cluster-name", "config": {} }
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{ "name": "projects/project-id/regions/region/operations/b5706e31......", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.ClusterOperationMetadata", "clusterName": "cluster-name", "clusterUuid": "5fe882b2-...", "status": { "state": "PENDING", "innerState": "PENDING", "stateStartTime": "2019-11-21T00:37:56.220Z" }, "operationType": "CREATE", "description": "Create cluster with 2 workers", "warnings": [ "For PD-Standard without local SSDs, we strongly recommend provisioning 1TB ..."" ] } }
Console
Abre la página Crear un clúster de Dataproc en la consola de Google Cloud de tu navegador. Luego, haz clic en Crear en el clúster en la fila de Compute Engine de la página Crea un clúster de Dataproc en Compute Engine. El panel Configura el clúster se selecciona con campos completados con valores predeterminados. Puedes seleccionar cada panel y confirmar o cambiar los valores predeterminados para personalizar el clúster.
Haz clic en Crear para generar el clúster. El nombre del clúster aparece en la página Clústeres y su estado se actualiza a En ejecución después de aprovisionar el clúster. Haz clic en el nombre del clúster para abrir su página de detalles, en la que podrás examinar los trabajos, las instancias y los ajustes de configuración de tu clúster, y conectarte a las interfaces web que se ejecutan en él.