Dataproc Hub es un servidor de JupyterHub personalizado. Los administradores configuran y crean instancias de Dataproc Hub que pueden generar clústeres de Dataproc de un solo usuario para alojar entornos de notebooks de Jupyter y JupyterLab (consulta Usa Dataproc Hub).
Inicia Notebooks para varios usuarios. Puedes crear una instancia de Vertex AI Workbench habilitada para Dataproc o instalar el complemento de JupyterLab de Dataproc en una VM para entregar notebooks a varios usuarios.
Objetivos
Define una configuración del clúster de Dataproc (o usa uno de los archivos de configuración predefinidos).
Configura las variables de entorno de la instancia de Dataproc Hub.
Crea una instancia de Dataproc Hub.
Antes de comenzar
Si aún no lo hiciste, crea un proyecto de Google Cloud y un bucket de Cloud Storage.
Configura el proyecto
- Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
Crea un depósito de Cloud Storage en tu proyecto para conservar los datos que se usan en este instructivo.
- In the Google Cloud console, go to the Cloud Storage Buckets page.
- Click Create bucket.
- On the Create a bucket page, enter your bucket information. To go to the next
step, click Continue.
- For Name your bucket, enter a name that meets the bucket naming requirements.
-
For Choose where to store your data, do the following:
- Select a Location type option.
- Select a Location option.
- For Choose a default storage class for your data, select a storage class.
- For Choose how to control access to objects, select an Access control option.
- For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
- Click Create.
Define una configuración de clústeres
Una instancia de Dataproc Hub crea un clúster a partir de los valores de configuración contenidos en un archivo de configuración de clúster YAML.
La configuración de tu clúster puede especificar cualquier característica o componente disponible para los clústeres de Dataproc (como el tipo de máquina, las acciones de inicialización y los componentes opcionales). La versión de imagen del clúster debe ser 1.4.13 o superior. Si intentas generar un clúster con una versión de imagen inferior a 1.4.13, se producirá un error y fallará.
Archivo YAML de configuración de clúster de muestra
clusterName: cluster-name config: softwareConfig: imageVersion: 2.2-ubuntu22 optionalComponents: - JUPYTER
Cada configuración debe guardarse en Cloud Storage. Puedes crear y guardar varios archivos de configuración a fin de dar a los usuarios una opción cuando usen Dataproc Hub para crear su entorno de notebook de clúster de Dataproc.
Hay dos formas de crear un archivo de configuración de clúster YAML:
Crea el archivo de configuración YAML del clúster desde la consola.
Exporta un archivo de configuración YAML del clúster desde un clúster existente.
Crea el archivo de configuración YAML del clúster desde la consola
- Abre la página Crear un clúster.
en la consola de Google Cloud, selecciona y completa los campos para
especificar el tipo de clúster que Dataproc Hub generará para los usuarios.
- En la parte inferior del panel izquierdo, selecciona "REST equivalente".
- Copia el bloque JSON generado, sin incluir la línea de solicitud POST inicial; luego pega el bloque JSON en un convertidor JSON a YAML en línea (busca "Convertir JSON a YAML" en línea).
- Copia el archivo YAML convertido en un archivo cluster-config-filename.yaml local.
Exporta un archivo de configuración YAML del clúster desde un clúster existente
- Crea un clúster que coincida con tus requisitos.
- Exporta la configuración del clúster a un archivo cluster-config-filename.yaml local.
gcloud dataproc clusters export cluster-name \ --destination cluster-config-filename.yaml \ --region region
Guarda el archivo de configuración YAML en Cloud Storage
Copia el archivo de configuración YAML del clúster local en tu bucket de Cloud Storage.
gcloud storage cp cluster-config-filename.yaml gs://bucket-name/
Configura las variables de entorno de la instancia de Dataproc Hub
El administrador puede configurar las variables de entorno del concentrador que se enumeran en la tabla a continuación para establecer los atributos de los clústeres de Dataproc que generarán los usuarios del concentrador.
Variable | Descripción | Ejemplo |
---|---|---|
NOTEBOOKS_LOCATION | La carpeta del bucket o el bucket de Cloud Storage que contiene los notebooks de usuario. El prefijo “gs://” es opcional. Predeterminado: el bucket de staging de Dataproc. | gs://bucket-name/ |
DATAPROC_CONFIGS | Una lista delimitada por comas de strings de la ruta de acceso de Cloud Storage a los archivos de configuración YAML del clúster. El prefijo “gs://” es opcional. Predeterminado: gs://dataproc-spawner-dist/example-configs/ que contiene los archivos example-cluster.yaml y example-single-node.yaml predefinidos.
|
gs://cluster-config-filename.yaml |
DATAPROC_LOCATIONS_LIST | Los sufijos de zona en la región en la que se ubica la instancia de Dataproc Hub. Los usuarios pueden seleccionar una de estas zonas como la zona en la que se generará su clúster de Dataproc. Valor predeterminado: “b”. | b, c, d |
DATAPROC_DEFAULT_SUBNET | Subred en la que la instancia de Dataproc Hub generará clústeres de Dataproc. Predeterminado: la subred de la instancia de Dataproc Hub. | https://www.googleapis.com/compute/v1/projects/project-id/regions/region/subnetworks/subnet-name |
DATAPROC_SERVICE_ACCOUNT | Cuenta de servicio en la que se ejecutarán las VM de Dataproc. Predeterminado: si no está configurado, se usa la cuenta de servicio predeterminada de Dataproc. | service-account@project-id.iam.gserviceaccount.com |
SPAWNER_DEFAULT_URL | Establece si se muestra de forma predeterminada la IU de Jupyter o JupyterLab en los clústeres generados de Dataproc. Predeterminado: “/lab”. | “/” o “/lab”, para Jupyter o JupyterLab, respectivamente. |
DATAPROC_ALLOW_CUSTOM_CLUSTERS | Permite o no que los usuarios personalicen sus clústeres de Dataproc. Valor predeterminado: false. | “true” o “false” |
DATAPROC_MACHINE_TYPES_LIST | Lista de tipos de máquinas que los usuarios pueden elegir para sus clústeres de Dataproc generados, si la personalización del clúster (DATAPROC_ALLOW_CUSTOM_CLUSTERS) está habilitada. Predeterminado: vacío (se permiten todos los tipos de máquina). | n1-standard-4,n1-standard-8,e2-standard-4,n1-highcpu-4 |
NOTEBOOKS_EXAMPLES_LOCATION | La ruta de acceso de Cloud Storage al bucket de notebooks o a la carpeta del bucket que se descargarán en el clúster de Dataproc generado cuando se inicie.Valor predeterminado: vacía. | gs://bucket-name/ |
Configura las variables de entorno del concentrador
Hay dos formas de configurar las variables de entorno del concentrador:
Configura las variables de entorno del concentrador desde la consola
Configura las variables de entorno del concentrador en un archivo de texto
Configura las variables de entorno del concentrador desde la consola
Cuando creas una instancia de Dataproc Hub en la pestaña Notebooks administrados por el usuario Dataproc→Workbench de la consola de Google Cloud, puedes hacer clic en el botón Propagar para abrir un formulario Propagar Dataproc Hub que te permite configurar cada variable de entorno.
Configura las variables de entorno del concentrador en un archivo de texto
Crea el archivo. Puedes usar un editor de texto para configurar variables de entorno de la instancia de Dataproc Hub en un archivo local. También puedes crear el archivo si ejecutas el siguiente comando después de completar los valores de marcador de posición y cambiar o agregar las variables y sus valores.
cat <<EOF > environment-variables-file DATAPROC_CONFIGS=gs://bucket/cluster-config-filename.yaml NOTEBOOKS_LOCATION=gs://bucket/notebooks DATAPROC_LOCATIONS_LIST=b,c EOF
Guarda el archivo en Cloud Storage. Copia las variables de entorno de la instancia de Dataproc Hub local en tu bucket de Cloud Storage.
gcloud storage cp environment-variable-filename gs://bucket-name/folder-name/
Configura Identity and Access Management (IAM)
Dataproc Hub incluye las siguientes identidades con las siguientes capacidades:
- Administrador: crea una instancia de Dataproc Hub
- Usuario de datos y AA: accede a la IU de Dataproc Hub
- Cuenta de servicio de Dataproc Hub: representa a Dataproc Hub
- Cuenta de servicio de Dataproc: representa el clúster de Dataproc que crea Dataproc Hub.
Cada identidad requiere funciones o permisos específicos para realizar sus tareas asociadas. En la siguiente tabla, se resumen las funciones y los permisos de IAM que requiere cada identidad.
Identidad | Tipo | Función o permiso |
---|---|---|
Administrador de Dataproc Hub | Cuenta de servicio o usuario | roles/notebooks.admin |
Usuario de Dataproc Hub | Usuario | notebooks.instances.use, dataproc.clusters.use |
Dataproc Hub | Cuenta de servicio | roles/dataproc.hubAgent |
Dataproc | Cuenta de servicio | roles/dataproc.worker |
Crea una instancia de Dataproc Hub
Antes de comenzar: Para crear una instancia de Dataproc Hub desde la consola de Google Cloud, tu cuenta de usuario debe tener el permiso
compute.instances.create
. Además, la cuenta de servicio de la instancia: la cuenta de servicio predeterminada de Compute Engine o la cuenta de servicio especificada por el usuario en IAM y administración > Cuentas de servicio (consulta Cuenta de servicio de VM de Dataproc), debe tener el permisoiam.serviceAccounts.actAs
.Ve a la página Dataproc → Workbench en la consola de Google Cloud y, luego, selecciona la pestaña Notebooks administrados por el usuario.
Si no la seleccionas previamente como filtro, haz clic en el cuadro Filtro y, luego, selecciona **Entorno:Dataproc Hub"”.
Haz clic en Nuevo notebook→Dataproc Hub.
En la página Crear un notebook administrado por el usuario, proporciona la siguiente información:
- Nombre del notebook: el nombre de la instancia de Dataproc Hub.
- Región: Selecciona una región para la instancia de Dataproc Hub. Dataproc clústeres generados por esta instancia de Dataproc Hub también serán creado en esta región.
- Zona: selecciona una zona dentro de la región seleccionada.
- Entorno:
Environment
: SeleccionaDataproc Hub
.Select a script to run after creation
(opcional): Puedes insertar o explorar y seleccionar una secuencia de comandos o un ejecutable de acción de inicialización para ejecutarla en el clúster de Dataproc generado.Populate Dataproc Hub (optional)
: Haz clic en Completar para abrir un formulario que te permite configurar cada una de las variables de entorno del concentrador (consulta Configura las variables de entorno de la instancia de Dataproc Hub para obtener una descripción de cada variable). Dataproc usa valores predeterminados para las variables de entorno que no se hayan configurado. Como alternativa, puedes configurar pares de metadatoskey:value
para establecer variables de entorno (consulta el siguiente elemento).Metadata
:- Si creaste un archivo de texto que
contiene la configuración de la variable de entorno del concentrador (consulta
Configura las variables de entorno del concentrador),
proporciona el nombre del archivo como
key
ygs://bucket-name/folder-name/environment-variable-filename
. Ubicación en Cloud Storage del archivo comovalue
. Dataproc usa valores predeterminados para las variables de entorno que no se hayan configurado.
- Si creaste un archivo de texto que
contiene la configuración de la variable de entorno del concentrador (consulta
Configura las variables de entorno del concentrador),
proporciona el nombre del archivo como
- Configuración de la máquina:
Machine Type
: selecciona el tipo de máquina de Compute Engine.- Establece otras opciones de configuración de la máquina.
- Otras opciones:
- Puedes expandir y establecer o reemplazar los valores predeterminados en la sección Discos. Herramientas de redes, Permiso, Seguridad y Actualización del entorno y estado del sistema secciones.
- Haz clic en Crear para iniciar la instancia de Dataproc Hub.
El vínculo Abrir JupyterLab de la instancia de Dataproc Hub se activa después de crearla. Los usuarios hacen clic en este vínculo para abrir la Página del servidor de JupyterHub para configurar y crear un JupyterLab de Dataproc clúster (consulta Usa Dataproc Hub).
Limpia
Borra la instancia de Dataproc Hub
- Para borrar tu instancia de Dataproc Hub:
gcloud compute instances delete --project=${PROJECT} ${INSTANCE_NAME}
Borra el bucket
- Para borrar el depósito de Cloud Storage que creaste en la sección Antes de comenzar, incluidos los archivos de datos almacenados en el depósito, ejecuta lo siguiente:
gcloud storage rm gs://${BUCKET_NAME} --recursive