Configurar Dataproc Hub

Dataproc Hub es un servidor de Jupyterhub personalizado. Los administradores configuran y crean instancias de Dataproc Hub que pueden generar clústeres de Dataproc de un solo usuario para alojar entornos de notebook de Jupyter y JupyterLab (consulta Usa Dataproc Hub).

Objetivos

  1. Define una configuración de clúster de Dataproc (o usa uno de los archivos de configuración predefinidos).

  2. Configura las variables de entorno de la instancia de Dataproc Hub.

  3. Crea una instancia de Dataproc Hub. .

Antes de comenzar

Si aún no lo hiciste, crea un proyecto de Google Cloud y un bucket de Cloud Storage.

  1. Configura el proyecto

    1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
    2. En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

      Ir al selector de proyectos

    3. Asegúrate de que la facturación esté habilitada para tu proyecto de Cloud. Descubre cómo confirmar que tienes habilitada la facturación en un proyecto.

    4. Habilita las API de Dataproc, Compute Engine, and Cloud Storage.

      Habilita las API

    5. Instala e inicializa el SDK de Cloud.

  2. Crea un depósito de Cloud Storage en tu proyecto para conservar los datos que se usan en este instructivo.

    1. En Cloud Console, ve a la página Navegador de Cloud Storage.

      Ir al navegador

    2. Haz clic en Crear bucket.
    3. En la página Crear un bucket, ingresa la información de tu bucket. Para ir al siguiente paso, haz clic en Continuar.
    4. Haga clic en Crear.

Define una configuración de clústeres

Una instancia de Dataproc Hub crea un clúster a partir de los valores de configuración contenidos en un archivo de configuración de clúster YAML.

La configuración de tu clúster puede especificar cualquier función o componente disponible para los clústeres de Dataproc (como el tipo de máquina, las acciones de inicialización y los componentes opcionales). La versión de imagen del clúster debe ser 1.4.13 o superior. Si intentas generar un clúster con una versión de imagen anterior a 1.4.13, se producirá un error y se producirá un error.

Archivo YAML de configuración de clúster de muestra

clusterName: cluster-name
config:
  gceClusterConfig:
    metadata:
      'PIP_PACKAGES': 'google-cloud-core>=1.3.0 google-cloud-storage>=1.28.1'
  initializationActions:
  - executableFile: gs://dataproc-initialization-actions/python/pip-install.sh
  softwareConfig:
    imageVersion: 1.5-ubuntu18
    optionalComponents:
    - ANACONDA
    - JUPYTER

Cada configuración debe guardarse en Cloud Storage. Puedes crear y guardar varios archivos de configuración para darles a los usuarios una opción cuando usen Dataproc Hub a fin de crear su entorno de notebook del clúster de Dataproc.

Hay dos formas de crear un archivo de configuración de clúster YAML:

  1. Crea el archivo de configuración YAML del clúster desde la consola.

  2. Exporta un archivo de configuración YAML del clúster desde un clúster existente.

Crea el archivo de configuración YAML del clúster desde la consola

  1. Abre la página Crear un clúster en Cloud Console y selecciona y completa los campos para especificar el tipo de clúster que generará Dataproc Hub. usuarios.
    1. En la parte inferior del panel izquierdo, selecciona "REST equivalente".
    2. Copia el bloque JSON generado, excepto la línea de solicitud POST principal, luego pega el bloque JSON en un conversor JSON-to-YAML en línea (busca en línea “Convert JSON to YAML”).
    3. Copia el archivo YAML convertido en un archivo cluster-config-filename.yaml local.

Exporta un archivo de configuración YAML del clúster desde un clúster existente

  1. Crea un clúster que coincida con tus requisitos.
  2. Exporta la configuración del clúster a un archivo cluster-config-filename.yaml local.
    gcloud dataproc clusters export cluster-name \
        --destination cluster-config-filename.yaml  \
        --region region
     

Guarda el archivo de configuración YAML en Cloud Storage

Copia el archivo de configuración YAML del clúster local en tu bucket de Cloud Storage.

gsutil cp cluster-config-filename.yaml gs://bucket-name/

Configura las variables de entorno de la instancia de Dataproc Hub

El administrador puede configurar las variables de entorno de concentrador que se enumeran en la tabla a continuación para establecer los atributos de los clústeres de Dataproc que generarán los usuarios de Hub.

Variable Descripción Ejemplo
NOTEBOOKS_LOCATION La carpeta del bucket o el bucket de Cloud Storage que contiene los notebooks de usuario. El prefijo “gs://” es opcional. Predeterminado: El bucket de etapa de pruebas de Dataproc. gs://bucket-name/
DATAPROC_CONFIGS Lista delimitada por comas de strings de la ruta de acceso de Cloud Storage a los archivos de configuración de clúster YAML. El prefijo “gs://” es opcional. Predeterminado: gs://dataproc-spawner-dist/example-configs/. que contiene example-cluster.yaml y example-single-node.yaml predefinidos. gs://cluster-config-filename.yaml
DATAPROC_LOCATIONS_LIST Los sufijos de zona en la región en la que se encuentra la instancia de Dataproc Hub. Los usuarios pueden seleccionar una de estas zonas como la zona en la que se generará su clúster de Dataproc. Configuración predeterminada: "b". b,c,d
DATAPROC_DEFAULT_SUBNET Subred en la que la instancia de Dataproc Hub generará clústeres de Dataproc. Predeterminada: la subred de la instancia de Dataproc Hub. https://www.googleapis.com/compute/v1/projects/project-id/regions/region/subnetworks/subnet-name
DATAPROC_SERVICE_ACCOUNT Cuenta de servicio con la que se ejecutarán las VM de Dataproc. Predeterminado: Si no se establece, se usa la cuenta de servicio predeterminada de Dataproc. service-account@project-id.iam.gserviceaccount.com
SPAWNER_DEFAULT_URL Indica si se debe mostrar de forma predeterminada la IU de JupyterLab o JupyterLab en los clústeres generados de Dataproc. Predeterminado: "/lab". `/` o `/lab`, para Jupyter o JupyterLab, respectivamente.
DATAPROC_ALLOW_CUSTOM_CLUSTERS Permite o no que los usuarios personalicen sus clústeres de Dataproc. Predeterminado: falso. “true” o “false”
DATAPROC_MACHINE_TYPES_LIST Lista de tipos de máquinas que los usuarios pueden elegir para sus clústeres de Dataproc generados, si se habilita la personalización del clúster (DATAPROC_ALLOW_CUSTOM_CLUSTERS). Predeterminado: vacío (se permiten todos los tipos de máquina) n1-standard-4,n1-standard-8,e2-standard-4,n1-highcpu-4
NOTEBOOKS_EXAMPLES_LOCATION La ruta de acceso de Cloud Storage al bucket de notebooks o a la carpeta del bucket que se descargarán en el clúster de Dataproc generado cuando se inicie. Predeterminado: vacío. gs://bucket-name/

Configura variables de entorno de Hub

Hay dos formas de configurar las variables de entorno de concentrador:

  1. Configurar las variables de entorno de Hub desde Console

  2. Configura variables de entorno de concentrador en un archivo de texto

Configura variables de entorno de Hub desde la consola

Cuando creas una instancia de concentrador desde la página Instancias de Dataproc→Notebooks en Cloud Console, puedes hacer clic en el botón POPULATE (POPULAR) para abrir una propague Dataproc Hub. que te permite configurar cada variable (consulta Crea una instancia de Dataproc Hub).

Configurar variables de entorno de concentrador en un archivo de texto

  1. Crea el archivo. Puedes usar un editor de texto para establecer variables de entorno de instancias de Dataproc Hub en un archivo local. Como alternativa, puedes crear el archivo mediante la ejecución del siguiente comando después de completar los valores de marcadores de posición y cambiar o agregar variables y sus valores.

    cat <<EOF > environment-variables-file
    DATAPROC_CONFIGS=gs://bucket/cluster-config-filename.yaml
    NOTEBOOKS_LOCATION=gs://bucket/notebooks
    DATAPROC_LOCATIONS_LIST=b,c
    EOF
    

  2. Guarda el archivo en Cloud Storage. Copia el archivo de variables de entorno de la instancia de Dataproc Hub local en tu bucket de Cloud Storage.

    gsutil cp environment-variable-filename gs://bucket-name/folder-name/

Configura funciones de administración de identidades y accesos (IAM)

Dataproc Hub incluye las siguientes identidades con las siguientes capacidades:

  • Administrador: Crea una instancia de Dataproc Hub
  • Datos y usuario de AA: Accede a la IU de Dataproc Hub
  • Cuenta de servicio de Dataproc Hub: Representa a Dataproc Hub
  • Cuenta de servicio de Dataproc: Representa el clúster de Dataproc que crea Dataproc Hub.

Cada identidad requiere funciones o permisos específicos para realizar sus tareas asociadas. En la siguiente tabla, se resumen las funciones y los permisos de IAM que requiere cada identidad.

Identidad Tipo Función o permiso
Administrador de Dataproc Hub Usuario o cuenta de servicio roles/notebooks.admin
Usuario de Dataproc Hub Usuario notebooks.instances.use, dataproc.clusters.use
Dataproc Hub Cuenta de servicio roles/dataproc.hubAgent
Dataproc Cuenta de servicio roles/dataproc.worker

Crea una instancia de Dataproc Hub

  1. Antes de comenzar: para crear una instancia de Dataproc Hub desde Cloud Console, la cuenta de usuario debe tener el permiso compute.instances.create. Además, la cuenta de servicio de la instancia, la cuenta de servicio predeterminada de Compute Engine o la cuenta especificada por el usuario en IAM y administración > Cuentas de servicio (consulta{101) }Cuenta de servicio de VM de Dataproc) debe tener el permiso iam.serviceAccounts.actAs.

  2. Ve a la página Dataproc → Instancias de notebooks en Cloud Console.

  3. Haz clic en INSTANCIA NUEVA→Dataproc Hub

  4. En la página Instancia de notebook nueva, proporciona la siguiente información:

    1. Nombre de la instancia: Nombre de la instancia de Dataproc Hub.
    2. Región: selecciona una región para la instancia de Dataproc Hub. Nota: Los clústeres de Dataproc que generados por esta instancia de Dataproc Hub también se crearán en esta región.
    3. Zona: Selecciona una zona dentro de la región seleccionada.
    4. Entorno:
      1. Entorno: Seleccione “Dataproc Hub”
      2. Selecciona una secuencia de comandos que se ejecutará después de la creación (opcional): Puedes insertar o explorar y seleccionar una secuencia de comandos o un ejecutable de acción de inicialización para que se ejecute en el clúster de Dataproc generado.
      3. Propagar Dataproc Hub (opcional): Haz clic en POPULATE para abrir un formulario que te permita configurar cada una de las variables de entorno del concentrador (consulta Configura las variables de entorno de instancias de Dataproc Hub para obtener un descripción de cada variable). Como alternativa, usa el campo container-env-file que aparece a continuación para apuntar a un archivo de texto que hayas creado y que contenga la configuración de la variable. Ten en cuenta que, si no configuras algunas o todas las variables de entorno, Dataproc usará valores predeterminados para las variables sin configurar.
      4. Variables de entorno:
        1. container-env-file (opcional): Si creaste un archivo de texto que contiene la configuración de la variable de entorno de Hub (consulta Configura variables de entorno de Hub), proporciona el nombre y la nube. Ubicación de almacenamiento de tu archivo.

          Ejemplo:

          gs://bucket-name/folder-name/environment-variable-filename.

          Ten en cuenta que, si no configuras algunas o todas las variables de entorno, Dataproc usará valores predeterminados para las variables sin configurar.

    5. Configuración de la máquina:
      1. Tipo de máquina: selecciona el tipo de máquina de Compute Engine.
      2. Establece otras opciones de configuración de la máquina.
    6. Haz clic en CREAR para iniciar la instancia.
  5. Cuando la instancia se esté ejecutando, haz clic en el vínculo "JupyterLab" en la página Instancias de notebooks para acceder a la instancia.

Limpia

Borra la instancia de Dataproc Hub

  • Para borrar tu instancia de Dataproc Hub:
    gcloud compute instances delete --project=${PROJECT} ${INSTANCE_NAME}
    

Borra el bucket

  • Para borrar el depósito de Cloud Storage que creaste en la sección Antes de comenzar, incluidos los archivos de datos almacenados en el depósito, ejecuta lo siguiente:
    gsutil -m rm -r gs://${BUCKET_NAME}
    

¿Qué sigue?