Usa el complemento de JupyterLab de Dataproc para sesiones de notebooks interactivas y por lotes sin servidores

Limitaciones y consideraciones de Dataproc Serverless

  • Los trabajos de Spark se ejecutan con la identidad de la cuenta de servicio, no con la identidad del usuario que lo envía.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Dataproc API.

    Enable the API

  4. Install the Google Cloud CLI.

  5. To initialize the gcloud CLI, run the following command: 

    gcloud init

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  7. Enable the Dataproc API.

    Enable the API

  8. Install the Google Cloud CLI.

  9. To initialize the gcloud CLI, run the following command: 

    gcloud init

Instala el complemento de JupyterLab de Dataproc

Puedes instalar y usar el complemento de JupyterLab de Dataproc en una máquina o VM que tenga acceso a servicios de Google, como tu máquina local o una Instancia de VM de Compute Engine.

Para instalar el complemento, sigue estos pasos:

  1. Asegúrate de que Python 3.8+ esté instalado en tu máquina. Puedes descargar y, luego, instalar Python desde python.org/downloads.

    1. Verifica la instalación de Python 3.8 o versiones posteriores.

      python3 --version

  2. Instala JupyterLab 3.6.3+ en tu máquina.

    pip3 install --upgrade jupyterlab

    1. Verifica la instalación de JupyterLab 3.6.3 o versiones posteriores.

      pip3 show jupyterlab

  3. Instala el complemento de JupyterLab de Dataproc.

    pip3 install dataproc-jupyter-plugin

    1. Si tu versión de JupyterLab es anterior a 4.0.0, habilita el complemento .

      jupyter server extension enable dataproc_jupyter_plugin

  4. Inicia JupyterLab.

    jupyter lab

    1. La página del Selector de JupyterLab se abre en tu navegador. Contiene una sección Sesiones y trabajos de Dataproc. También puede contener Secciones Notebooks sin servidores de Dataproc y Notebooks de clúster de Dataproc si tienes acceso a notebooks sin servidores de Dataproc o a clústeres de Dataproc con el componente opcional de Jupyter en ejecución en tu proyecto.

    2. De forma predeterminada, tu sesión interactiva de Dataproc Serverless para Spark se ejecuta en el proyecto y la región que estableciste cuando ejecutaste gcloud init en Antes de comenzar. Puedes cambiar el proyecto y de la región para tus sesiones desde el Configuración > de JupyterLab > Configuración de Dataproc.

Crea una plantilla de entorno de ejecución de Dataproc Serverless

Plantillas de entorno de ejecución sin servidores de Dataproc (también llamadas plantillas session) contienen parámetros de configuración para ejecutar código de Spark en una sesión. Puedes crear y administrar plantillas de entorno de ejecución con JupyterLab o gcloud CLI.

JupyterLab

  1. Haz clic en la tarjeta New runtime template en Notebooks sin servidores de Dataproc. en la página Selector de JupyterLab.

  2. Completa el formulario Plantilla de entorno de ejecución.

  3. Especifica un Nombre visible y una Descripción y, luego, ingresa o confirma los demás parámetros de configuración.

    Notas:

    • Configuración de red: La subnetwork debe Tener habilitado el Acceso privado a Google y debe permitir la comunicación de la subred en todos los puertos (consulta Dataproc sin servidores para la configuración de redes de Spark).

      Si la subred de la red default de la región que configuraste cuando ejecutaste gcloud init en Antes de comenzar no está habilitada para el Acceso privado a Google, haz lo siguiente:

      • Habilitarlo para el Acceso privado a Google
      • Selecciona otra red con una subred regional que tenga habilitado el Acceso privado a Google. Puedes cambiar la región que usa Dataproc Serverless desde la página Configuración > Configuración de Dataproc de JupyterLab.

    • Metastore: Para usar un servicio de Dataproc Metastore en tus sesiones, selecciona el ID, la región y el servicio del proyecto de metastore.

    • Tiempo de inactividad máximo: Es el tiempo máximo de inactividad del notebook antes de que finalice la sesión. Rango permitido: De 10 minutos a 336 horas (14 días).

    • Tiempo máximo de sesión: Es la duración máxima de una sesión antes de que finalice. Rango permitido: De 10 minutos a 336 horas (14 días).

    • PHS: Puedes seleccionar un Servidor de historial de Spark persistente para permitirte acceder a los registros durante las sesiones y después de ellas.

    • Propiedades de Spark: Haz clic en Agregar propiedad para cada propiedad que quieras configurar para tus sesiones de Spark sin servidor. Consulta Propiedades de Spark para obtener una lista de las propiedades de Spark compatibles y no compatibles, que incluyen Propiedades del entorno de ejecución, los recursos y el ajuste de escala automático de Spark.

    • Etiquetas: Haz clic en Agregar etiqueta en cada etiqueta que desees configurar. en tus sesiones de Spark sin servidores.

  4. Consulta tus plantillas de tiempo de ejecución en la página Configuración > Configuración de Dataproc.

    • Puedes borrar una plantilla desde el menú Acción de la plantilla.

  5. Haz clic en Guardar.

  6. Abre y vuelve a cargar la página Launcher de JupyterLab para ver la tarjeta de plantilla de notebook guardada en la página Launcher de JupyterLab.

gcloud

  1. Crea un archivo YAML con la configuración de tu plantilla de entorno de ejecución.

    YAML simple

    environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

    YAML complejo

    environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri: default
    subnetworkUri: subnet
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "1.1"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

    Si la subred de la red default para la región que configuraste cuando ejecutaste gcloud init en Antes de comenzar no está habilitado para el Acceso privado a Google:

    • Habilitarlo para el Acceso privado a Google
    • Selecciona otra red con una subred regional que tenga habilitado el Acceso privado a Google. Puedes cambiar la región que usa Dataproc Serverless desde la página Configuración > Configuración de Dataproc de JupyterLab.

  2. Para crear una plantilla de sesión (en tiempo de ejecución) a partir de tu archivo YAML, ejecuta el siguiente comando gcloud beta dataproc session-templates import de forma local o en Cloud Shell: 

    gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION

Iniciar y administrar notebooks

Después de instalar el complemento de JupyterLab de Dataproc, puedes hacer clic en las tarjetas de plantillas de la página Launcher de JupyterLab para hacer lo siguiente:

Inicia un notebook de Jupyter en Dataproc Serverless

La sección Notebooks sin servidores de Dataproc en la página del Selector de JupyterLab muestra una plantilla de notebook tarjetas que se asignan a plantillas de entorno de ejecución de Dataproc Serverless (consulta Crear una plantilla de entorno de ejecución de Dataproc Serverless.

  1. Haz clic en una tarjeta para crear una sesión de Dataproc Serverless y iniciar un notebook. Cuando se complete la creación de la sesión y el notebook el kernel está listo para usarse, su estado cambia de Unknown a Idle.

  2. Escribe y prueba el código de notebook.

    1. Copia y pega el siguiente código Pi estimation de PySpark en la celda del notebook de PySpark, luego presiona Mayúsculas + Volver para ejecutar el código. 

      import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))

      Resultado del notebook:

  3. Después de crear y usar un notebook, puedes finalizar la sesión haciendo clic en Shut Down Kernel en la pestaña Kernel.

    • Si no finalizas la sesión, Dataproc lo hace cuando expira el temporizador de inactividad de la sesión. Puedes configurar el tiempo inactivo de la sesión en la configuración de la plantilla del entorno de ejecución. El tiempo de inactividad predeterminado de la sesión es de una hora.

Inicia un notebook en un clúster de Dataproc en Compute Engine

Si creaste un clúster de Jupyter en Dataproc en Compute Engine, la página Launcher de JupyterLab contiene una sección Dataproc Cluster Notebook con tarjetas de kernel preinstaladas.

Para iniciar un notebook de Jupyter en tu Dataproc el Clúster de Compute Engine:

  1. Haz clic en una tarjeta de la sección Cuaderno del clúster de Dataproc.

  2. Cuando el estado del kernel cambia de Unknown a Idle, puedes comenzar a escribir y ejecutar código de notebook.

  3. Después de crear y usar un notebook, puedes finalizar la sesión haciendo clic en Shut Down Kernel en la pestaña Kernel.

Administra archivos de entrada y salida en Cloud Storage

El análisis de datos exploratorios y la creación de modelos de AA a menudo implican de entrada y salida basadas en archivos. Dataproc Serverless accede a estos archivos en Cloud Storage.

  • Para acceder al navegador de Cloud Storage, haz clic en el ícono del navegador de Cloud Storage en la barra lateral de la página del Selector de JupyterLab y, luego, haz doble clic en una carpeta para ver su contenido.

  • Puedes hacer clic en los tipos de archivos compatibles con Jupyter para abrirlos y editarlos. Cuando guardar los cambios en los archivos, estos se escriben en Cloud Storage.

  • Para crear una carpeta nueva de Cloud Storage, haz clic en el ícono de carpeta nueva y, luego, ingresa el nombre de la carpeta.

  • Para subir archivos a un bucket de Cloud Storage o a una carpeta, haz clic en el ícono de carga y, luego, selecciona los archivos que deseas subir.

Desarrolla código de notebook de Spark

Después de instalar el complemento de JupyterLab de Dataproc, puedes iniciar notebooks de Jupyter desde la página Selector de JupyterLab para desarrollar código de la aplicación.

Desarrollo de código de PySpark y Python

Dataproc Serverless y Dataproc en clústeres de Compute Engine admiten kernels de PySpark. Dataproc en Compute Engine también admite kernels de Python.

Desarrollo de código SQL

Haz clic en la tarjeta del kernel de PySpark en la sección Dataproc Serverless Notebooks o Dataproc Cluster Notebook de la página Launcher de JupyterLab para abrir un notebook de PySpark y escribir y ejecutar código SQL.

Magia de Spark SQL: Dado que el kernel de PySpark que inicia los notebooks sin servidor de Dataproc está precargado con magia de Spark SQL, en lugar de usar spark.sql('SQL STATEMENT').show() para unir tu sentencia SQL, puedes escribir %%sparksql magic en la parte superior de una celda y, luego, escribir tu sentencia SQL en la celda.

BigQuery SQL: El conector de BigQuery Spark permite que el código de tu notebook cargue datos de las tablas de BigQuery, realice análisis en Spark y, luego, escriba los resultados en una tabla de BigQuery.

El entorno de ejecución de Dataproc Serverless 2.1 incluye el conector de BigQuery a Spark. Si usas el entorno de ejecución de Dataproc Serverless 2.0 o una versión anterior para iniciar notebooks de Dataproc Serverless, puedes instalar el conector de BigQuery de Spark agregando la siguiente propiedad de Spark a tu plantilla de entorno de ejecución de Dataproc Serverless:

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Desarrollo de código Scala

Dataproc en clústeres de Compute Engine creados con la versión de imagen 2.0 o posterior, 2.1 o posterior, incluye Apache Toree, un kernel de Scala para la plataforma de Jupyter Notebook que proporciona acceso interactivo a Spark.

  • Haz clic en la tarjeta de Apache Toree Notebook del clúster de Dataproc en la página Launcher de JupyterLab para abrir un notebook para Scala el desarrollo de código.

Explorador de metadatos

Si una instancia de Dataproc Metastore (DPMS) está asociada a una plantilla de entorno de ejecución de Dataproc sin servidor o a un clúster de Dataproc en Compute Engine, el esquema de la instancia de DPMS se muestra en el Explorador de metadatos de JupyterLab cuando se abre un notebook. DPMS es un servicio de Hive Metastore (HMS) completamente administrado y escalable horizontalmente en Google Cloud.

Para ver los metadatos de HMS en el Explorador de metadatos, sigue estos pasos:

Para abrir el Explorador de metadatos de JupyterLab, haz clic en su ícono en la barra lateral.

Puedes buscar una base de datos, tabla o columna en el Explorador de metadatos. Haz clic en el nombre de una base de datos, una tabla o una columna para ver los metadatos asociados.

Implementa tu código

Después de instalar el complemento de JupyterLab de Dataproc, puedes usar JupyterLab para lo siguiente:

  • Ejecuta tu código de notebook en la infraestructura de Dataproc Serverless

  • Envía trabajos por lotes a la infraestructura de Dataproc sin servidores o a tu clúster de Dataproc en Compute Engine.

Ejecuta código de notebook en Dataproc Serverless

  • Haz clic en el ícono Ejecutar o presiona las teclas Mayúsculas-Volver para ejecutar el código en una celda de notebook.

  • Usa el menú Run para ejecutar código en una o más celdas de notebook.

Envía un trabajo por lotes a Dataproc Serverless

  • Haz clic en la tarjeta Sin servidor en la sección Sesiones y trabajos de Dataproc en la página Launcher de JupyterLab.

  • Haz clic en la pestaña Lote y, luego, en Crear lote, y completa los Batch Info.

  • Haz clic en Enviar para enviar el trabajo.

Envía un trabajo por lotes a un clúster de Dataproc en Compute Engine

  • Haz clic en la tarjeta Clústeres en la sección Trabajos y sesiones de Dataproc en la página Iniciador de JupyterLab.

  • Haz clic en la pestaña Trabajos y, a continuación, haz clic en Enviar trabajo.

  • Selecciona un Clúster y, luego, completa los campos del Trabajo.

  • Haz clic en Enviar para enviar el trabajo.

Visualiza y administra recursos

Después de instalar el complemento de JupyterLab de Dataproc, puedes ver y administrar Dataproc sin servidores y Dataproc en Compute Engine desde la sección Dataproc Jobs and Sessions en la página Launcher de JupyterLab.

Haz clic en la sección Trabajos y sesiones de Dataproc para ver los Clústeres y Tarjetas sin servidores.

Para ver y administrar sesiones de Dataproc Serverless, haz lo siguiente:

  1. Haz clic en la tarjeta Sin servidores.
  2. Haz clic en la pestaña Sesiones y, luego, en un ID de sesión para abrir la página Detalles de la sesión y ver las propiedades de la sesión, ver el registro de Google Cloud en el Explorador de registros y finalizar una sesión. Nota: Se crea una sesión única de Dataproc Serverless para iniciar cada notebook de Dataproc Serverless.

Para ver y administrar lotes de Dataproc Serverless, haz lo siguiente:

  1. Haz clic en la pestaña Lotes para ver la lista de lotes de Dataproc Serverless en la proyecto y región actuales. Haz clic en un ID de lote para ver los detalles del lote.

Para ver y administrar Dataproc en clústeres de Compute Engine, haz lo siguiente:

  1. Haz clic en la tarjeta Clústeres. Se seleccionó la pestaña Clústeres para mostrar una lista de los clústeres de Dataproc activos en Compute Engine en el proyecto y la región actuales. Puedes hacer clic en los íconos de la columna Acciones para iniciar, detener o reiniciar un clúster. Haz clic en el nombre de un clúster. para ver los detalles del clúster. Puedes hacer clic en los íconos de la columna Acciones para clonar, detener o borrar un trabajo.

Para ver y administrar trabajos de Dataproc en Compute Engine, sigue estos pasos:

  1. Haz clic en la tarjeta Trabajos para ver la lista de trabajos en la proyecto actual. Haz clic en un ID de trabajo para ver los detalles.