Usa el complemento de JupyterLab de Dataproc para sesiones de notebooks interactivas y por lotes sin servidores

Objetivo: En esta página también se muestra cómo instalar y usar el complemento de JupyterLab de Dataproc en una máquina o VM que tiene acceso a los servicios de Google, como tu máquina local o una instancia de VM de Compute Engine. Una vez instalado, puedes usarlo para hacer lo siguiente:

• Iniciar Dataproc Serverless para sesiones de notebooks interactivos de Spark
• Envía trabajos por lotes de Dataproc Serverless

En esta página, también se muestra cómo desarrollar y, luego, deploy el código de notebook de Spark.

Usa JupyterLab en Vertex AI Workbench. El complemento de JupyterLab de Dataproc está preinstalado en instancias de Vertex AI Workbench. Consulta Crea una instancia de Vertex AI Workbench habilitada para Dataproc para obtener más información.

Limitaciones y consideraciones de Dataproc Serverless

• Los trabajos de Spark se ejecutan con la identidad de la cuenta de servicio, no con la identidad del usuario que lo envía.

Antes de comenzar

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Habilita la API de Dataproc.

   Habilita la API

4. Instala Google Cloud CLI.

5. Para inicializar la CLI de gcloud, ejecuta el siguiente comando:

   gcloud init

   Nota: Si ya instalaste la CLI de gcloud, asegúrate de que tienes la versión más reciente mediante la ejecución de gcloud components update.

6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

7. Habilita la API de Dataproc.

   Habilita la API

8. Instala Google Cloud CLI.

9. Para inicializar la CLI de gcloud, ejecuta el siguiente comando:

   gcloud init

   Nota: Si ya instalaste la CLI de gcloud, asegúrate de que tienes la versión más reciente mediante la ejecución de gcloud components update.

Instala el complemento de JupyterLab de Dataproc

Nota: El complemento de JupyterLab de Dataproc se proporciona sin costo. Sin embargo, se te cobra por usar servicios de Google Cloud, como Dataproc sin servidores, Dataproc, Dataproc Metastore y Cloud Storage. Puedes usar la calculadora de precios para generar una estimación de costos según el uso previsto de los recursos de Google Cloud.

Puedes instalar y usar el complemento de JupyterLab de Dataproc en una máquina o VM que tenga acceso a los servicios de Google, como tu máquina local o una instancia de VM de Compute Engine.

Para instalar el complemento, sigue estos pasos:

1. Asegúrate de que Python 3.8+ esté instalado en tu máquina. Puedes descargar e instalar Python desde python.org/downloads.

   1. Verifica la instalación de Python 3.8 y versiones posteriores.

      python3 --version
      

2. Instala JupyterLab 3.6.3+ en tu máquina.

   pip3 install --upgrade jupyterlab
   

   1. Verifica la instalación de JupyterLab 3.6.3 (o una versión posterior).

      pip3 show jupyterlab
      

3. Instala el complemento de JupyterLab de Dataproc.

   pip3 install dataproc-jupyter-plugin
   

   1. Si tu versión de JupyterLab es anterior a 4.0.0, habilita la extensión del complemento.

      jupyter server extension enable dataproc_jupyter_plugin
      

4. Inicia JupyterLab.

   jupyter lab
   

   1. La página del Selector de JupyterLab se abre en tu navegador. Contiene una sección de Trabajos y sesiones de Dataproc. También pueden contener las secciones Notebooks sin servidores de Dataproc y Notebooks de clúster de Dataproc si tienes acceso a notebooks sin servidores de Dataproc o clústeres de Dataproc con el componente opcional de Jupyter que se ejecuta en tu proyecto.

      

      En macOS, si recibes un error SSL: CERTIFICATE_VERIFY_FAILED en tu terminal cuando inicias Jupyterlab, ejecuta /Applications/Python 3.11/Install Certificates.command para actualizar el certificado SSL de Python. Este archivo se encuentra en el directorio principal de Python.

   2. De forma predeterminada, tu sesión de Dataproc Serverless para Spark interactiva se ejecuta en el proyecto y la región que configuraste cuando ejecutaste gcloud init en Antes de comenzar. Puedes cambiar la configuración del proyecto y la región para tus sesiones desde la página Configuración > Configuración de Dataproc de JupyterLab.

Crea una plantilla de entorno de ejecución de Dataproc Serverless

Las plantillas del entorno de ejecución de Dataproc Serverless (también llamadas plantillas session) contienen la configuración para ejecutar código de Spark en una sesión. Puedes crear y administrar plantillas de entorno de ejecución con JupyterLab o gcloud CLI.

JupyterLab

1. Haz clic en la tarjeta New runtime template de la sección Notebooks sin servidores de Dataproc de la página Launcher de JupyterLab.

   

2. Completa el formulario Plantilla de entorno de ejecución.

   

3. Especifica un Nombre visible (Display name) y una Descripción (Description) y, luego, ingresa o confirma los otros parámetros de configuración.

   Notas:

   • Configuración de la red: La subred debe tener el Acceso privado a Google habilitado y debe permitir la comunicación de la subred en todos los puertos (consulta Dataproc sin servidores para la configuración de red de Spark).

     Si la subred de la red default para la región que configuraste cuando ejecutaste gcloud init en Antes de comenzar no está habilitada para el Acceso privado a Google, haz lo siguiente:

     • Habilitarlo para el Acceso privado a Google
     • Selecciona otra red con una subred regional que tenga habilitado el Acceso privado a Google. Puedes cambiar la región que usa Dataproc Serverless desde la página Configuración > Configuración de Dataproc de JupyterLab.

   • Metastore: Para usar un servicio de Dataproc Metastore en tus sesiones, selecciona el ID del proyecto del almacén de metadatos, la región y el servicio.

   • Tiempo de inactividad máximo: Es el tiempo máximo de inactividad del notebook antes de que finalice la sesión. Rango permitido: de 10 minutos a 336 horas (14 días).

   • Tiempo máximo de sesión: La vida útil máxima de una sesión antes de que esta finalice. Rango permitido: de 10 minutos a 336 horas (14 días).

   • PHS: Puedes seleccionar un Servidor de historial de Spark persistente disponible para acceder a los registros de las sesiones durante las sesiones y después de ellas.

     El PHS se debe configurar en la ubicación (región) en la que se ejecutan tus sesiones. De forma predeterminada, las sesiones sin servidores de Dataproc se ejecutan en el proyecto y la región configurados con el comando gcloud init. Puedes cambiar la configuración del proyecto y la región en la página Configuración > Configuración de Dataproc de JupyterLab.

   • Propiedades de Spark: Haz clic en Agregar propiedad en cada propiedad que desees configurar en tus sesiones de Spark sin servidores. Consulta las propiedades de Spark para obtener una lista de las propiedades de Spark compatibles y no compatibles, incluidas las propiedades del entorno de ejecución, los recursos y el ajuste de escala automático de Spark.

   • Etiquetas: Haz clic en Agregar etiqueta en cada etiqueta que desees configurar en tus sesiones de Spark sin servidores.

4. Visualiza tus plantillas de entorno de ejecución desde la página Configuración > Configuración de Dataproc.

   • Puedes borrar una plantilla desde el menú Acción de la plantilla.

   

5. Haz clic en Guardar.

6. Abre y vuelve a cargar la página del Selector de JupyterLab para ver la tarjeta de plantillas del notebook guardada en la página del Selector de JupyterLab.

   

gcloud

1. Crea un archivo YAML con la configuración de tu plantilla de entorno de ejecución.

   YAML simple

   environmentConfig:
     executionConfig:
       networkUri: default
   jupyterSession:
     kernel: PYTHON
     displayName: Team A
   labels:
     purpose: testing
   description: Team A Development Environment
   

   YAML complejo

   environmentConfig:
     executionConfig:
       serviceAccount: sa1
       # Choose either networkUri or subnetworkUri
       networkUri: default
       subnetworkUri: subnet
       networkTags:
        - tag1
       kmsKey: key1
       idleTtl: 3600s
       ttl: 14400s
       stagingBucket: staging-bucket
     peripheralsConfig:
       metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
       sparkHistoryServerConfig:
         dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
   jupyterSession:
     kernel: PYTHON
     displayName: Team A
   labels:
     purpose: testing
   runtimeConfig:
     version: "1.1"
     containerImage: gcr.io/my-project-id/my-image:1.0.1
     properties:
       "p1": "v1"
   description: Team A Development Environment
   

   Si la subred de la red default para la región que configuraste cuando ejecutaste gcloud init en Antes de comenzar no está habilitada para el Acceso privado a Google, haz lo siguiente:

   • Habilitarlo para el Acceso privado a Google
   • Selecciona otra red con una subred regional que tenga habilitado el Acceso privado a Google. Puedes cambiar la región que usa Dataproc Serverless desde la página Configuración > Configuración de Dataproc de JupyterLab.

2. Crea una plantilla de sesión (entorno de ejecución) a partir de tu archivo YAML. Para ello, ejecuta el siguiente comando gcloud beta dataproc session-templates import de forma local o en Cloud Shell:

   gcloud beta dataproc session-templates import TEMPLATE_ID \
       --source=YAML_FILE \
       --project=PROJECT_ID \
       --location=REGION
   

   • Consulta gcloud beta dataproc session-templates para comandos que describan, enumeren, exporten y borren plantillas de sesiones.

Iniciar y administrar notebooks

Después de instalar el complemento de JupyterLab de Dataproc, puedes hacer clic en las tarjetas de plantilla en la página Launcher de JupyterLab para hacer lo siguiente:

• Inicia un notebook de Jupyter en Dataproc Serverless.

• Inicia un notebook de Jupyter en un clúster de Dataproc en Compute Engine.

Inicia un notebook de Jupyter en Dataproc Serverless

En la sección Notebooks sin servidores de Dataproc de la página del Selector de JupyterLab, se muestran tarjetas de plantillas de notebooks que se asignan a plantillas de entorno de ejecución sin servidores de Dataproc (consulta Crea una plantilla de entorno de ejecución sin servidores de Dataproc).

1. Haz clic en una tarjeta para crear una sesión de Dataproc Serverless y, luego, iniciar un notebook. Cuando se completa la creación de la sesión y el kernel del notebook está listo para usarse, el estado del kernel cambia de Unknown a Idle.

2. Escribe y prueba el código de notebook.

   1. Copia y pega el siguiente código Pi estimation de PySpark en la celda del notebook de PySpark y, luego, presiona Mayúsculas + Intro para ejecutar el código.

      import random
          
      def inside(p):
          x, y = random.random(), random.random()
          return x*x + y*y < 1
          
      count = sc.parallelize(range(0, 10000)) .filter(inside).count()
      print("Pi is roughly %f" % (4.0 * count / 10000))
      

      Resultado del notebook:

      

3. Después de crear y usar un notebook, puedes finalizar la sesión de notebook haciendo clic en Cerrar kernel en la pestaña Kernel.

   • Si no finalizas la sesión, Dataproc la finaliza cuando vence el temporizador de inactividad de la sesión. Puedes configurar el tiempo de inactividad de la sesión en la configuración de la plantilla del entorno de ejecución. El tiempo de inactividad predeterminado de la sesión es de una hora.

Inicia un notebook en un clúster de Dataproc en Compute Engine

Si creaste un clúster de Jupyter de Dataproc en Compute Engine, la página Selector de JupyterLab contiene una sección de Notebook del clúster de Dataproc con tarjetas de kernel preinstaladas.

Para iniciar un notebook de Jupyter en tu clúster de Dataproc en Compute Engine, haz lo siguiente:

1. Haz clic en una tarjeta de la sección Notebook del clúster de Dataproc.

2. Cuando el estado del kernel cambia de Unknown a Idle, puedes comenzar a escribir y ejecutar el código de notebook.

3. Después de crear y usar un notebook, puedes finalizar la sesión de notebook haciendo clic en Cerrar kernel en la pestaña Kernel.

Administra archivos de entrada y salida en Cloud Storage

El análisis de datos exploratorios y la compilación de modelos de AA a menudo implican entradas y salidas basadas en archivos. Dataproc Serverless accede a estos archivos en Cloud Storage.

• Para acceder al navegador de Cloud Storage, haz clic en el ícono del navegador de Cloud Storage en la barra lateral de la página Launcher de JupyterLab y, luego, haz doble clic en una carpeta para ver su contenido.

  

• Puedes hacer clic en los tipos de archivos compatibles con Jupyter para abrirlos y editarlos. Cuando guardas los cambios en los archivos, se escriben en Cloud Storage.

• Para crear una carpeta nueva de Cloud Storage, haz clic en el ícono de carpeta nueva y, luego, ingresa el nombre de la carpeta.

• Para subir archivos a un bucket de Cloud Storage o a una carpeta, haz clic en el ícono de carga y selecciona los archivos que deseas subir.

Desarrolla el código del notebook de Spark

Después de instalar el complemento de JupyterLab de Dataproc, puedes iniciar notebooks de Jupyter desde la página del Selector de JupyterLab para desarrollar el código de la aplicación.

Desarrollo de código de PySpark y Python

Los clústeres de Dataproc Serverless y Dataproc en Compute Engine admiten kernels de PySpark. Dataproc en Compute Engine también admite kernels de Python.

• Haz clic en una tarjeta de PySpark en la sección Notebooks sin servidores de Dataproc o Notebook del clúster de Dataproc en la página Launcher de JupyterLab para abrir un notebook de PySpark.

• Haz clic en una tarjeta de kernel de Python en la sección Notebook del clúster de Dataproc de la página Launcher de JupyterLab para abrir un notebook de Python.

Desarrollo de código SQL

Haz clic en la tarjeta del kernel de PySpark en la sección Notebooks sin servidores de Dataproc o Notebook del clúster de Dataproc de la página Selector de JupyterLab para abrir un notebook de PySpark en el que se escribe y ejecuta código SQL.

Comando mágico de Spark SQL: Dado que el kernel de PySpark que inicia Notebooks sin servidores de Dataproc está precargado con el comando mágico de Spark SQL, en lugar de usar spark.sql('SQL STATEMENT').show() para unir la instrucción de SQL, puedes escribir %%sparksql magic en la parte superior de la celda y, luego, escribir la instrucción de SQL en la celda.

BigQuery SQL: El conector de Spark de BigQuery permite que el código del notebook cargue datos desde tablas de BigQuery, realice análisis en Spark y, luego, escriba los resultados en una tabla de BigQuery.

El entorno de ejecución de Dataproc Serverless 2.1 incluye el conector de BigQuery Spark. Si usas el entorno de ejecución Dataproc Serverless 2.0 o anterior para iniciar notebooks sin servidores de Dataproc, puedes instalar el conector de BigQuery de Spark si agregas la siguiente propiedad Spark a tu plantilla de entorno de ejecución de Dataproc Serverless:

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Nota: Instala el conector de Spark de BigQuery en tu clúster de Dataproc para usarlo con Notebooks del clúster de Dataproc.

Desarrollo de código de Scala

Los clústeres de Dataproc en Compute Engine creados con la versión de imagen 2.0 o superior, 2.1 o posterior incluyen Apache Toree, un kernel de Scala para la plataforma de notebooks de Jupyter que proporciona acceso interactivo a Spark.

• Haz clic en la tarjeta de Apache Toree en la sección Notebook del clúster de Dataproc en la página Launcher de JupyterLab para abrir un notebook para el desarrollo de código de Scala.

  

Explorador de metadatos

Si una instancia de Dataproc Metastore (DPMS) se conecta a una plantilla de entorno de ejecución sin servidores de Dataproc o a un clúster de Dataproc en Compute Engine, el esquema de instancia de DPMS se muestra en el Explorador de metadatos de JupyterLab cuando se abre un notebook. DPMS es un servicio de Hive Metastore (HMS) completamente administrado y escalable horizontalmente en Google Cloud.

Sigue estos pasos para ver los metadatos de HMS en el Explorador de metadatos:

• Habilita la API de Data Catalog en tu proyecto.

• Habilita la sincronización de Data Catalog en tu servicio de DPMS.

• Especifica una instancia de DPMS cuando crees la plantilla de entorno de ejecución de Dataproc Serverless o crees el clúster de Dataproc en Compute Engine.

Para abrir el Explorador de metadatos de JupyterLab, haz clic en el ícono de la barra lateral.

Puedes buscar una base de datos, una tabla o una columna en el Explorador de metadatos. Haz clic en el nombre de una base de datos, tabla o columna para ver los metadatos asociados.

Implementa tu código

Después de instalar el complemento de JupyterLab de Dataproc, puedes usar JupyterLab para lo siguiente:

• Ejecuta tu código de notebook en la infraestructura de Dataproc Serverless

• Envía trabajos por lotes a la infraestructura sin servidores de Dataproc o a tu clúster de Dataproc en Compute Engine.

Ejecuta código de notebook en Dataproc Serverless

• Haz clic en el ícono Ejecutar o presiona las teclas Mayúsculas-Volver para ejecutar código en una celda de notebook.

• Usa el menú Ejecutar para ejecutar código en una o más celdas del notebook.

Envía un trabajo por lotes a Dataproc Serverless

• Haz clic en la tarjeta Sin servidores de la sección Trabajos y sesiones de Dataproc en la página Selector de JupyterLab.

• Haz clic en la pestaña Batch (Lote) y, luego, en Create Batch (Crear lote) y completa los campos de Batch Info (Información del lote).

• Haz clic en Enviar para enviar el trabajo.

Envía un trabajo por lotes a un clúster de Dataproc en Compute Engine

• Haz clic en la tarjeta Clústeres de la sección Trabajos y sesiones de Dataproc en la página Selector de JupyterLab.

• Haz clic en la pestaña Trabajos y, a continuación, haz clic en Enviar trabajo.

• Selecciona un Clúster y, luego, completa los campos del Trabajo.

• Haz clic en Enviar para enviar el trabajo.

Visualiza y administra recursos

Después de instalar el complemento de JupyterLab de Dataproc, puedes ver y administrar Dataproc Serverless y Dataproc en Compute Engine desde la sección Trabajos y sesiones de Dataproc en la página Selector de JupyterLab.

Haz clic en la sección Trabajos y sesiones de Dataproc para mostrar las tarjetas Clústeres y Sin servidores.

Para ver y administrar sesiones de Dataproc Serverless, sigue estos pasos:

1. Haz clic en la tarjeta Sin servidores.
2. Haz clic en la pestaña Sesiones y, luego, en un ID de sesión para abrir la página Detalles de la sesión, ver las propiedades de la sesión, ver el registro de Google Cloud en el Explorador de registros y finalizar una sesión. Nota: Se crea una sesión única de Dataproc Serverless para iniciar cada notebook de Dataproc Serverless.

Para ver y administrar lotes de Dataproc Serverless, haz lo siguiente:

1. Haz clic en la pestaña Lotes para ver la lista de lotes de Dataproc Serverless en la región y el proyecto actuales. Haz clic en un ID de lote para ver los detalles del lote.

Para ver y administrar clústeres de Dataproc en Compute Engine, haz lo siguiente:

1. Haz clic en la tarjeta Clústeres. Se selecciona la pestaña Clústeres para enumerar los clústeres activos de Dataproc en Compute Engine en el proyecto y la región actuales. Puedes hacer clic en los íconos de la columna Acciones para iniciar, detener o reiniciar un clúster. Haz clic en el nombre de un clúster para ver sus detalles. Puedes hacer clic en los íconos de la columna Acciones para clonar, detener o borrar un trabajo.

Para ver y administrar trabajos de Dataproc en Compute Engine, sigue estos pasos:

1. Haz clic en la tarjeta Trabajos para ver la lista de trabajos del proyecto actual. Haz clic en un ID de trabajo para ver los detalles del trabajo.